Son modelos de lenguaje “grandes”, es decir, entrenados con una cantidad estúpida de datos, con la correspondiente capacidad de compute requerida para generar representaciones vectoriales de los mismos y así poder analizar la relación entre los elementos del texto.
Es importante entender que con la variación en la escala también emergen cambios cualitativos en las capacidades que demuestran los modelos grandes en relación a los pequeños. Por ejemplo, la capacidad de tener cadenas de pensamiento, de aprender y adaptarse a nuevos contexto en los que no necesariamente fueron entrenados, de leer las intenciones de la persona con la que interactúa, etc.