Capacidades
Limitaciones
- Todos los modelos tienen una fecha límite de su conocimiento, dado que se entrenan en base al corpus disponible hasta una fecha determinada. Actualmente los modelos pueden compensar esta falencia gracias a que tienen acceso a herramientas que les permiten consultar en internet.
- Los modelos no distinguen entre información veraz o falsa en su corpus de entrenamiento, por lo que es perfectamente posible que generen texto plausible dado el corpus, pero que no necesariamente es cierto. La información que es más posible que se vea representada de manera verdadera en internet tiene más probabilidades de ser generada por el modelo (ej: fecha y descripción del ataque a las torres gemelas), lo cual permite desarrollar cierto criterio al momento de discernir la veracidad del output. Esto es lo que explica el fenómeno de la Alucinación (IA)
- Todos los modelos de lenguaje tienen una Ventana de contexto limitada. Y no sólo eso, sino que también la calidad de la respuesta del modelo se degrada a medida que la ventana de contexto se va llenando, fenómeno llamado Context rot.
- Los modelos de lenguaje son sistemas no determinísticos