Es como la memoria de trabajo de un modelo, en contraste a la memoria a largo plazo que se vería representada por los pesos en los parámetros del modelo, que sólo cambian en la fase de entrenamiento.
Al igual que en los seres humanos, la ventana de contexto de un modelo de lenguaje tiene límites. Dentro de este espacio, se consideran los prompts, las respuestas del modelo así como también otra información que hemos compartido con el modelo (documentos que cargamos, etc.)
