Luego de que el modelo es entrenado en desarrollar una representación estadística efectiva de la estructura del corpus, lo que sigue es una fase de ajustes que busca que el modelo no sólo genere contenido plausible, sino que esté alineado, es decir, que sea útil, honesto, ético e interactúe de maneras respetuosas con el usuario.
Para esto se utilizan técnicas de aprendizaje por refuerzo basado en feedback humano, una técnica específicamente diseñada para alinear un agente inteligente con preferencias humanas.
