El modelo base es la red recién preentrenada, que solo continúa textos; el asistente es ese mismo modelo ajustado para responder como un personaje servicial en una conversación.
Un modelo base es lo que sale del preentrenamiento: una red que aprendió a
predecir el siguiente token en un corpus enorme, y nada más. También se lo llama
preentrenado o fundacional, término popularizado por Bommasani et al. (2021). El
asistente (modelo instruct o chat) es esa misma red tras el
ajuste por instrucciones y la
optimización de preferencias (Alammar y Grootendorst, 2024, pp. 355–356). Los
autores de InstructGPT describían a los GPT-3 base como modelos de comportamiento «mal
caracterizado» (Ouyang et al., 2022, sec. 3.5).
La diferencia no es de arquitectura sino de conducta. El base continúa cualquier documento:
un foro, un poema, un formulario. El asistente continúa uno solo, el diálogo con un personaje
servicial. Para janus, seguir instrucciones es apenas «un subconjunto explotable» de los
patrones que el modelo heredó del lenguaje humano (janus, 2022) (ver
simuladores). Zhou et al. (2023) lo llevaron al extremo con la hipótesis
del alineamiento superficial: el conocimiento se adquiere casi todo en el preentrenamiento,
y 1.000 ejemplos bien elegidos bastan para enseñar el formato. Coincide con Lu et al. (2026): la
dirección que en los asistentes marca «ser el Asistente» ya existe en los modelos base, donde
favorece arquetipos humanos serviciales, como consultores y coaches
(2026, sec. 3.2.2).
Algo se pierde. El GPT-4 preentrenado estaba bien calibrado (su confianza coincidía con su
probabilidad de acertar) y el post-entrenamiento empeoró esa calibración
(OpenAI, 2023, sec. 5). También se pierde variedad (colapso de modos).
Shanahan (2024) relativiza la distinción: el modelo ajustado sigue modelando la distribución
de las palabras, solo que sesgada hacia lo que usuarios y evaluadores aprobarían
(2024, p. 78). Imagina incluso que, con evaluadores sin fin y tiempo geológico,
un modelo base podría obtenerse enteramente por RLHF; lo que cuenta es el producto,
no el proceso (2024, pp. 78–79). Si base y asistente difieren en grado y no en
clase, ¿quién habla cuando habla el asistente: el personaje, el corpus o los evaluadores?
Fuentes
- Alammar, J., & Grootendorst, M. (2024). Hands-on large language models: Language understanding and generation. O’Reilly Media. §
- Bommasani, R., Hudson, D. A., Adeli, E., Altman, R., Arora, S., von Arx, S., Bernstein, M. S., Bohg, J., Bosselut, A., Brunskill, E., Brynjolfsson, E., Buch, S., Card, D., Castellon, R., Chatterji, N., Chen, A., Creel, K., Davis, J. Q., Demszky, D., . . . Liang, P. (2021). On the opportunities and risks of foundation models (arXiv:2108.07258). arXiv. https://doi.org/10.48550/arXiv.2108.07258 §
- janus. (2022, September 2). Simulators. LessWrong. https://www.lesswrong.com/posts/vJFdjigzmcXMhNTsx/simulators §
- Lu, C., Gallagher, J., Michala, J., Fish, K., & Lindsey, J. (2026). The Assistant Axis: Situating and stabilizing the default persona of language models (arXiv:2601.10387). arXiv. https://doi.org/10.48550/arXiv.2601.10387 §
- OpenAI. (2023). GPT-4 technical report (arXiv:2303.08774). arXiv. https://doi.org/10.48550/arXiv.2303.08774 §
- Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., Schulman, J., Hilton, J., Kelton, F., Miller, L., Simens, M., Askell, A., Welinder, P., Christiano, P. F., Leike, J., & Lowe, R. (2022). Training language models to follow instructions with human feedback. In Advances in Neural Information Processing Systems (Vol. 35, pp. 27730–27744). Curran Associates. https://doi.org/10.52202/068431-2011 §
- Shanahan, M. (2024). Talking about large language models. Communications of the ACM, 67(2), 68–79. https://doi.org/10.1145/3624724 §
- Zhou, C., Liu, P., Xu, P., Iyer, S., Sun, J., Mao, Y., Ma, X., Efrat, A., Yu, P., Yu, L., Zhang, S., Ghosh, G., Lewis, M., Zettlemoyer, L., & Levy, O. (2023). LIMA: Less is more for alignment. In Advances in Neural Information Processing Systems (Vol. 36, pp. 55006–55021). Curran Associates. https://doi.org/10.52202/075280-2400 §
