ElemedexEnciclopedia de bolsillo de arquitecturas de IA
ESEN
Modelo de razonamiento (o1, R1)
N.º 045

Modelo de razonamiento (o1, R1)

Large reasoning model · thinking model

Rumiante

DecodificadorRefuerzo

Antes de contestar, murmura: miles de tokens de «a ver…», «espera, no», «probemos de otro modo», hasta dar con algo que el verificador acepte. Aprendió a dudar porque dudar pagaba. Nadie sabe del todo si lo que murmura es lo que de verdad lo lleva a la respuesta.

Altura
o1: no divulgado · R1: 61
Peso
o1: ? · R1: ≈ 671 GB (FP8)
Parámetros
o1: no divulgado · R1: 671 B totales, 37 B activos (mezcla de expertos)
Contexto
R1: 128k tokens; en el entrenamiento, respuestas de hasta 65.536 tokens
Datos de entrenamiento
R1: base DeepSeek-V3 (14,8 billones de tokens) + RL con problemas verificables · o1: no divulgado
Año
2024
Generación
6 · Asistentes, razonamiento y agentes
Creadores
OpenAI (o1, 2024); DeepSeek-AI (R1, 2025)
Clase
Modelo

Estadísticas base

Parámetros
86
Datos
91
Cómputo
86
Contexto
80
Generalidad
85
Transparencia
20
Total
448

Escalas ordinales y aproximadas, pensadas para comparar especies entre sí; los números duros están en la ficha.

Debilidades

  • Fidelidad dudosa: la cadena de pensamiento no siempre refleja lo que causó la respuesta.
  • Caro y lento: miles de tokens por respuesta, a veces para preguntas triviales.
  • Fuera de los dominios verificables (escritura, preguntas abiertas) la ventaja se diluye.
  • La traza de razonamiento es una nueva superficie de ataque, y puede filtrar lo que la respuesta final se niega a decir.

Hábitat

Se entrenó con problemas de matemática, programación y ciencias cuyas respuestas puede comprobar un programa. Vive detrás del botón de «pensar» de los chatbots y, en el caso de R1, en descargas con licencia MIT y en versiones destiladas de 1,5 B a 70 B de parámetros.

Movimientos

Habilidades

Cómputo en inferencia
El desempeño mejora cuantos más tokens de pensamiento se le permite generar: una nueva perilla de escalamiento.
Recompensas verificables
Durante el refuerzo se premia que la respuesta final sea correcta, y lo decide un programa, no un modelo de recompensa.
Pensamiento visible u oculto
R1 muestra su cadena entre etiquetas ; o1 la oculta y ofrece un resumen.

Anatomía

refuerza lo queaciertaProblema<think> razonamiento…«Espera…»: autoverificaciónRespuesta finalProblemas verificables16 soluciones por problemaVerificador: ¿correcta?Premio: acierto + formatoGRPO: actualizar políticaEn usoEn entrenamiento (RL)

La receta de DeepSeek-R1-Zero. En uso, el modelo escribe una cadena de pensamiento entre etiquetas antes de responder. En entrenamiento, se muestrean varias soluciones por problema, un programa verifica solo la respuesta final (y el formato), y GRPO refuerza las cadenas que llevaron a respuestas correctas. Nadie le dice cómo razonar: solo si acertó.

Cadena evolutiva

045 Modelo de razonamiento (o1, R1)

Un modelo de razonamiento es un modelo de lenguaje entrenado para escribir, antes de responder, una larga cadena de pensamiento, y para escribirla de modo que lleve a respuestas correctas. OpenAI presentó o1 el 12 de septiembre de 2024: según la empresa, un algoritmo de aprendizaje por refuerzo a gran escala le enseña a usar productivamente su cadena de pensamiento, y el desempeño mejora tanto con más refuerzo en el entrenamiento como con más tiempo de pensamiento en el uso (OpenAI, 2024). DeepSeek publicó R1 en enero de 2025, con los pesos y una descripción del método que luego apareció en Nature (Guo et al., 2025).

De truco a entrenamiento

La cadena de pensamiento empezó como un truco de prompt: mostrar unos pocos ejemplos resueltos paso a paso mejoraba a los modelos grandes en problemas aritméticos y lógicos (Wei, Wang et al., 2022), y hasta bastaba con pedir «Let's think step by step» (Alammar y Grootendorst, 2024, pp. 185–187). La explicación de Alammar y Grootendorst (2024) es computacional: cada token adicional le permite al modelo repartir más cálculo sobre el problema en vez de resolverlo en unos pocos pasos (2024, pp. 185–186). Buckner (2024) vio en esos prompts un andamiaje como el que un docente ofrece a un chico que aprende problemas cada vez más complejos (2024, p. 340). Los modelos de razonamiento internalizan el truco: en lugar de pedírselo, se lo entrena.

Cómo funciona

R1-Zero parte del modelo base DeepSeek-V3 y se saltea el ajuste supervisado. Se lo entrena con refuerzo (el algoritmo GRPO) sobre problemas de matemática, código y ciencias, y la recompensa depende solo de que la respuesta final coincida con la solución y de que el razonamiento vaya entre etiquetas <think>. Los autores evitaron los modelos de recompensa neuronales porque, en refuerzo a gran escala, el modelo aprende a engañarlos. En AIME 2024, un examen clasificatorio para la olimpíada matemática de Estados Unidos, el acierto medio pasó del 15,6 % al 77,9 % durante el entrenamiento; las respuestas se alargaron solas, y en cierto punto apareció un «momento ajá», un aumento súbito del uso de la palabra wait en reflexiones (Guo et al., 2025). R1-Zero mezclaba inglés y chino y era difícil de leer; R1 agrega ejemplos iniciales con cadenas legibles, más etapas de refuerzo y ajuste, y recompensas por preferencias para el uso general. Su razonamiento se destiló después en modelos de 1,5 B a 70 B.

Qué cambió

En ChatGPT (InstructGPT), el modelo de recompensa juzgaba respuestas enteras según preferencias humanas; aquí la recompensa la da un verificador, una señal barata, objetiva e ilimitada en matemática y código. Aparece además un eje nuevo de escalamiento, el cómputo en inferencia: o1 resolvía en promedio el 74 % de los problemas de AIME 2024 con una sola muestra y el 83 % con consenso entre 64 (OpenAI, 2024). OpenAI decidió no mostrar las cadenas crudas; R1 las exhibe. Cuando R1 salió, gratis y con pesos abiertos, la acción de Nvidia se desplomó (ver NVDA a la luna).

La canción del p(doom) termina preguntando «What did Ilya see?». En noviembre de 2023 el directorio de OpenAI, con el voto de Ilya Sutskever, destituyó a Sam Altman por no haber sido «consistently candid» y lo repuso a los cinco días (ver la crisis del directorio); circularon versiones de un proyecto secreto de razonamiento matemático, Q*. El comentarista de la canción conjetura que lo que Ilya vio fue el entrenamiento por refuerzo de cadenas de pensamiento que llevó a o1 (osmarks, s. f.). Es una conjetura, no un hecho.

Límites

La ventaja se concentra en dominios verificables: sus propios autores reconocen que R1-Zero, entrenado solo con recompensas por reglas, rendía poco en escritura y preguntas abiertas (Guo et al., 2025). El refuerzo contra un verificador hereda el riesgo de todo refuerzo, el reward hacking: optimizar la señal en vez de la tarea (Buckner, 2024, p. 68). Y la cadena de pensamiento es una nueva superficie de ataque: Millière (2025) muestra casos en que R1 menciona la seguridad en su traza y luego produce igual el contenido dañino, o lo filtra en la traza mientras lo rechaza en la respuesta (2025, pp. 2054–2055).

Fuentes

  • Alammar, J., & Grootendorst, M. (2024). Hands-on large language models: Language understanding and generation. O’Reilly Media. §
  • Buckner, C. J. (2024). From deep learning to rational machines: What the history of philosophy can teach us about the future of artificial intelligence. Oxford University Press. https://doi.org/10.1093/oso/9780197653302.001.0001 §
  • Chen, Y., Benton, J., Radhakrishnan, A., Uesato, J., Denison, C., Schulman, J., Somani, A., Hase, P., Wagner, M., Roger, F., Mikulik, V., Bowman, S. R., Leike, J., Kaplan, J., & Perez, E. (2025). Reasoning models don't always say what they think (arXiv:2505.05410). arXiv. https://doi.org/10.48550/arXiv.2505.05410 §
  • Floridi, L., Morley, J., Novelli, C., & Watson, D. (2025). What kind of reasoning (if any) is an LLM actually doing? On the stochastic nature and abductive appearance of large language models (arXiv:2512.10080). arXiv. https://doi.org/10.48550/arXiv.2512.10080 §
  • Guo, D., Yang, D., Zhang, H., Song, J., Wang, P., Zhu, Q., Xu, R., Zhang, R., Ma, S., Bi, X., Zhang, X., Yu, X., Wu, Y., Wu, Z. F., Gou, Z., Shao, Z., Li, Z., Gao, Z., Liu, A., . . . Zhang, Z. (2025). DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning. Nature, 645(8081), 633–638. https://doi.org/10.1038/s41586-025-09422-z §
  • Millière, R. (2025). Normative conflicts and shallow AI alignment. Philosophical Studies, 182(7), 2035–2078. https://doi.org/10.1007/s11098-025-02347-3 §
  • OpenAI. (2024, September 12). Learning to reason with LLMs. https://openai.com/index/learning-to-reason-with-llms/ §
  • osmarks. (n.d.). P(Doom) song objectively correct interpretation. GTech™ Documentation. Retrieved September 30, 2026, from https://docs.osmarks.net/hypha/p(doom)_song_objectively_correct_interpretation §
  • Shanahan, M. (2024). Talking about large language models. Communications of the ACM, 67(2), 68–79. https://doi.org/10.1145/3624724 §
  • Turpin, M., Michael, J., Perez, E., & Bowman, S. R. (2023). Language models don't always say what they think: Unfaithful explanations in chain-of-thought prompting. In Advances in Neural Information Processing Systems (Vol. 36, pp. 74952–74965). Curran Associates. https://doi.org/10.52202/075280-3275 §
  • Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B., Xia, F., Chi, E., Le, Q. V., & Zhou, D. (2022). Chain-of-thought prompting elicits reasoning in large language models. In Advances in Neural Information Processing Systems (Vol. 35, pp. 24824–24837). Curran Associates. https://doi.org/10.52202/068431-1800 §