ElemedexEnciclopedia de bolsillo de arquitecturas de IA

Glosario (MT) › Uso: prompts, muestreo, sistemas

MT163

Cómputo en inferencia

También: cómputo en tiempo de prueba, tiempo de pensamiento

En inglés: Test-time compute

Cálculo adicional que un modelo gasta al responder (por ejemplo, generando un razonamiento largo o varias respuestas candidatas) para mejorar el resultado sin cambiar sus pesos.

Durante años, la manera de mejorar un modelo fue invertir más cómputo en entrenarlo (leyes de escalamiento). El cómputo en inferencia es el otro grifo: gastar más cálculo cada vez que el modelo responde. Como cada token generado es una pasada completa por la red, escribir más antes de responder equivale a pensar más. La cadena de pensamiento ya funcionaba así: permite distribuir más cálculo sobre el proceso de razonamiento (Alammar y Grootendorst, 2024, p. 185). Otra variante es la autoconsistencia: generar varias respuestas con muestreo y quedarse con la que más se repite (Alammar y Grootendorst, 2024, p. 188).

El giro de 2024 fue entrenar modelos para aprovechar esta vía. Al presentar o1, OpenAI informó que su desempeño mejora de forma consistente con más aprendizaje por refuerzo (cómputo de entrenamiento) y con más tiempo de pensamiento (cómputo en inferencia) (OpenAI, 2024). DeepSeek mostró en abierto algo parecido: R1-Zero, entrenado solo con refuerzo sobre problemas con respuestas verificables, aprendió por sí solo a escribir razonamientos cada vez más largos, de cientos a miles de tokens, e incluso tuvo un «aha moment» (momento eureka) en el que empezó a usar la palabra wait para revisar lo que venía haciendo (Guo et al., 2025). Ver Modelo de razonamiento (o1, R1).

La idea tiene consecuencias prácticas: responder cuesta más, y el costo pasa del laboratorio que entrena al usuario que pregunta. Y tiene una lectura filosófica tentadora: Alammar y Grootendorst (2024) asocian la generación directa con el pensamiento rápido e intuitivo («Sistema 1») y el razonamiento explícito con el lento y deliberado («Sistema 2») (2024, p. 185). Pero la analogía tiene un límite. Que el texto intermedio mejore la respuesta no prueba que sea el razonamiento que la produce; y un modelo que «piensa más» no sabe más, solo explora más. ¿Es la deliberación una cuestión de cantidad de cálculo?

Fuentes

  • Alammar, J., & Grootendorst, M. (2024). Hands-on large language models: Language understanding and generation. O’Reilly Media. §
  • Guo, D., Yang, D., Zhang, H., Song, J., Wang, P., Zhu, Q., Xu, R., Zhang, R., Ma, S., Bi, X., Zhang, X., Yu, X., Wu, Y., Wu, Z. F., Gou, Z., Shao, Z., Li, Z., Gao, Z., Liu, A., . . . Zhang, Z. (2025). DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning. Nature, 645(8081), 633–638. https://doi.org/10.1038/s41586-025-09422-z §
  • OpenAI. (2024, September 12). Learning to reason with LLMs. https://openai.com/index/learning-to-reason-with-llms/ §