ElemedexEnciclopedia de bolsillo de arquitecturas de IA

Glosario (MT) › Uso: prompts, muestreo, sistemas

MT166

Zero-shot (sin ejemplos)

También: cero ejemplos

En inglés: Zero-shot

Pedirle a un modelo que resuelva una tarea solo con una descripción en lenguaje natural, sin mostrarle ningún ejemplo resuelto.

En el esquema de Brown et al. (2020), zero-shot es el extremo del espectro del aprendizaje en contexto: el modelo recibe solo una instrucción (por ejemplo, «Traducí del inglés al francés:») y el caso a resolver, sin demostraciones (2020, sec. 2). Es lo más cómodo y lo que más se parece a cómo se le encarga una tarea a una persona, pero también lo más difícil: a veces ni un humano entendería el formato esperado sin un ejemplo. Los autores dan uno: «make a table of world records for the 200m dash» [«hacé una tabla de récords mundiales de los 200 metros», trad. propia] deja abierto qué columnas poner.

El término es engañoso, y los mismos autores lo advierten: se llama «zero-shot» porque no hay actualización de pesos, pero el modelo no aprende «de cero ejemplos»; puede haber visto miles de tareas parecidas durante el preentrenamiento (Brown et al., 2020, sec. 1). Además, la expresión tiene historia previa en aprendizaje automático: clasificar en categorías nunca vistas durante el entrenamiento. En ese sentido la usa CLIP, que clasifica una imagen comparando su embedding con los de descripciones de las clases candidatas (Alammar y Grootendorst, 2024, pp. 123, 265).

Dos hallazgos muestran cuánto depende el zero-shot de detalles aparentemente menores. El ajuste por instrucciones lo mejora mucho: FLAN superó a GPT-3 en modo zero-shot en 20 de 25 conjuntos (Wei, Bosma et al., 2022). Y una frase puede cambiarlo todo: agregar «Let's think step by step» llevó a un GPT-3 del 17,7 % al 78,7 % en problemas aritméticos (Kojima et al., 2022; Buckner, 2024, p. 280). Si una fórmula mágica multiplica por cuatro el rendimiento, ¿qué estaba midiendo exactamente la prueba sin ella: la capacidad del modelo o nuestra habilidad para pedírsela?

Fuentes

  • Alammar, J., & Grootendorst, M. (2024). Hands-on large language models: Language understanding and generation. O’Reilly Media. §
  • Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., . . . Amodei, D. (2020). Language models are few-shot learners. In Advances in Neural Information Processing Systems (Vol. 33, pp. 1877–1901). Curran Associates. https://proceedings.neurips.cc/paper_files/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html §
  • Buckner, C. J. (2024). From deep learning to rational machines: What the history of philosophy can teach us about the future of artificial intelligence. Oxford University Press. https://doi.org/10.1093/oso/9780197653302.001.0001 §
  • Kojima, T., Gu, S. S., Reid, M., Matsuo, Y., & Iwasawa, Y. (2022). Large language models are zero-shot reasoners. In Advances in Neural Information Processing Systems (Vol. 35, pp. 22199–22213). Curran Associates. https://doi.org/10.52202/068431-1613 §
  • Wei, J., Bosma, M., Zhao, V. Y., Guu, K., Yu, A. W., Lester, B., Du, N., Dai, A. M., & Le, Q. V. (2022). Finetuned language models are zero-shot learners. In 10th International Conference on Learning Representations (ICLR 2022). https://openreview.net/forum?id=gEZrGCozdqR §