La decodificación voraz (greedy) elige en cada paso el token de mayor probabilidad. Equivale a poner la temperatura en cero y da siempre la misma salida para la misma entrada (Alammar y Grootendorst, 2024, pp. 79–80). Su defecto es la miopía: lo mejor en cada paso no es lo mejor en total. Un ejemplo con probabilidades inventadas:
primer paso: «la» 0,5 · «una» 0,4 después de «la»: «casa» 0,4 (el resto, repartido) → «la casa»: 0,5 × 0,4 = 0,20 después de «una»: «vez» 0,9 → «una vez»: 0,4 × 0,9 = 0,36
La decodificación voraz se queda con «la» y nunca ve la secuencia más probable. La búsqueda en haz (beam search) mantiene en paralelo las k mejores secuencias parciales (el ancho del haz), las extiende todas y conserva de nuevo las k mejores. Con k = 2 encuentra «una vez».
La búsqueda en haz fue el estándar de la traducción automática neuronal: Sutskever et al. (2014) observaron que un haz de tamaño 2 ya daba casi todo el beneficio (2014, sec. 3.2), y el transformer original usó haz 4 con una penalización por longitud (Vaswani et al., 2017, sec. 6.1), igual que GPT-3 en tareas de respuesta libre (Brown et al., 2020, sec. 2.4). En conversación y escritura abierta, en cambio, buscar la secuencia más probable produce texto soso y repetitivo, y por eso se prefiere el muestreo (Holtzman et al., 2020).
Para un psicolingüista, la miopía voraz tiene un nombre: las oraciones de vía muerta (garden path), como el clásico «The horse raced past the barn fell» de Bever (1970), donde el lector se compromete con el análisis más probable y tiene que retroceder. Un modelo autorregresivo no puede retroceder: lo escrito queda escrito. La búsqueda en haz es una forma limitada de mantener abiertas varias lecturas a la vez.