Whisper es el modelo de reconocimiento del habla de OpenAI: un codificador–decodificador transformer que escucha 30 segundos de audio y escribe lo que se dijo, o su traducción al inglés. Se publicó en septiembre de 2022 con pesos y código abiertos (OpenAI, s. f.; Radford et al., 2023, sec. 1).
Cómo funciona
El audio se remuestrea a 16 kHz y se convierte en un espectrograma log-Mel de 80 canales, calculado en ventanas de 25 ms cada 10 ms (Radford et al., 2023, sec. 2.2): una imagen del sonido, con el tiempo en un eje y la energía por bandas de frecuencia en el otro, bandas repartidas según la escala Mel, que imita la percepción de la altura. Es la vieja receta de calcular rasgos inspirados en el sistema auditivo humano a partir de un análisis espectral (Witten et al., 2017, p. 524). Dos capas de convolución condensan esa imagen; se suman posiciones sinusoidales y siguen los bloques transformer del codificador. El decodificador, con atención cruzada sobre la salida del codificador, genera tokens con el BPE de GPT-2 (2023, sec. 2.2). Hay cinco tamaños, de 39 a 1.550 millones de parámetros (2023, sec. 2.4).
Lo más ingenioso es el formato de salida. La tarea no se elige cambiando de modelo sino con
tokens especiales al comienzo de lo que escribe el decodificador:
<|startoftranscript|>, un token de idioma (uno entre 99), <|transcribe|> o
<|translate|>, y <|notimestamps|> o marcas de tiempo cada 20 ms; si no hay voz,
<|nospeech|> (2023, sec. 2.3). Un solo modelo reemplaza así varias etapas de un
sistema clásico: detectar si hay habla, identificar el idioma, transcribir, traducir y
alinear el texto con el audio. Es la jugada de T5, ahora con audio: la instrucción
forma parte de la secuencia.
Qué cambió
El reconocimiento clásico encadenaba un preprocesamiento de la señal, modelos ocultos de Markov y un modelo de lenguaje, y el aprendizaje profundo fue reemplazando piezas de esa cadena (Witten et al., 2017, p. 524). M. Mitchell (2019) lo considera el primer gran éxito del aprendizaje profundo en el procesamiento del lenguaje, a partir de 2012 (2019, ch. 11). Antes de Whisper, lo habitual era preentrenar codificadores con audio sin transcribir (aprendizaje autosupervisado) y luego ajustar un decodificador para cada conjunto de datos (Radford et al., 2023, sec. 1).
Whisper apostó por la supervisión débil. Es el esquema supervisado de siempre, archivos de audio con sus transcripciones (Chollet, 2021, sec. 1.1.3), pero con 680.000 horas de pares sacados de internet, ruidosos y sin verificar (Radford et al., 2023, sec. 2.1). El 65 % es inglés; unas 117.000 horas cubren otros 96 idiomas (el español, con ≈ 11.100, es el tercero) y unas 125.000 son de traducción al inglés (2023, app. E). Hubo que filtrar las transcripciones hechas por otros reconocedores automáticos, para no aprender su «transcript-ese» (2023, sec. 2.1). De dónde salió el audio no se informó, y el conjunto de datos no se publicó.
El resultado es robustez zero-shot. Los modelos entrenados con LibriSpeech igualan o superan a un humano en ese conjunto, pero en otros cometen alrededor del doble de errores que él; el mejor Whisper, sin haber visto LibriSpeech, comete fuera de él un 55 % menos de errores que un modelo supervisado igual de bueno dentro, y se acerca a la robustez humana (Radford et al., 2023, sec. 3.3). Es el problema del supuesto i.i.d. visto desde el habla.
Límites
La calidad depende de cuántas horas hubo de cada lengua, y la mayoría tuvo menos de mil (Radford et al., 2023, sec. 6); el quechua y el guaraní no figuran (2023, app. E). La identificación automática de idioma también contaminó los datos: la mayor parte de lo que figuraba como traducción del galés era audio en inglés mal clasificado (2023, sec. 3.5).
El decodificador es un modelo de lenguaje condicionado por el audio, y eso tiene un costo: el artículo reporta bucles de repetición y alucinaciones completas, transcripciones sin relación con lo que suena (Radford et al., 2023, sec. 6). La ficha del modelo lo atribuye a que mezcla predecir la palabra siguiente con transcribir (OpenAI, s. f.). Koenecke et al. (2024) pasaron 13.140 fragmentos de habla por la API en 2023: el 1,4 % de las transcripciones traía frases inventadas, y el 38 % de esas incluía daños explícitos (violencia, nombres o enfermedades ficticios, agradecimientos de youtuber), más frecuentes en hablantes con afasia, cuyas pausas son más largas (2024, secs. 3, 4.2).