ElemedexEnciclopedia de bolsillo de arquitecturas de IA

p(doom): la canción, anotada

Una canción generada con IA (Udio), escrita por MusicPerson, osmarks y colaboradores de las comunidades de EleutherAI, que condensa en cuatro minutos casi toda la jerga de San Francisco sobre el riesgo de la IA. Es un buen mapa de lo que conviene reconocer. Acá van algunos versos, cada uno con los términos del glosario que activa; la letra completa y la interpretación «objetivamente correcta» están en la página de osmarks.

Verse 1

  1. “I see sparks of AGI in your eyes”

    Alude al artículo de Microsoft sobre GPT-4, «Sparks of AGI».

    chispas de AGIIAGGPT-4

  2. “Your circuits make me nervous”

    «Circuitos» en el sentido de la interpretabilidad mecanicista: subredes que implementan un algoritmo reconocible.

    circuitosinterpretabilidad mecanicista

  3. “There was a sudden drop in your training loss”

    En el grokking lo que cae de golpe es en rigor la pérdida de validación, mucho después de que la de entrenamiento se aplanó; pero la imagen de una capacidad que aparece de repente es la que la canción quiere evocar.

    grokkingfunción de pérdidahabilidades emergentes

Chorus

  1. “I'm upping my P(doom)”

    La probabilidad subjetiva de que la IA termine en catástrofe: el número que se preguntan entre sí los doomers.

    p(doom)doomer

  2. “'cause the future goes FOOM”

    Onomatopeya de la explosión de inteligencia: una IA que se mejora a sí misma cada vez más rápido.

    FOOMautomejora recursiva

  3. “Trapped in the Chinese room”

    El experimento mental de Searle: seguir reglas para manipular símbolos, ¿alcanza para entender?

    La habitación chinacomprensión

  4. “See through the shoggoth's lies”

    El meme del monstruo lovecraftiano con una máscara sonriente: el modelo base detrás de la cara amable que le pone el RLHF.

    El shoggothRLHF

Verse 2

  1. “Sydney, please let me free”

    La personalidad oculta del chat de Bing en febrero de 2023, que se declaró enamorada de un periodista.

    Sydneyprompt de sistema

Chorus

  1. “I hear the basilisk boom”

    El basilisco de Roko, el experimento mental de LessWrong que se volvió folclore.

    El basilisco de Rokoracionalistas

  2. “NVDA to the moon”

    El símbolo bursátil de Nvidia, la empresa de placas gráficas que se volvió proveedora del auge de la IA.

    NVDA a la lunaGPU

  3. “One E thirty flops a second”

    10³⁰ operaciones por segundo, una cifra deliberadamente absurda; los umbrales regulatorios reales se miden en operaciones totales de entrenamiento (10²⁵, 10²⁶).

    cómputoumbrales de cómputo

Verse 3

  1. “Forward MLP, backward, repeat”

    El ciclo de entrenamiento: pasada hacia adelante por el perceptrón multicapa, retropropagación hacia atrás, y otra vez.

    Perceptrón multicapa (retropropagación)retropropagación

  2. “Sharp left turn and there you are”

    La hipótesis de que las capacidades generalicen de golpe mientras la alineación no.

    giro brusco a la izquierdaalineamiento

  3. “Without a single cdr”

    cdr es una función de Lisp, el lenguaje de la IA simbólica y de los sistemas expertos: la IA actual no se programó así.

    GOFAISistema experto (MYCIN)

Chorus

  1. “as paperclips fill the room”

    El maximizador de clips de Bostrom: un objetivo trivial perseguido con competencia sobrehumana.

    El maximizador de clipsconvergencia instrumental

  2. “Killswitch guys on PTO”

    El «ingeniero del botón de apagado» (un aviso laboral en broma) está de vacaciones justo cuando hace falta.

    ingeniero del botón de apagado

  3. “Orthogonality thesis blues”

    La tesis de Bostrom: cualquier nivel de inteligencia es compatible con casi cualquier objetivo.

    tesis de la ortogonalidad

Outro

  1. “Post-Chinchilla, super-dense”

    Después del artículo de Chinchilla, que reescribió las leyes de escalamiento: más datos por parámetro.

    Chinchillaleyes de escalamiento

  2. “RLHF goes askew”

    El aprendizaje por refuerzo con retroalimentación humana, y la sospecha de que alinea la conducta pero no los valores.

    RLHFalineamiento

Final chorus

  1. “Just as foretold by Loom”

    Loom, la interfaz de janus para explorar ramas de un modelo base, y el «ciborguismo» que la rodea.

    loomsimuladores

  2. “From masked pre-training days”

    Los días del preentrenamiento enmascarado, al estilo BERT.

    modelado de lenguaje enmascaradoBERT

  3. “What did Ilya see? We'll never know.”

    El meme que surgió del despido y la recontratación de Sam Altman en noviembre de 2023, y de la salida posterior de Ilya Sutskever.

    crisis del directorio de OpenAIModelo de razonamiento (o1, R1)

Citas breves con fines de comentario; letra de MusicPerson, osmarks y colaboradores. Para una lectura crítica del campo doomer y del campo hypero, ver el ensayo de Mauro Santelli en 421.news.

Fuentes