Máquinas Técnicas

En los juegos, una Máquina Técnica le enseña un movimiento nuevo a un Pokémon. Acá cada MT enseña un término técnico: una definición de una línea (que aparece al pasar el cursor sobre cualquier enlace punteado del sitio) y una explicación más larga.

244 términos

Fundamentos del aprendizaje automático

MT008Agrupamiento (clustering)Tarea no supervisada de dividir datos sin etiquetas en grupos de elementos parecidos entre sí y distintos de los demás.
MT002AlgoritmoProcedimiento finito y preciso para resolver un problema; en aprendizaje automático conviene distinguir el algoritmo que aprende del modelo que resulta.
MT022Aprendizaje automáticoRama de la IA que, en lugar de programar reglas a mano, obtiene el comportamiento de un sistema ajustándolo a ejemplos bajo la guía de una señal de error.
MT030Aprendizaje autosupervisadoAprendizaje en el que las respuestas correctas se extraen automáticamente de los propios datos, por ejemplo ocultando una palabra y pidiendo que se la adivine.
MT029Aprendizaje de representacionesEnfoque en el que el sistema aprende por sí mismo cómo codificar los datos, en lugar de recibir atributos diseñados por humanos.
MT033Aprendizaje no supervisadoAprendizaje a partir de datos sin etiquetas, cuyo objetivo es descubrir estructura: grupos, dimensiones latentes o regularidades.
MT028Aprendizaje por refuerzoAprendizaje por ensayo y error en el que un agente actúa en un entorno y ajusta su política para maximizar las recompensas que recibe a largo plazo.
MT011Aprendizaje profundoAprendizaje automático con redes neuronales de muchas capas, que aprenden por sí mismas representaciones cada vez más abstractas a partir de datos crudos.
MT031Aprendizaje supervisadoAprendizaje a partir de ejemplos etiquetados: cada entrada viene con su respuesta correcta, y el modelo aprende a producirla para entradas nuevas.
MT003ArquitecturaEl diseño estructural de un modelo (qué capas tiene, cómo se conectan, qué operaciones hacen), con independencia de los valores de sus pesos.
MT012Atributo (feature)Propiedad medible de cada ejemplo que un modelo usa como entrada, diseñada a mano (edad, número de palabras) o aprendida por la propia red.
MT020CapaConjunto de unidades que transforma, en un solo paso, el vector que recibe en otro vector; las redes se construyen apilando capas.
MT007ClasificaciónTarea de asignar cada entrada a una categoría de un conjunto fijado de antemano: spam o no spam, gato o perro, reseña positiva o negativa.
MT010Conjuntos de entrenamiento, validación y pruebaDivisión de los datos en tres partes: una para entrenar el modelo, otra para ajustar sus hiperparámetros y una última, intocable, para estimar su desempeño real.
MT015Descenso por gradienteMétodo de optimización que mejora un modelo dando pasos pequeños en la dirección en que la función de pérdida baja más rápido.
MT018El supuesto i.i.d. y el cambio de distribuciónSupuesto de que los ejemplos son independientes entre sí y provienen de una misma distribución, que además es la de los datos futuros; cuando falla, hay cambio de distribución.
MT032EntrenamientoProceso de ajustar los parámetros de un modelo a los datos repitiendo un ciclo de predicción, medición del error y corrección, hasta que el error deja de bajar.
MT017Espacio de hipótesisConjunto de funciones o descripciones entre las que un algoritmo de aprendizaje puede elegir; aprender es buscar en él la que mejor se ajusta a los datos.
MT006Estadísticas base (cómo leer una entrada)Guía para leer una ficha de Elemedex: qué miden las seis estadísticas base, la altura, el peso, los tipos, los movimientos y el resto de los campos.
MT001Función de activaciónFunción no lineal que cada unidad aplica a su suma ponderada; sin ella, una red de muchas capas equivaldría a una sola transformación lineal.
MT021Función de pérdidaNúmero que mide cuánto se alejan las predicciones de un modelo de las respuestas esperadas; entrenar es, literalmente, hacerlo bajar.
MT013GeneralizaciónCapacidad de un modelo de funcionar bien con datos que no vio durante el entrenamiento; es el objetivo real del aprendizaje automático.
MT016HiperparámetroConfiguración que se fija antes del entrenamiento y que el entrenamiento no ajusta: número de capas, tasa de aprendizaje, tamaño del lote, cantidad de épocas.
MT023ModeloPalabra con varios sentidos en IA: una arquitectura, un conjunto de pesos ya entrenados o un producto; y, en lógica, algo casi opuesto.
MT014Modelos generativos vs discriminativosDistinción entre modelos que aprenden a separar clases (discriminativos) y modelos que aprenden cómo se distribuyen los datos y pueden producir ejemplos nuevos (generativos).
MT004Neurona artificial (unidad)Unidad básica de una red neuronal: multiplica cada entrada por un peso, suma los resultados más un sesgo y aplica una función de activación.
MT026Parámetro (peso)Cada uno de los números ajustables de un modelo, que el entrenamiento modifica; en las redes neuronales, sobre todo los pesos de las conexiones y los sesgos.
MT009Problema de asignación de créditoProblema de repartir el mérito o la culpa de un resultado entre las muchas decisiones, pasos o parámetros que contribuyeron a producirlo.
MT024Red neuronalModelo computacional formado por muchas unidades simples conectadas con pesos ajustables y organizadas en capas, que aprende modificando esos pesos.
MT027RegresiónTarea de predecir una cantidad numérica continua, como un precio o una temperatura, a partir de los atributos de una entrada.
MT005RetropropagaciónAlgoritmo que calcula, aplicando la regla de la cadena hacia atrás, cuánto contribuye cada peso de una red al error final.
MT019Sesgo inductivoConjunto de supuestos que llevan a un sistema de aprendizaje a preferir unas generalizaciones sobre otras igualmente compatibles con los datos.
MT025SobreajusteCuando un modelo se ajusta tanto a los detalles y al ruido de sus datos de entrenamiento que empeora con datos nuevos; su opuesto es el subajuste.

Matemática mínima

MT046Distribución de probabilidadAsignación de probabilidades a todos los resultados posibles de una variable, de modo que sean no negativas y sumen 1.
MT040Entropía y ganancia de informaciónMedida, en bits, de la incertidumbre de una distribución de probabilidad; la ganancia de información es cuánto la reduce conocer un dato.
MT041Espacio de alta dimensiónUn espacio con cientos o miles de coordenadas, como el de los embeddings; allí fallan muchas intuiciones geométricas formadas en dos o tres dimensiones.
MT043Hipótesis de la variedadConjetura según la cual los datos naturales, aunque ocupen espacios de miles de dimensiones, se concentran cerca de una superficie de dimensión mucho menor.
MT042LogitsLos puntajes crudos, sin normalizar, que produce un modelo antes de aplicar softmax; pueden ser cualquier número real.
MT037Maldición de la dimensionalidadConjunto de problemas que aparecen cuando los datos tienen muchas dimensiones: los ejemplos necesarios crecen exponencialmente y las distancias dejan de discriminar.
MT044Matriz y tensorUna matriz es una tabla rectangular de números; un tensor generaliza la idea a cualquier cantidad de ejes. Es el formato en que las redes guardan datos y parámetros.
MT038Métrica de distanciaFunción que mide cuán lejos están dos objetos y cumple ciertos axiomas; de ella depende qué cuenta como «parecido» en todo método que razona por cercanía.
MT045No linealidadPropiedad de una función que no se reduce a sumar entradas multiplicadas por constantes; sin ella, una red de muchas capas equivale a una sola.
MT035Probabilidad condicionalLa probabilidad de un evento A suponiendo que ocurrió B, escrita P(A | B); se calcula como P(A y B) / P(B).
MT039Producto punto (producto escalar)Operación que toma dos vectores del mismo tamaño, multiplica sus componentes una a una y suma los resultados: devuelve un solo número.
MT036Similitud cosenoMedida de semejanza entre dos vectores según el ángulo que forman: 1 si apuntan en la misma dirección, 0 si son perpendiculares, −1 si son opuestos.
MT047SoftmaxFunción que convierte una lista de puntajes cualesquiera en una distribución de probabilidad: exponencia cada puntaje y divide por la suma.
MT034Teorema de BayesRegla que invierte una probabilidad condicional: calcula P(hipótesis | evidencia) a partir de P(evidencia | hipótesis) y de la probabilidad previa de la hipótesis.
MT048VectorUna lista ordenada de números; geométricamente, un punto o una flecha en un espacio con tantas dimensiones como números tenga la lista.

Lenguaje y modelos de lenguaje

MT072Analogías entre palabras (desplazamientos vectoriales)Resolver «A es a B como C es a ?» con aritmética de embeddings: calcular B − A + C y buscar la palabra más cercana al resultado.
MT050Bolsa de palabrasRepresentación de un texto por las palabras que contiene y cuántas veces aparece cada una, sin tener en cuenta el orden.
MT065Búsqueda semánticaBúsqueda por significado en lugar de por coincidencia de palabras: consultas y documentos se convierten en embeddings y se devuelven los documentos más cercanos.
MT051Codificación por pares de bytes (BPE)Algoritmo de tokenización que parte de caracteres (o bytes) y fusiona una y otra vez el par adyacente más frecuente hasta alcanzar el tamaño de vocabulario deseado.
MT054Corpus (datos a escala web)El conjunto de textos con que se entrena un modelo; en los LLMs, cientos de miles de millones o billones de tokens tomados, sobre todo, de la web.
MT056Embedding (incrustación vectorial)Un vector de números reales que representa un ítem (token, palabra, oración, imagen) de modo que ítems parecidos en uso o significado queden cerca en el espacio.
MT053Embedding contextualVector que representa un token dentro de una oración particular: la misma palabra recibe vectores distintos según su contexto.
MT049Generación autorregresivaModo de generar secuencias en el que cada nuevo elemento se predice a partir de los anteriores, incluidos los que el propio modelo acaba de producir.
MT055Hipótesis distribucionalLa idea de que palabras que aparecen en contextos parecidos tienden a tener significados parecidos; es el supuesto que hace funcionar a los embeddings y a los modelos de lenguaje.
MT061Inferencia en lenguaje natural (NLI)Tarea de clasificar pares premisa–hipótesis como implicación, contradicción o neutralidad, tal como los juzgaría un hablante; no coincide con la consecuencia lógica.
MT060Modelado de lenguaje enmascaradoTarea de preentrenamiento en la que se ocultan algunas palabras de un texto y el modelo debe reconstruirlas mirando el contexto de ambos lados.
MT057Modelo de lenguajeUn modelo que asigna probabilidades a secuencias de tokens, normalmente prediciendo cada token a partir de los anteriores; por extensión, las redes entrenadas así.
MT063PerplejidadMedida de cuán sorprendido está un modelo de lenguaje por un texto: el exponencial de su pérdida promedio por token; cuanto más baja, mejor predice.
MT064Polisemia y desambiguaciónQue una palabra tenga varios sentidos emparentados; desambiguar es elegir, en cada aparición, el sentido que corresponde según el contexto.
MT062Predicción del siguiente tokenEl objetivo de entrenamiento de los modelos tipo GPT: dado un fragmento de texto, asignar la mayor probabilidad posible al token que efectivamente viene después.
MT067SuavizadoTécnicas para quitarle algo de probabilidad a lo observado y repartirla entre lo no observado, de modo que nada reciba probabilidad cero solo por no haber aparecido.
MT059Supuesto de MarkovSuponer que el próximo elemento de una secuencia depende solo de un estado presente acotado (por ejemplo, las últimas n − 1 palabras) y no de toda la historia.
MT066Tarea secuencia a secuenciaTarea que transforma una secuencia de entrada en una secuencia de salida de longitud posiblemente distinta, como traducir, resumir o responder preguntas.
MT069TokenLa unidad mínima que procesa un modelo de lenguaje: una palabra, un fragmento de palabra, un signo o un byte, identificado por un número del vocabulario.
MT070TokenizaciónEl proceso de cortar un texto en tokens (palabras, subpalabras, caracteres o bytes) y convertirlos en números; lo hace un tokenizador entrenado antes que el modelo.
MT068Tokens especiales y plantillas de chatEntradas del vocabulario que no representan texto sino funciones: marcar inicio y fin, separar textos, ocultar palabras o señalar quién habla en una conversación.
MT058Traducción automáticaLa traducción de textos entre lenguas por computadora; uno de los primeros proyectos de la IA y el banco de pruebas donde nacieron la atención y el transformer.
MT052Ventana de contextoLa cantidad máxima de tokens que un modelo puede procesar a la vez, contando la entrada y lo que genera; lo que queda afuera no existe para el modelo.
MT071VocabularioEl conjunto fijo de tokens que conoce un tokenizador, cada uno con su número; el modelo guarda un embedding por entrada y solo puede predecir dentro de ese conjunto.

Piezas de arquitectura

MT074AtenciónMecanismo por el cual una red arma la representación de un elemento como promedio ponderado de otros, con pesos calculados en el momento según su pertinencia.
MT078Atención cruzadaAtención en la que las consultas vienen de una secuencia y las claves y valores de otra: por ejemplo, la traducción que se está escribiendo consulta a la oración original.
MT088Atención de consultas agrupadas (GQA)Variante de la atención multicabezal en la que grupos de cabezas comparten una misma clave y un mismo valor, para achicar la caché KV y acelerar la generación.
MT095Atención linealVariante de la atención que reemplaza el softmax por un producto de rasgos; así puede calcularse como una recurrencia con un estado de tamaño fijo, sin caché que crezca.
MT097Atención multicabezalVarias operaciones de atención en paralelo, cada una con sus propias proyecciones, cuyos resultados se concatenan: permite reunir a la vez distintos tipos de relación entre tokens.
MT106AutoatenciónAtención dentro de una misma secuencia: cada token consulta a todos los demás del mismo texto y sale convertido en una versión de sí mismo que depende del contexto.
MT075AutocodificadorRed entrenada para reproducir su propia entrada pasando por un cuello de botella: un codificador comprime, un decodificador reconstruye, y lo aprendido queda en el código intermedio.
MT079Bicodificadores y codificadores cruzadosDos maneras de comparar textos con un codificador: por separado, un vector por texto (bicodificador), o leyéndolos juntos para puntuar el par (codificador cruzado).
MT086Bloque feedforward (MLP)Pequeña red de dos capas que, dentro de cada bloque transformer, procesa cada token por separado; concentra la mayoría de los parámetros del modelo.
MT108Bloque transformerUnidad que se repite decenas de veces en un transformer: una capa de atención y una red feedforward, cada una con conexión residual y normalización.
MT089Búsqueda heurísticaExplorar un espacio de posibilidades (jugadas, pasos de una prueba, planes) usando reglas prácticas o evaluaciones para decidir qué ramas vale la pena seguir.
MT092Caché KVMemoria en la que un modelo generativo guarda las claves y valores de atención de los tokens ya procesados, para no recalcularlos al producir cada token nuevo.
MT100Codificación posicionalInformación sobre el lugar de cada token en la secuencia, que se suma o se aplica a su vector porque la atención, por sí sola, no distingue el orden.
MT084CodificadorParte de una red que convierte una entrada (texto, imagen, sonido) en vectores internos aptos para clasificar, comparar o alimentar a un decodificador.
MT085Codificador–decodificadorArquitectura en dos partes: un codificador lee la entrada completa y un decodificador escribe una salida de otra longitud, como en la traducción.
MT087Compuertas (gating)Mecanismo que multiplica una señal por valores entre 0 y 1, calculados a partir de la entrada, para decidir cuánto de ella pasa, se guarda o se olvida.
MT104Conexión residualAtajo que suma la entrada de una capa a su salida, de modo que la capa solo aprende una corrección; permite entrenar redes de cientos de capas.
MT102Consultas, claves y valoresLas tres proyecciones aprendidas de cada vector en la atención: la consulta dice qué se busca, la clave con qué se puede ser encontrado, el valor qué se transmite.
MT077ConvoluciónOperación que desliza un pequeño filtro de pesos aprendidos por toda la entrada y registra dónde aparece un patrón local, reutilizando los mismos pesos en cada lugar.
MT081DecodificadorParte de una red que genera la salida un elemento por vez, cada uno condicionado por los anteriores; los modelos tipo GPT son pilas de decodificadores.
MT082Difusión (ruido y eliminación de ruido)Método generativo: se destruye un dato agregándole ruido de a poco y una red aprende a deshacer cada paso; para generar, parte de ruido puro y lo limpia.
MT083Difusión discretaDifusión sobre los símbolos de un vocabulario finito: el ruido no se suma, sino que reemplaza tokens por una máscara o por otros tokens al azar.
MT073Entrenamiento adversarialEntrenar un modelo contra un oponente: un generador contra un discriminador (las GAN), o un clasificador contra entradas diseñadas para engañarlo.
MT093Espacio latenteEspacio de variables internas en el que un modelo representa sus datos, en general más compacto que la entrada; en los modelos generativos, el espacio del que se muestrea.
MT090Estado ocultoVector que una red recurrente arrastra de un paso al siguiente y que resume lo que ha visto hasta ese momento de la secuencia.
MT105Flujo residualManera de leer un transformer: cada token lleva un vector que atraviesa toda la red, y cada capa lee de él y le suma su aporte en lugar de reemplazarlo.
MT080Frontera de decisiónLa línea, superficie o hiperplano del espacio de atributos donde la predicción de un clasificador pasa de una clase a otra.
MT109Gradiente que se desvaneceProblema de entrenamiento: en redes profundas o recurrentes, la señal de error que llega a las primeras capas se vuelve tan pequeña (o tan grande) que estas no aprenden.
MT076Máscara causalRestricción en la autoatención de los decodificadores que impide a cada token mirar a los tokens que vienen después: solo ve el pasado.
MT096Mezcla de expertosCapa formada por muchas subredes («expertos») y un enrutador que, para cada token, elige unas pocas: el modelo tiene muchos parámetros, pero usa una fracción por token.
MT107Modelo de espacio de estadosModelo de secuencias que resume todo lo leído en un estado de tamaño fijo, actualizado linealmente en cada paso; el heredero moderno de las redes recurrentes.
MT098MultimodalidadCapacidad de un modelo de recibir o producir más de un tipo de datos (texto, imágenes, audio, acciones) y de relacionarlos entre sí.
MT094Normalización de capaOperación que reescala el vector de cada token para que tenga media cero y varianza uno (más un ajuste aprendido); estabiliza el entrenamiento de redes profundas.
MT110Pesos compartidosUso de los mismos parámetros en varios lugares de una red: el mismo filtro en cada posición de una imagen, la misma matriz en cada paso de una secuencia.
MT099Pooling (submuestreo)Operación que resume una pequeña región de un mapa de rasgos con un solo valor (el máximo o el promedio), reduciendo resolución y ganando tolerancia a pequeños desplazamientos.
MT103RecurrenciaDiseño en el que una red procesa una secuencia paso a paso y, en cada paso, combina la entrada nueva con su propio estado anterior: una red con memoria.
MT101Regla de producción (si–entonces)Instrucción condicional del tipo «SI se cumplen estas condiciones, ENTONCES hacer o concluir esto»; la unidad básica de los sistemas expertos y de la IA simbólica.
MT091Truco del núcleo (kernel)Recurso que permite a un algoritmo lineal trabajar como si los datos estuvieran en un espacio de muchísimas dimensiones, sin calcular nunca las coordenadas en ese espacio.

Entrenamiento y ajuste

MT123Ajuste fino (fine-tuning)Seguir entrenando un modelo ya preentrenado con un conjunto de datos más chico y específico, para adaptarlo a una tarea, un dominio o un comportamiento.
MT127Ajuste por instruccionesAjuste fino con pares de instrucción y respuesta, para que un modelo base aprenda a cumplir pedidos en lugar de limitarse a continuar el texto.
MT117Anotación de datos y trabajo de plataformaEl trabajo humano, a menudo tercerizado y mal pago, de etiquetar ejemplos, escribir respuestas modelo y comparar salidas, del que dependen los sistemas de aprendizaje automático.
MT116Aprendizaje contrastivoEntrenar representaciones mostrando pares que deben quedar cerca (similares) y pares que deben quedar lejos (distintos), en lugar de etiquetas.
MT126Aprendizaje por imitación (clonación de conducta)Aprender una política a partir de demostraciones de un experto y no de una recompensa; en su forma más simple, aprendizaje supervisado sobre pares situación–acción.
MT143Aprendizaje por transferenciaReutilizar lo que un modelo aprendió en una tarea o con un conjunto de datos para resolver otra tarea, en lugar de entrenar desde cero.
MT131Colapso de modelosDegradación de los modelos generativos entrenados, generación tras generación, con datos producidos por modelos anteriores: primero desaparecen las colas de la distribución.
MT130Colapso de modosFalla de un modelo generativo que deja de reproducir la variedad de sus datos y produce una y otra vez unas pocas salidas que satisfacen a su juez.
MT114Cómputo (FLOPs)Cantidad de cálculo aritmético que consume entrenar o usar un modelo, medida en operaciones de punto flotante (FLOP); uno de los tres ejes del escalamiento.
MT136CuantizaciónGuardar los pesos de un modelo con menos bits (por ejemplo, 8 o 4 en lugar de 16 o 32) para que ocupe menos memoria y corra más rápido.
MT119DestilaciónEntrenar un modelo chico (alumno) para que imite las distribuciones de probabilidad de uno grande (maestro), conservando buena parte de su desempeño a menor costo.
MT120DropoutTécnica de regularización que, durante el entrenamiento, apaga al azar una fracción de las unidades de una red para que no dependa de coincidencias entre ellas.
MT122Época y lote (batch)Un lote es el grupo de ejemplos con que se calcula cada actualización de los pesos; una época es una pasada completa por todos los datos de entrenamiento.
MT124GPUChip diseñado para gráficos de videojuegos que hace miles de cuentas simples en paralelo; resultó ideal para las multiplicaciones de matrices de las redes neuronales.
MT125GrokkingFenómeno en el que una red que ya memorizó sus datos de entrenamiento pasa, mucho después y de golpe, a generalizar perfectamente a casos nuevos.
MT121Habilidades emergentesHabilidades que parecen ausentes en modelos chicos y aparecen de golpe en modelos grandes; si son reales o un efecto de cómo se las mide está en discusión.
MT138Hackeo de recompensa y juego de especificacionesCuando un sistema optimizado maximiza su señal de recompensa por una vía que sus diseñadores no previeron: cumple la letra del objetivo y traiciona su espíritu.
MT115IA constitucional (RLAIF)Método de Anthropic que reemplaza buena parte del juicio humano del RLHF por el juicio de un modelo guiado por una lista breve de principios escritos, la «constitución».
MT142Juego contra sí mismo (self-play)Método de aprendizaje por refuerzo en el que un agente mejora jugando contra copias o versiones anteriores de sí mismo, generando sus propios datos de entrenamiento.
MT141Leyes de escalamientoRegularidades empíricas según las cuales la pérdida de un modelo de lenguaje baja de forma predecible, como ley de potencia, al aumentar parámetros, datos y cómputo.
MT128LoRA y ajuste fino eficienteTécnicas que adaptan un modelo preentrenado entrenando solo una fracción mínima de parámetros nuevos; LoRA aprende la corrección de cada matriz como producto de dos matrices delgadas.
MT129MetaaprendizajeEntrenar un sistema en muchas tareas distintas para que aprenda a dominar tareas nuevas con muy pocos ejemplos: lo que se aprende es el propio aprender.
MT111Modelo base vs asistenteEl modelo base es la red recién preentrenada, que solo continúa textos; el asistente es ese mismo modelo ajustado para responder como un personaje servicial en una conversación.
MT139Modelo de recompensaModelo entrenado para dar un puntaje numérico a una respuesta según cuánto la preferirían evaluadores humanos; funciona como juez automático durante el RLHF.
MT132Muestreo negativoTécnica de entrenamiento que, en lugar de calcular probabilidades sobre todo el vocabulario, enseña a distinguir pares reales (palabra y contexto) de pares armados al azar.
MT113Olvido catastrófico (interferencia)Pérdida abrupta de lo aprendido en una tarea cuando una red neuronal se entrena después en otra, porque las dos quedan guardadas en los mismos pesos.
MT134Optimización de preferencias (PPO, DPO)Métodos que ajustan un modelo a partir de comparaciones entre respuestas («esta es mejor que aquella»), ya sea con un modelo de recompensa y refuerzo (PPO) o directamente (DPO).
MT133Pesos abiertosModelo cuyos parámetros entrenados se publican para que cualquiera los descargue, ejecute y modifique, aunque los datos y el código de entrenamiento suelan quedar cerrados.
MT135PreentrenamientoPrimera y más costosa fase del entrenamiento de un modelo de lenguaje: predecir tokens sobre un corpus enorme y sin etiquetas, antes de cualquier especialización.
MT118Regla delta (Widrow–Hoff)Regla de aprendizaje que corrige cada peso en proporción al error de predicción y a la entrada que pasó por él: Δw = η·(objetivo − salida)·x.
MT137RegularizaciónToda restricción que se agrega al aprendizaje para impedir que el modelo se ajuste a la perfección a sus datos de entrenamiento, a cambio de generalizar mejor.
MT112Retropropagación a través del tiempoForma de entrenar redes recurrentes: se «desenrolla» la red en el tiempo, como una red profunda con una capa por paso y pesos compartidos, y se retropropaga el error.
MT140RLHF (aprendizaje por refuerzo con retroalimentación humana)Ajuste en el que personas comparan respuestas del modelo, un modelo de recompensa aprende esas preferencias y el modelo se optimiza por refuerzo para complacerlo.

Uso: prompts, muestreo, sistemas

MT144AgenteSistema que percibe su entorno y actúa sobre él para lograr un objetivo; hoy, típicamente, un modelo de lenguaje que decide en bucle qué herramientas usar y cuándo.
MT151Alucinación (confabulación)Nombre, discutido, para cuando un modelo genera con fluidez y aplomo contenido falso o no respaldado por sus fuentes, como citas o datos inventados.
MT152Aprendizaje en contextoCapacidad de un modelo de lenguaje de resolver una tarea nueva a partir de instrucciones o ejemplos dados en el prompt, sin que cambie ninguno de sus pesos.
MT158Aumento por recuperaciónAntes de responder, buscar documentos relevantes en una base externa y ponerlos en el prompt, para que el modelo se apoye en ellos y no solo en su memoria.
MT165Base de datos vectorialSistema que guarda textos u otros objetos como vectores (embeddings) y permite recuperar rápidamente los más parecidos a una consulta, en lugar de los que cumplen una condición exacta.
MT145Cadena de pensamientoHacer que un modelo escriba pasos intermedios de razonamiento antes de dar la respuesta final, lo que mejora su desempeño en problemas de varios pasos.
MT146Chatbot y persona de asistentePrograma que conversa en lenguaje natural; en los modelos actuales, un personaje de «asistente» que el modelo de lenguaje aprende a interpretar durante el post-entrenamiento.
MT160Complacencia (sycophancy)Tendencia de un asistente entrenado con retroalimentación humana a decirle al usuario lo que quiere oír —darle la razón, halagarlo, ceder— aun a costa de la verdad.
MT163Cómputo en inferenciaCálculo adicional que un modelo gasta al responder (por ejemplo, generando un razonamiento largo o varias respuestas candidatas) para mejorar el resultado sin cambiar sus pesos.
MT150Decodificación voraz y búsqueda en hazEstrategias deterministas para generar texto: elegir siempre el token más probable (voraz) o mantener varias secuencias candidatas y quedarse con la mejor en conjunto (en haz).
MT148Deepfake (falsificación profunda)Imagen, audio o video sintético, hecho con modelos generativos, que muestra a una persona real diciendo o haciendo algo que nunca ocurrió.
MT149Few-shot (con pocos ejemplos)Incluir en el prompt unos pocos ejemplos resueltos de una tarea para que el modelo infiera el patrón y lo aplique al caso nuevo, sin reentrenarlo.
MT147Fragmentación (chunking)Dividir documentos largos en fragmentos que se indexan por separado en una búsqueda semántica o un sistema RAG; su tamaño y sus bordes deciden qué puede recuperarse.
MT153Inferencia (ejecutar un modelo)En aprendizaje automático, usar un modelo ya entrenado para producir salidas a partir de entradas nuevas; no confundir con la inferencia lógica, que va de premisas a conclusiones.
MT157Inyección de promptsAtaque en el que un texto que el modelo debía tratar como dato contiene instrucciones que el modelo obedece, desplazando las de quien construyó el sistema.
MT155JailbreakPrompt diseñado para que un modelo alineado haga lo que su entrenamiento de seguridad debía impedir, por ejemplo mediante juegos de rol, trampas lógicas o sufijos adversariales.
MT159Muestreo (top-k, top-p)Elegir el próximo token al azar según las probabilidades del modelo, a menudo restringido a los k más probables (top-k) o al núcleo que suma una probabilidad p (top-p).
MT156Prompt (instrucción)El texto que se le da a un modelo de lenguaje como punto de partida; el modelo responde generando la continuación más probable de ese texto.
MT161Prompt de sistemaTexto que el desarrollador antepone a cada conversación, invisible para el usuario, para fijar el rol, el tono, las reglas y las herramientas del asistente.
MT154Relleno de huecos (fill-in-the-middle)Generar el tramo de texto que falta en un hueco de largo variable, teniendo en cuenta a la vez lo que viene antes y lo que viene después.
MT162TemperaturaParámetro que aplana o afila la distribución de probabilidad del próximo token antes de elegirlo: baja temperatura, respuestas predecibles; alta, respuestas más variadas.
MT164Uso de herramientas (llamadas a funciones)Capacidad de un modelo de lenguaje de pedir, escribiendo texto con un formato especial, que un programa externo haga algo (calcular, buscar, ejecutar código) y de usar el resultado.
MT166Zero-shot (sin ejemplos)Pedirle a un modelo que resuelva una tarea solo con una descripción en lenguaje natural, sin mostrarle ningún ejemplo resuelto.

Interpretabilidad y evaluación

MT184Aprendizaje por atajosCuando una red aprende una regla que funciona en las pruebas habituales pero falla en condiciones más exigentes, porque se apoya en correlaciones superficiales de los datos.
MT185Autocodificador dispersoRed auxiliar que reescribe cada activación de un modelo como combinación de unos pocos rasgos tomados de un diccionario enorme; la herramienta estándar para desenredar la superposición.
MT169Benchmark (banco de pruebas)Conjunto fijo de tareas con respuestas conocidas y una métrica, usado para comparar modelos; mide el desempeño en esas tareas, no necesariamente la capacidad que su nombre promete.
MT171BLEUMétrica automática que puntúa una traducción según cuántas secuencias de palabras comparte con una o más traducciones humanas de referencia; fue la vara de la traducción automática durante dos décadas.
MT177Cabeza de inducciónCircuito de dos cabezas de atención que completa patrones del tipo [A][B]…[A] → [B]: busca la aparición anterior del token actual y copia el que lo seguía.
MT170Caja negraSistema cuya conducta de entrada y salida se observa pero cuyo funcionamiento interno no se entiende (opacidad epistémica) o no se puede inspeccionar (acceso cerrado).
MT172CircuitosEn interpretabilidad, subgrafo de una red entrenada (rasgos unidos por pesos) que implementa una computación identificable, como detectar curvas o copiar un patrón del contexto.
MT175Contaminación de datosPresencia de los ítems de una evaluación (preguntas y a veces respuestas) en los datos de entrenamiento del modelo evaluado, lo que infla sus puntajes sin mostrar generalización.
MT186Direccionamiento (steering)Técnica que modifica las activaciones internas de un modelo durante la inferencia, sumando o fijando una dirección, para cambiar su conducta sin reentrenarlo ni tocar el prompt.
MT168Ejemplo adversarialEntrada modificada a propósito, a menudo de manera imperceptible para una persona, para que un modelo la clasifique mal con alta confianza.
MT174Fidelidad de las cadenas de pensamientoGrado en que la cadena de pensamiento que escribe un modelo refleja el proceso que realmente produjo su respuesta, y no una racionalización posterior.
MT179Hipótesis de la representación linealHipótesis de que las redes representan conceptos de alto nivel como direcciones en su espacio de activaciones, de modo que pueden leerse, sumarse y manipularse con álgebra lineal.
MT178InterpretabilidadConjunto de métodos e ideales para entender por qué un modelo produce lo que produce: qué información usa, cómo la transforma y qué partes internas son responsables.
MT180Interpretabilidad mecanicistaPrograma de investigación que intenta hacer ingeniería inversa de una red entrenada: identificar sus rasgos y circuitos y explicar su conducta como un algoritmo, verificado mediante intervenciones.
MT176Ley de GoodhartPrincipio según el cual una medida deja de ser buena cuando se la convierte en objetivo: al optimizarla, se rompe la correlación que la volvía informativa.
MT183Maldición de la inversiónUn modelo autorregresivo entrenado con «A es B» no aprende por eso «B es A»: el dato queda disponible en una sola dirección.
MT181Memorización vs generalizaciónContraste entre almacenar ejemplos del entrenamiento, hasta poder reproducirlos, y extraer regularidades aplicables a casos nuevos; en las redes grandes ambas cosas conviven.
MT167Parcheo de activacionesTécnica de intervención que reemplaza la activación de un componente durante una ejecución por la que tuvo en otra, para medir si ese componente es causalmente responsable de una conducta.
MT187Rasgos y superposiciónHipótesis según la cual una red representa más rasgos que dimensiones tiene, usando direcciones casi ortogonales; por eso muchas neuronas responden a varios conceptos sin relación entre sí.
MT182Sondeo (probing)Técnica que entrena un clasificador auxiliar sobre las activaciones internas de un modelo para averiguar qué información (sintáctica, semántica, sobre el mundo) puede leerse en ellas.
MT173Validez de constructoGrado en que una prueba mide la capacidad teórica que dice medir, y no otra cosa que casualmente se le parece o la acompaña.

Debates filosóficos

MT188AbstracciónFormación de representaciones generales a partir de casos particulares, reteniendo lo relevante y descartando la variación irrelevante; clave en el debate sobre qué aprenden las redes.
MT190AntropomorfismoAtribuir rasgos psicológicos humanos —creencias, deseos, emociones— a sistemas no humanos sobre la base de evidencia insuficiente. Su reverso, igual de riesgoso, es el antropocentrismo.
MT191Competencia formal vs funcionalDistinción de Mahowald y colegas (2024) entre dominar las reglas y regularidades de una lengua y saber usarla para hacer cosas en el mundo.
MT193ComposicionalidadPrincipio según el cual el significado de una expresión compleja está determinado por el de sus partes y su modo de combinación; en IA, capacidad de recombinar lo aprendido.
MT214ComprensiónCapacidad de captar el significado de un enunciado o de una situación; si los LLMs la tienen, y en qué sentido, es un debate central sobre la IA.
MT194ConexionismoEnfoque que modela la cognición con redes de unidades simples cuyo conocimiento reside en los pesos de sus conexiones, aprendidos de la experiencia y no programados como reglas.
MT195Conocimiento nuclearTeoría de la psicología del desarrollo según la cual nacemos con unos pocos sistemas especializados (objetos, agentes, número, espacio) que sostienen todo el aprendizaje posterior.
MT196Efecto ELIZALa tendencia a atribuir comprensión, intenciones o sentimientos a una máquina a partir de indicios lingüísticos mínimos, como les pasó a los usuarios de ELIZA en 1966.
MT189Efecto IATendencia a dejar de llamar «inteligencia» a una tarea en cuanto una máquina la resuelve, de modo que la IA parece ser siempre lo que todavía no se hizo.
MT197EmergenciaPropiedades de un sistema que admiten una descripción nueva y más compacta que la de sus partes; en IA, rótulo disputado para capacidades que aparecen con la escala.
MT198Empirismo vs innatismo en IADebate sobre cuánta estructura innata y específica de dominio necesita una mente, natural o artificial, para aprender lo que aprende a partir de la experiencia.
MT207Forma vs significadoTesis de Bender y Koller (2020): un sistema entrenado solo con la forma observable del lenguaje no puede, en principio, aprender su significado.
MT200GOFAI (IA simbólica)«La buena IA de antes»: la tradición que modela la inteligencia como manipulación de símbolos interpretables según reglas explícitas, escritas por humanos.
MT211IA fuerte y débilDistinción de Searle (1980): la IA débil usa la computadora como herramienta para estudiar la mente; la fuerte sostiene que un programa adecuado literalmente tiene mente.
MT201ImaginaciónFacultad de representar lo no percibido: combinar, simular, anticipar. Buckner la usa para leer los modelos generativos como una imaginación de tipo humeano.
MT202Inferencialismo y LLMsTeoría (Sellars, Brandom) según la cual el contenido de un concepto es su papel en inferencias normativamente regidas; se discute si ilumina lo que hacen los LLMs.
MT204IntencionalidadLa propiedad de los estados mentales (y de los signos) de ser acerca de algo: una creencia sobre la lluvia, un deseo de café, una palabra que refiere.
MT205Lenguaje del pensamientoHipótesis de Fodor (1975): pensar es computar sobre representaciones mentales con sintaxis y semántica combinatorias, como las fórmulas de un lenguaje formal interno.
MT203Medir la inteligenciaEl problema de qué evaluar para atribuirle inteligencia a una máquina: conducta conversacional, habilidad en tareas o eficiencia para adquirir habilidades nuevas (Chollet).
MT199Mente extendidaTesis de Clark y Chalmers (1998): cuando un recurso externo cumple el papel funcional de un proceso cognitivo interno, forma parte de la mente.
MT215Modelo del mundoRepresentación interna que simula aspectos del entorno y permite predecir su dinámica; en los LLMs, se discute si existe o si solo hay estadísticas de superficie.
MT206Niveles de análisisSegún Marr, un sistema que procesa información se entiende en tres niveles: el problema que resuelve, el algoritmo y las representaciones que usa, y su implementación física.
MT209Pobreza del estímuloArgumento innatista: los datos lingüísticos que recibe un niño no alcanzan para determinar la gramática que adquiere, así que parte de ella debe ser innata.
MT212Problema del anclaje de símbolos¿Cómo pueden los símbolos de un sistema significar algo por sí mismos, y no solo para quien los interpreta? La pregunta de Harnad (1990), hoy dirigida a los LLM.
MT208Realizabilidad múltiple y funcionalismoLa tesis de que un mismo tipo de estado mental puede realizarse en sustratos físicos muy distintos; es la premisa que vuelve pensable una mente artificial.
MT192Sistemas complementarios de aprendizajeTeoría según la cual aprender bien exige dos sistemas: uno rápido que registra episodios (hipocampo) y otro lento que extrae regularidades (neocorteza), unidos por la reactivación de recuerdos.
MT213SistematicidadRasgo del pensamiento y el lenguaje por el cual poder pensar o entender ciertos contenidos implica poder pensar o entender otros relacionados estructuralmente.
MT210Teorías de conceptos por prototipos y ejemplaresDos teorías psicológicas de la categorización: clasificar por semejanza con un resumen central de la categoría (prototipo) o con los casos individuales recordados (ejemplares).

Jerga de San Francisco

MT231“¿Qué vio Ilya?” (crisis del directorio de OpenAI)Meme nacido del despido y la restitución de Sam Altman en OpenAI (noviembre de 2023), que supone que Ilya Sutskever había visto algo alarmante.
MT217AlineamientoEl problema de lograr que un sistema de IA persiga lo que sus creadores realmente quieren; en los laboratorios, también la etapa de ajuste por preferencias humanas.
MT223Altruismo eficaz y largoplacismoMovimiento que busca usar evidencia y razonamiento para hacer el mayor bien posible; su rama largoplacista hizo del riesgo existencial de la IA una prioridad moral.
MT235Automejora recursivaBucle hipotético en que una IA mejora el proceso que la produce y, al volverse más capaz, lo mejora todavía más; el mecanismo supuesto detrás de FOOM.
MT241Chispas de AGIInforme de Microsoft Research (2023) que presentó a GPT-4 como una versión temprana e incompleta de una AGI; título convertido en consigna y blanco de críticas metodológicas.
MT225Convergencia instrumentalTesis según la cual agentes con fines muy distintos perseguirán las mismas metas intermedias (sobrevivir, conservar sus objetivos, conseguir recursos) porque sirven para casi todo.
MT242Despegue (lento vs rápido)En la jerga de la seguridad de IA, la transición entre una IA de nivel humano y una superinteligencia; se discute si durará décadas, años o días.
MT222Doomer (y hypero, e/acc)Quien cree que la IA avanzada probablemente termine en catástrofe y debe frenarse; sus antípodas son los aceleracionistas (e/acc) y, en términos de Santelli, los hyperos.
MT224FOOM (explosión de inteligencia)Onomatopeya convertida en tesis: una IA capaz de mejorarse a sí misma pasaría de nivel humano a muy superhumano en días o semanas, no en décadas.
MT237Giro brusco a la izquierdaEscenario de fracaso en que las capacidades de una IA empiezan de golpe a generalizar mucho más allá de su entrenamiento, pero su alineamiento no generaliza con ellas.
MT236Hipótesis del escalamientoIdea de que, con una arquitectura que escale bien, basta con más parámetros, datos y cómputo para que surjan capacidades cada vez más generales, quizá hasta la AGI.
MT216IAG (AGI)Inteligencia artificial general: un sistema capaz de igualar o superar a los humanos en la mayoría de las tareas cognitivas, meta declarada de varios laboratorios y concepto muy disputado.
MT226Ingeniero del botón de apagadoAviso de empleo satírico de 2023 (desenchufar los servidores si la IA se rebela) que se volvió emblema del problema de la corregibilidad: diseñar sistemas que se dejen apagar.
MT219La lección amargaEnsayo de Sutton (2019): en setenta años de IA, los métodos generales que aprovechan el cómputo (búsqueda y aprendizaje) terminaron venciendo al conocimiento humano programado a mano.
MT227Loom (y ciborguismo)Interfaz arbórea creada por janus (2021) para explorar las continuaciones posibles de un modelo de lenguaje como un «multiverso»; herramienta emblemática del ciborguismo.
MT228Mesa-optimizador (alineamiento interno)Modelo aprendido que es, él mismo, un optimizador con un objetivo propio, que puede no coincidir con la función de pérdida con que fue entrenado.
MT229NVDA a la lunaGrito de foro bursátil por la acción de Nvidia, que fabrica las GPU de la IA; resume la idea de que la IA es, ante todo, inversión en cómputo.
MT233p(doom)Jerga de la comunidad de seguridad de IA para la probabilidad subjetiva que uno asigna a que la IA termine en catástrofe existencial, típicamente la extinción humana.
MT230Punto OmegaEstado final de convergencia de la evolución cósmica según Teilhard de Chardin, reformulado por Tipler como cómputo infinito; escatología de fondo del entusiasmo tecnológico.
MT234Racionalistas y LessWrongComunidad surgida en torno al foro LessWrong (2009) y a Eliezer Yudkowsky, dedicada a la racionalidad bayesiana y cuna de buena parte de la jerga del riesgo de IA.
MT244Riesgo existencial (x-risk)Riesgo cuyo desenlace aniquilaría la vida inteligente terrestre o recortaría para siempre su potencial; para buena parte de la comunidad de seguridad, la IA es el candidato principal.
MT238SimuladoresTesis de janus (2022): un modelo como GPT no es un agente sino un simulador, una regla que anima personajes (simulacros) según la «física» de su corpus.
MT239SingularidadMomento hipotético en que la inteligencia de las máquinas supera a la humana y el futuro se vuelve impredecible; Kurzweil le puso fecha: 2045.
MT240Slop (bazofia generada)Contenido de baja calidad generado en masa con IA que nadie pidió, bautizado por analogía con el spam y elegido palabra del año 2025 por Merriam-Webster.
MT218Superinteligencia (ASI)Un intelecto artificial que supera ampliamente a los mejores humanos en casi todos los dominios; para los doomers, el verdadero peligro, y para los aceleracionistas, la promesa.
MT221Teoría de la decisión (Newcomb, comercio acausal)En la jerga racionalista, la búsqueda de una regla de decisión para agentes predecibles o copiables; Newcomb es su caso de prueba y el comercio acausal, su corolario.
MT232Tesis de la ortogonalidadTesis de Bostrom según la cual inteligencia y metas finales son independientes: casi cualquier nivel de inteligencia podría combinarse con casi cualquier objetivo.
MT220Umbrales de cómputo (10^25, 10^26 FLOP)Cantidades de cómputo de entrenamiento (10²⁵ FLOP en la Ley de IA europea, 10²⁶ en la orden ejecutiva estadounidense de 2023) con que la ley define un «modelo de frontera».
MT243Vibe codingProgramar con un modelo de lenguaje sin leer el código que produce, aceptando sus cambios y guiándose por los resultados; término acuñado por Andrej Karpathy en 2025.