Una sonda (probe) es un modelo pequeño, casi siempre lineal, entrenado para predecir una propiedad —la categoría gramatical de una palabra, su profundidad en el árbol sintáctico, el estado de un tablero— a partir de los vectores que un modelo produce en alguna capa. Si la sonda acierta bastante más que el azar, se concluye que esa información está codificada allí (Millière y Buckner, 2024b, sec. 2.3).
Con esta técnica, Tenney et al. (2019) encontraron que BERT recorre, capa tras capa, algo parecido al pipeline clásico del procesamiento del lenguaje: primero categorías gramaticales, luego sintaxis, entidades nombradas, roles semánticos y, al final, correferencia. Hewitt y Manning (2019) fueron más lejos con una «sonda estructural»: hallaron una transformación lineal bajo la cual la distancia entre los embeddings contextuales de dos palabras aproxima su distancia en el árbol sintáctico, tanto en ELMo como en BERT.
Hay dos advertencias clásicas. La primera: una sonda potente puede aprender la tarea por su cuenta. Por eso Hewitt y Liang (2019) propusieron tareas de control, que asignan etiquetas aleatorias a las palabras: una buena sonda debe ser selectiva, acertar en la tarea lingüística y fallar en la de control. La segunda: que una información sea decodificable no prueba que el modelo la use. Millière y Buckner (2024b) lo ilustran con un estanque: si se arrojan letras de madera que forman una palabra, con el instrumental adecuado se podría reconstruir la palabra a partir de las ondas, pero nadie diría que el estanque la representa (2024b, sec. 2.3). Para pasar de la correlación a la causa hacen falta intervenciones: modificar la dirección hallada y ver si la conducta cambia como se predice. Así se reforzó la hipótesis de un modelo del mundo en Othello-GPT (Li et al., 2023; Millière y Buckner, 2024b, sec. 2.5.3).
La distinción importa para la filosofía de la mente. Las teorías de la representación suelen exigir tres cosas: que el estado lleve información, que influya en la conducta y que pueda representar erróneamente (Millière y Buckner, 2024b, sec. 2.4). El sondeo, por sí solo, prueba apenas la primera.