La expresión viene de la ingeniería y la cibernética: un dispositivo que se estudia solo por lo que entra y lo que sale. En aprendizaje automático se usa en dos sentidos que conviene separar.
El primero es epistémico. Aunque tengamos todos los pesos de una red, es difícil decidir cuáles importaron para una decisión (Buckner, 2024, p. 61). Buckner (2024) lo ilustra comparando Deep Blue con AlphaGo (2024, pp. 62–63): cuando Deep Blue cometió un error célebre contra Kaspárov en 1997, los programadores lo rastrearon hasta una falla de código; cuando AlphaGo jugó la insólita jugada 37 contra Lee Sedol, nadie podía decir si era un error o una genialidad hasta que la partida avanzó. Tampoco sirve una descripción matemática completa de la red como función compuesta: redescribir lo que hace un modelo como multiplicación de matrices no explica su conducta (Millière y Buckner, 2024b, sec. 2.2).
El segundo es de acceso: los pesos, los datos y los detalles de entrenamiento de muchos modelos comerciales no se publican, así que solo pueden estudiarse por su conducta. Millière y Buckner advierten que así los resultados más vistosos se vuelven anécdotas irreproducibles (Millière y Buckner, 2024b, sec. 3.3). En este Pokédex, la estadística de transparencia baja por ambos motivos (ver pesos abiertos).
Hay dos respuestas. Una es abrir la caja con técnicas de interpretabilidad. Otra, la de Rudin (2019), es no usar cajas negras donde hay mucho en juego: para decisiones judiciales o médicas, mejor modelos interpretables desde el origen que explicaciones aproximadas de modelos opacos.
La metáfora reabre un debate viejo. El conductismo trataba a la mente como caja negra, y el Blockhead de Block (1981) muestra por qué la conducta sola podría no bastar para atribuir inteligencia: importa cómo se produce. Pero el cerebro también es opaco, y las personas no siempre pueden explicar cómo llegaron a una decisión (M. Mitchell, 2019, ch. 6). ¿Le exigimos a la máquina una transparencia que no nos exigimos a nosotros?