Dos supuestos en uno. Independientes: la aparición de un ejemplo no afecta a los demás. Idénticamente distribuidos: todos salen de la misma distribución. Gracias a ellos la probabilidad del conjunto de datos se factoriza como un producto, p(x₁, …, xₙ; θ) = Πᵢ p(xᵢ; θ). El supuesto rara vez se cumple del todo, pero suele bastar para inferencias útiles (Witten et al., 2017, p. 338). Y solo bajo este supuesto el error en un conjunto de prueba reservado estima el error futuro.
Falla la independencia. Las palabras de un texto no son independientes: por eso un modelo de lenguaje condiciona cada token en los anteriores (ver supuesto de Markov), y el supuesto se aplica a los documentos, no a los tokens. En aprendizaje por refuerzo, los datos dependen de las acciones del propio agente.
Falla la identidad. Puede cambiar la distribución de las entradas mientras se mantiene su relación con la salida (el covariate shift de Shimodaira, 2000) o cambiar la relación misma. M. Mitchell (2019) lo ilustra con la «cola larga»: en 2016 hubo reportes de que el piloto automático de Tesla confundía con marcas de carril las líneas de sal esparcidas en la ruta antes de una tormenta (2019, ch. 6).
Lo que un conjunto i.i.d. no ve. Si un atajo está en los datos de entrenamiento y en los de prueba, la evaluación lo premia. Una red que debía reconocer animales aprendió a detectar fondos borrosos (M. Mitchell, 2019, ch. 6); modelos de inferencia en lenguaje natural como BERT, excelentes en MNLI, fracasaron en HANS, un conjunto donde la heurística de superposición léxica falla (McCoy et al., 2019).
¿Fuera de qué distribución? Buckner (2024) observa que la tesis de que las redes solo generalizan sobre datos i.i.d. se volvió casi un mantra, rara vez precisado: la distribución de ImageNet no está caracterizada, y la de GPT-3 abarca casi todo el lenguaje escrito públicamente disponible (2024, p. 138). Decir que un caso está fuera de la distribución exige decir de cuál, y con qué medida.