Un autocodificador tiene dos mitades. El codificador lleva la entrada x a un código z de menos dimensiones; el decodificador intenta reconstruir x a partir de z. La pérdida mide cuánto difiere la reconstrucción del original, por ejemplo ‖x − d(e(x))‖². El modelo se entrena, entonces, para predecir su propia entrada, pero obligado a pasar por la representación estrecha de sus unidades ocultas (Witten et al., 2017, p. 445). No hacen falta etiquetas: es aprendizaje autosupervisado en su forma más pura.
Qué aprende. Si no hay no linealidades, el autocodificador encuentra el mismo subespacio que el análisis de componentes principales (PCA). Con varias capas no lineales puede comprimir mejor que PCA con igual número de dimensiones y ordenar los datos en grupos más naturales, como mostraron Hinton y Salakhutdinov (2006) (Witten et al., 2017, pp. 446–447). Por esa época se lo usó para preentrenar redes profundas capa por capa, porque optimizarlas directamente resultaba difícil (2017, p. 448).
Variantes. El autocodificador con eliminación de ruido recibe una entrada corrompida (por ejemplo, con algunos valores puestos en cero) y debe restituir la original (Vincent et al., 2008). Es un antepasado directo del modelado enmascarado: BERT se define por contraste con él, porque solo predice las palabras tapadas y no toda la entrada (Devlin et al., 2019, p. 4174). El VAE codifica distribuciones en vez de puntos, y los modelos de difusión latente trabajan en el espacio latente de un autocodificador (Rombach et al., 2022). Chollet (2021) advierte que el autocodificador clásico, en cambio, no produce espacios latentes especialmente útiles ni bien estructurados (2021, sec. 12.4).
Un ángulo filosófico. Buckner (2024) usa la mitad generativa de estas redes para responder un desafío de Fodor a Hume: ¿cómo produce una mente empirista ideas particulares a partir de representaciones generales? El decodificador puede reconstruir un ejemplar ya visto o promediar los códigos de una categoría y dibujar un miembro «típico» (2024, pp. 210–211). Que reconstruir sea lo mismo que imaginar es, claro, la pregunta abierta.