Una red entrenada primero en una tarea A y después solo en otra, B, pierde lo que sabía de A. McCloskey y Cohen (1989) lo llamaron interferencia catastrófica. Su red aprendió las sumas de un dígito con un 1 y luego las sumas con un 2 (1989, pp. 117, 119). Tras un solo ensayo con las nuevas, aun con el criterio más laxo, acertaba el 57 % de las viejas; tras dos, el 30 %. Las respondía como sumas con 2: 6 + 1 daba 8 (1989, pp. 122–123). Ratcliff (1990) halló lo mismo en modelos de memoria de reconocimiento (1990, p. 285).
Por qué pasa. En una red proposicional cada hecho tiene su propia estructura; en una red conexionista cada peso interviene al responder a muchas entradas, y ajustarlo para lo nuevo altera lo viejo (McCloskey y Cohen, 1989, p. 147). La regla delta corrige el error del ejemplo presente sin registrar lo que pedían los anteriores. French (1999) lo trata como la forma extrema del dilema estabilidad–plasticidad (1999, p. 128).
Remedios. Si los datos de todas las tareas se intercalan, el olvido no aparece (Kirkpatrick et al., 2017). Así suelen entrenarse las redes profundas (Kumaran et al., 2016, p. 527); el preentrenamiento mezcla su corpus en vez de presentarlo por temas. Si las tareas llegan en secuencia, cabe repasar ejemplos viejos junto con los nuevos (French, 1999, p. 132), como hace el hipocampo en la teoría de los sistemas complementarios (Kumaran et al., 2016, pp. 518–519). La elastic weight consolidation (EWC), inspirada en la consolidación sináptica, ata cada peso a su valor anterior con un resorte, más rígido cuanto más importa para A según la información de Fisher (Kirkpatrick et al., 2017, eq. 3).
En los modelos de lenguaje. El ajuste fino sucesivo reabre el problema. Luo et al. (2023) encadenaron cinco tareas de ajuste por instrucciones en modelos de hasta 7000 millones de parámetros, LLaMA entre ellos: perdieron conocimientos generales, y más cuanto más grandes (2023, secs. 3.1, 5.1–5.2). Mezclar instrucciones generales lo atenuó (2023, sec. 5.4).
Para discutir. Para McCloskey y Cohen, que haya interferencia no es el problema: los humanos también la sufren. Lo anómalo es su magnitud, más propia de una amnesia retrógrada (1989, p. 124). Y su causa es la misma que permite generalizar (1989, p. 147); las representaciones más ralas interfieren menos, pero generalizan peor (French, 1999, p. 130). ¿Falla del entrenamiento secuencial o precio de generalizar?