Una capa toma un vector (o un tensor) y devuelve otro. La más simple es la densa o totalmente conectada: cada salida es una unidad conectada a todas las entradas, y el cálculo entero es activación(W·x + b), donde W es una matriz de pesos. Otras capas imponen estructura: convolucionales, recurrentes, de atención. Chollet (2021) las llama los ladrillos de LEGO del aprendizaje profundo (2021, sec. 3.6.1) y describe una red como una serie de filtros que van destilando la información útil para la tarea (2021, sec. 1.1.4).
Se distinguen la capa de entrada, la de salida y las ocultas, llamadas así porque no tienen conexión directa con el entorno (Witten et al., 2017, p. 263); M. Mitchell (2019) sugiere que un nombre mejor habría sido «interiores» (2019, ch. 2).
Contar capas no es trivial, y conviene saberlo antes de leer la «altura» de una ficha (ver estadísticas base). Algunos cuentan todas las capas con pesos; M. Mitchell (2019) define la profundidad como el número de capas ocultas (2019, ch. 2). En los transformers se cuentan bloques: cada «capa» de GPT-3 es un bloque transformer con atención, una red bloque feedforward y normalizaciones, y GPT-3 tiene 96 (Brown et al., 2020, sec. 2.1). Las fichas suelen tomar la cifra que da el artículo original.
La profundidad importa porque las capas componen: lo que calcula una puede reutilizarlo la siguiente, y por eso una red profunda puede ser órdenes de magnitud más eficiente que una poco profunda para computar lo mismo (Buckner, 2024, p. 51). La jerarquía invita a hablar de niveles de abstracción (bordes, formas, objetos), pero qué representa cada nivel hay que verificarlo caso por caso, por ejemplo con técnicas de sondeo.