Una red neuronal es una composición de funciones simples. Cada unidad calcula una suma ponderada de sus entradas y le aplica una función de activación; las unidades se organizan en capas, y la salida de una capa es la entrada de la siguiente. Todo lo que la red «sabe» está en los pesos de sus conexiones, que se ajustan con retropropagación y descenso por gradiente. Una red sin ciclos es feedforward; si parte de la salida vuelve a entrar en el paso siguiente, es recurrente.
El linaje del Pokédex va de la neurona de McCulloch y Pitts (McCulloch y Pitts, 1943) y el perceptrón (Rosenblatt, 1958) al perceptrón multicapa, y de allí a casi todas las especies modernas. Con una capa oculta, una red puede representar cualquier expresión de la lógica proposicional: Witten et al. (2017) muestran cómo tres unidades (un OR, un NAND y un AND) computan el XOR que un perceptrón solo no puede (2017, pp. 262–263). Turing ya había especulado con «máquinas desorganizadas», redes de neuronas conectadas al azar que podrían entrenarse (Buckner, 2024, p. 50).
El nombre es más metáfora que hipótesis. Witten et al. (2017) hablan con ironía de un grafo «imaginativamente» llamado red de neuronas (2017, p. 133), y Chollet (2021) insiste en que los modelos de aprendizaje profundo no son modelos del cerebro (2021, sec. 1.1.4). En los años ochenta se hablaba de redes conexionistas, porque el conocimiento reside en las conexiones (M. Mitchell, 2019, ch. 2); con ese nombre entraron en la filosofía de la mente, como alternativa a la tesis de que pensar es manipular símbolos (ver conexionismo y GOFAI). Si una red puede exhibir sistematicidad sin implementar un sistema simbólico es la pregunta que plantearon Fodor y Pylyshyn (1988), y sigue abierta.