La arquitectura es el plano; los pesos entrenados, el edificio habitado. Describe qué tipos de capas hay, cuántas, en qué orden y con qué conexiones: por ejemplo, «una pila de 12 bloques de autoatención y redes bloque feedforward con conexiones residuales». Chollet (2021) le da un sentido preciso: elegir una arquitectura es restringir el espacio de hipótesis a una serie determinada de operaciones, y entrenar es buscar dentro de ese espacio buenos valores para los pesos (2021, sec. 3.6.2). Por eso la arquitectura codifica los supuestos del diseñador sobre el problema (ver sesgo inductivo).
Hay tres niveles que el lenguaje corriente mezcla y que Elemedex separa en el tipo de cada especie:
- Arquitectura: Transformer, LSTM, la red convolucional. Un tipo, no un individuo.
- Modelo: una arquitectura con pesos entrenados, como GPT-3 o BERT. Cuando un modelo se publica con pesos abiertos, se comparten los pesos y la arquitectura (Alammar y Grootendorst, 2024, p. 30).
- Sistema: un modelo dentro de un producto con otras piezas (prompt de sistema, herramientas, filtros, búsqueda), como ChatGPT (InstructGPT) o un agente.
Una misma arquitectura puede dar modelos muy distintos según los datos y la escala: los autores de GPT-3 declaran usar el mismo modelo y la misma arquitectura que GPT-2, salvo un patrón de atención (Brown et al., 2020, sec. 2.1). Y de algunos modelos solo se conoce el comportamiento: el informe técnico de GPT-4 no revela ni su arquitectura ni su tamaño (OpenAI, 2023).
El filósofo encontrará la palabra en dos tradiciones previas. En informática, la «arquitectura de von Neumann» nombra la organización de una computadora. En ciencia cognitiva, la arquitectura cognitiva es la estructura fija de la mente sobre la que corren los procesos; el argumento de Fodor y Pylyshyn (1988) es precisamente que el conexionismo no puede ofrecer una teoría de la arquitectura cognitiva sin implementar un sistema simbólico. Con los transformers, la pregunta sigue viva (ver sistematicidad).