En la jerga de la IA, «cómputo» (compute) es una cantidad: cuántas multiplicaciones y sumas de números con decimales hacen falta. Conviene distinguir dos usos de la sigla: FLOP, el total de operaciones de un entrenamiento, y FLOP/s, la velocidad de un chip. Una GPU de 2019 como la Titan RTX llegaba a unos 16 billones (16 × 10¹²) de operaciones por segundo en precisión simple (Chollet, 2021, sec. 1.3.1).
Para los transformers hay una regla de bolsillo: entrenar cuesta unas 6 operaciones por parámetro y por token de entrenamiento (2 en la pasada hacia adelante, unas 4 en la retropropagación), es decir, C ≈ 6·N·D (Kaplan et al., 2020, secs. 1.3, 2.1). Con GPT-3: 6 × (175 × 10⁹ parámetros) × (300 × 10⁹ tokens) ≈ 3,1 × 10²³ FLOP, que coincide con la cifra del artículo original (Brown et al., 2020, app. D). Usar el modelo, la inferencia, cuesta en cambio unas 2·N operaciones por token generado.
El cómputo importa por tres razones. Es uno de los tres ejes de las leyes de escalamiento, junto con parámetros y datos. Es caro y concentrado, y por eso organiza la economía del sector (NVDA a la luna). Y, al ser medible, se volvió un instrumento regulatorio: algunas normas usan umbrales de 10²⁵ o 10²⁶ FLOP de entrenamiento como indicador de riesgo (umbrales de cómputo). La canción de p(doom) juega con la confusión entre total y velocidad: «One E thirty flops a second / That was safe enough, we reckoned» (osmarks, s. f.).
Filosóficamente, medir modelos por FLOP es medir el esfuerzo, no el resultado. Chollet (2019) propone mirar otra cosa: la inteligencia como eficiencia para convertir supuestos previos y experiencia en habilidades (2019, sec. II.2.1). Con esa vara, un sistema que necesita muchísima más experiencia (y el cómputo para procesarla) para llegar a la misma habilidad no es más inteligente sino menos (medir la inteligencia).