Donde la clasificación elige una categoría, la regresión devuelve un número: el precio de una casa, la temperatura de mañana, el tiempo que llevará un proyecto (Chollet, 2021, sec. 4.3). El caso más simple es la regresión lineal: la salida es una suma ponderada de los atributos más una constante, y aprender consiste en encontrar los pesos que mejor ajustan los datos (Witten et al., 2017, p. 68). En dos dimensiones es trazar la recta que mejor pasa por una nube de puntos; su función de pérdida habitual es el error cuadrático medio. Si el objetivo es un vector de números (las coordenadas de un recuadro en una imagen), se habla de regresión vectorial (Chollet, 2021, ch. 4).
Dos trampas terminológicas. La regresión logística, pese al nombre, es un algoritmo de clasificación: estima la probabilidad de pertenecer a una clase (Chollet, 2021, sec. 4.3). Y la palabra misma, advierten Witten et al. (2017), no tiene nada que ver con el uso corriente de «volver a un estado anterior» (2017, p. 68). Es un fósil histórico: Galton (1886) la usó para describir cómo la estatura de los hijos de padres muy altos tiende a «regresar» hacia la media de la población, y el nombre del fenómeno quedó pegado al método.
La regresión es también el caso límite de las redes: una red neuronal sin capas ocultas ni función de activación es un modelo lineal, y la regresión logística es una red sin unidades ocultas (Witten et al., 2017, p. 422). Lo que agregan las redes profundas puede leerse como regresión con funciones cada vez más flexibles, lo que explica a la vez su poder y su riesgo de sobreajuste.
Un error común: los modelos de lenguaje no hacen regresión sobre palabras. No predicen un número que luego se redondea a una palabra, sino una distribución de probabilidad sobre un vocabulario discreto.