El método de los k vecinos más cercanos (kNN) es la forma más literal de aprender de la experiencia: guardar todos los ejemplos y, ante un caso nuevo, buscar los más parecidos. Witten et al. (2017) lo presentan como un pariente de la memorización pura, en el que «the only problem is how to interpret "resembles"» (2017, p. 84) [trad.: «el único problema es cómo interpretar "se parece"»].
Cómo funciona
Cada ejemplo es un vector de atributos con su etiqueta. Para clasificar un punto nuevo x se calcula su distancia a cada ejemplo guardado, se toman los k más cercanos y se asigna la clase mayoritaria entre ellos; si lo que se predice es un número, se usa el promedio ponderado por distancia (Witten et al., 2017, p. 85). Con k = 1 es la regla del vecino más cercano; con k algo mayor (cinco, digamos) el voto amortigua los ejemplos ruidosos (Witten et al., 2017, p. 141).
La distancia habitual es la euclídea; la de Manhattan suma diferencias absolutas. Como los atributos se miden en escalas distintas, se normalizan entre 0 y 1: de lo contrario, uno medido en miles aplastaría a los demás (Witten et al., 2017, pp. 135–136). Para atributos nominales («rojo», «verde») la diferencia es 0 si coinciden y 1 si no.
No hay entrenamiento propiamente dicho. kNN es un aprendiz perezoso (lazy), que difiere todo el trabajo hasta el momento de clasificar, frente a los métodos ávidos (eager) que producen una generalización apenas ven los datos (Witten et al., 2017, p. 85). Por eso no tiene parámetros ajustados: k y la métrica son hiperparámetros, y el «modelo» es el conjunto de entrenamiento entero.
Fronteras sin reglas
Aunque no escribe ninguna regla, kNN traza fronteras. Con un solo ejemplo por clase, el espacio queda dividido por la mediatriz del segmento que los une; con varios, por un polígono de mediatrices que está «implícito» en la regla (Witten et al., 2017, p. 86). Son fronteras de decisión no lineales, a diferencia de la recta de Perceptrón, y se amoldan a cualquier forma si hay datos suficientes.
La idea es vieja: la analizaron estadísticos a comienzos de los cincuenta (Fix y Hodges, 1951, en un informe para la Fuerza Aérea estadounidense) y se adoptó como clasificador en los sesenta (Witten et al., 2017, p. 141). El resultado clásico es de Cover y Hart (1967): con infinitos datos, el error de la regla del vecino más cercano es a lo sumo el doble del error mínimo alcanzable (el llamado error de Bayes). Y si k y la cantidad de ejemplos crecen juntos, con k mucho menor que el total, el error se acerca a ese mínimo (Witten et al., 2017, p. 141).
Límites
El primero es el costo: predecir lleva un tiempo proporcional al tamaño del conjunto. Árboles como los kD-trees o los ball trees aceleran la búsqueda, pero pierden eficacia cuando crece la dimensión (Witten et al., 2017, pp. 136–141). El segundo es la alta dimensión: como decide en vecindarios locales, kNN es muy sensible a los atributos irrelevantes, y la cantidad de ejemplos necesaria para un mismo desempeño crece exponencialmente con su número (Witten et al., 2017, p. 289). Es la versión práctica de la «maldición de la dimensionalidad». El tercero es que todo depende de la métrica: decidir qué atributos pesan y cuánto es, según Witten et al., uno de los problemas centrales del método (2017, p. 85).
Dónde vive hoy
kNN renació con los embeddings. La recuperación densa convierte la búsqueda en encontrar los vecinos más cercanos del vector de la consulta (Alammar y Grootendorst, 2024, p. 226); con millones de documentos se usan bibliotecas de vecinos aproximados (Annoy, FAISS) o bases de datos vectoriales (Alammar y Grootendorst, 2024, pp. 238–239). En alta dimensión suele preferirse la similitud coseno a la distancia euclídea (Alammar y Grootendorst, 2024, p. 142). Así funcionan el recuperador de Generación aumentada por recuperación (RAG) y la búsqueda semántica con Sentence-BERT. Lo que cambió no es el algoritmo sino el espacio: los atributos ya no los elige un humano, se aprenden (ver embeddings).