El skip-gram de word2vec aprende vectores prediciendo las vecinas de cada palabra. Con un softmax, cada paso exige un término por palabra del vocabulario, que puede tener de 10⁵ a 10⁷ entradas (Mikolov, Sutskever et al., 2013, sec. 2). El muestreo negativo cambia la pregunta: ya no «¿cuál de todas viene al lado?», sino «¿este par es real o es ruido?». Por cada par observado se sortean k palabras y un clasificador logístico aprende a aceptar el primero y rechazar las demás:
log σ(c · w) + Σᵢ log σ(−nᵢ · w)
donde w es el vector de la palabra, c el de su contexto real y nᵢ los de las sorteadas.
(perro, ladra) → 1 · (perro, hipoteca) → 0
Los autores recomendaban k entre 5 y 20 en corpus chicos y entre 2 y 5 en grandes, sorteando según la frecuencia elevada a 3/4, que favorece un poco a las palabras raras (Mikolov, Sutskever et al., 2013, sec. 2.2). Es una simplificación de la estimación por contraste con ruido (Gutmann y Hyvärinen, 2010). Sin negativos, el modelo haría trampa respondiendo siempre «vecinos» (Alammar y Grootendorst, 2024, pp. 64–65).
¿Qué se aprende? Levy y Goldberg (2014) mostraron que, con dimensiones suficientes, el óptimo cumple w · c = PMI(w, c) − log k: la información mutua puntual (cuánto más de lo esperable por azar aparecen juntas), corrida por una constante (2014, sec. 3.1). Es la hipótesis distribucional, calculada sin contar.
La idea sigue viva en el aprendizaje contrastivo, donde importa elegir bien: para «¿Cuántas personas viven en Ámsterdam?», un negativo fácil es un texto cualquiera; uno difícil, «Más de un millón de personas viven en Utrecht» (Alammar y Grootendorst, 2024, pp. 307–308).
Una advertencia para lingüistas: estos negativos no son correcciones. Nadie certifica que perro y hipoteca no puedan ir juntas, y a veces el sorteo trae un vecino verdadero. Se parecen más a lo que en adquisición se llama evidencia negativa indirecta: lo que se esperaba ver y no se vio. ¿Cambia eso los términos del argumento de la pobreza del estímulo?