DeepSeek-V3 es un modelo de lenguaje de pesos abiertos que la empresa china DeepSeek publicó el 26 de diciembre de 2024: una mezcla de expertos de 671.000 millones de parámetros, de los que cada token usa 37.000 millones, preentrenada con 14,8 billones de tokens (DeepSeek, 2024; DeepSeek-AI, 2024). Su informe técnico es inusualmente detallado, y el modelo fue la base de R1, el modelo de razonamiento de enero de 2025 (Guo et al., 2025).
Cómo funciona
Es un decodificador transformer con dos piezas heredadas de DeepSeek-V2 (DeepSeek-AI, 2024, sec. 2.1). La primera es la atención latente multicabezal (MLA). En la atención común, generar texto exige guardar las claves y los valores de cada cabeza para cada token anterior: la caché KV. La MLA comprime ambos en un solo vector latente de 512 dimensiones, del que se reconstruyen las claves y valores de las 128 cabezas (2024, secs. 2.1.1 y 4.2). Con los hiperparámetros del informe, la caché guarda 576 números por token y capa, contra 32.768 de una atención estándar del mismo tamaño (cálculo propio).
La segunda es la arquitectura de expertos DeepSeekMoE: muchos expertos pequeños y algunos «compartidos» que procesan todos los tokens, para que los demás se especialicen (Dai et al., 2024). Frente a los 8 expertos de Mixtral, V3 tiene en cada capa 1 compartido y 256 enrutados, de los que elige 8. Para que el enrutador no favorezca siempre a los mismos, en lugar de la pérdida de equilibrio habitual usa un sesgo por experto que se ajusta tras cada paso (DeepSeek-AI, 2024, secs. 2.1.2 y 4.2). Además, un módulo de predicción de varios tokens (MTP) aprende a anticipar el token siguiente al siguiente; en uso, esa segunda predicción se acepta entre el 85 % y el 90 % de las veces y acelera la generación 1,8 veces (2024, secs. 2.2 y 5.4.3). Las grandes multiplicaciones de matrices se hicieron en FP8, números de 8 bits, algo que el informe presenta como la primera validación a esta escala (2024, sec. 3.3). El post-entrenamiento combinó ajuste supervisado, refuerzo y razonamiento destilado de R1 (2024, sec. 5).
Cuánto costó
El informe da el total: 2,788 millones de horas de GPU H800, de las cuales 2,664 millones son del preentrenamiento, completado en menos de dos meses con 2.048 placas. A un alquiler supuesto de 2 dólares por hora, 5,576 millones de dólares, cifra que, aclara el mismo informe, excluye la investigación y los experimentos previos (DeepSeek-AI, 2024, sec. 1). Epoch AI estima unos 3,3 × 10²⁴ FLOP (Epoch AI, 2026), casi un orden de magnitud menos que lo que se estima para GPT-4. Las H800 son la versión del H100 que Nvidia recortó, sobre todo en la velocidad de transferencia entre chips, para poder venderla en China (Nellis y Lee, 2023); buena parte del ingenio del informe consiste en esquivar ese cuello de botella, por ejemplo limitando a cuatro los nodos a los que puede viajar cada token (DeepSeek-AI, 2024, sec. 3.2).
El «momento DeepSeek»
R1 salió el 20 de enero de 2025 (DeepSeek, 2025); días después, la app de DeepSeek superó a ChatGPT como la gratuita más descargada de la App Store estadounidense, y el 27 de enero Nvidia cayó 17 % y perdió casi 600.000 millones de dólares de valor, la mayor caída diaria de una empresa estadounidense (Subin, 2025). Dario Amodei, que dirige Anthropic y defiende los controles de exportación, respondió que V3 era un punto esperable en la curva de abaratamiento (Amodei, 2025). Una evaluación del gobierno estadounidense halló que los modelos de DeepSeek repiten más narrativas oficiales chinas que los estadounidenses de referencia (NIST, 2025). La familia siguió con V3.1 y V3.2 (2025), que estrenó una atención dispersa propia, y con V4 (abril de 2026), cuya versión Pro tiene 1,6 billones de parámetros totales, 49.000 millones activos y un millón de tokens de contexto (DeepSeek, 2026).