Le modèle d'IA de Deepseek est étonnamment bon marché remet en question les normes de l'industrie. La société prétend avoir formé son puissant réseau de neurones Deepseek V3 pour seulement 6 millions de dollars en utilisant 2048 GPU, sous-coignant considérablement les concurrents. Cependant, ce chiffre ne reflète que les coûts de GPU avant la formation, en omettant des dépenses de recherche, de raffinement, de traitement des données et des infrastructures substantielles.
Image: esigame.com
L'architecture innovante de Deepseek V3 est la clé de son efficacité. Il utilise:
- Prédiction multi-token (MTP): Prédire plusieurs mots simultanément pour une précision et une vitesse améliorées.
- Mélange d'experts (MOE): Utilisation de 256 réseaux de neurones, activant huit pour chaque jeton, accélérant la formation et améliorant les performances.
- Attention latente multi-tête (MLA): Extraction de détails à plusieurs reprises pour minimiser la perte d'informations et capturer les nuances cruciales.
Image: esigame.com
Malgré la faible réclamation de coûts de formation, la semianalyse a révélé une infrastructure substantielle de Deepseek: environ 50 000 GPU Nvidia Hopper (dont 10 000 H800, 10 000 H100 et des GPU H20 supplémentaires) se sont propagés sur plusieurs centres de données. Cela représente un investissement total de serveur d'environ 1,6 milliard de dollars, avec des coûts opérationnels estimés à 944 millions de dollars. Cela contraste fortement avec le coût pré-formation de 6 millions de dollars.
Image: esigame.com
Deepseek, une filiale de High-Flyer, un fonds spéculatif chinois, possède ses centres de données, fournissant un contrôle et une mise en œuvre plus rapide de l'innovation. Sa nature autofinancée améliore l'agilité. La société attire les meilleurs talents chinois, certains chercheurs gagnant plus de 1,3 million de dollars par an. Bien que la rentabilité de Deepseek soit relative, son succès découle de l'investissement substantiel, des progrès technologiques et d'une équipe hautement qualifiée.
Image: esigame.com
L'investissement global de la société dans le développement de l'IA dépasse 500 millions de dollars. Sa structure rationalisée facilite une innovation efficace par rapport aux organisations plus grandes et plus bureaucratiques. Bien que le récit du "budget révolutionnaire" soit sans doute gonflé, les coûts de formation des modèles de Deepseek (5 millions de dollars pour R1) ont toujours considérablement sape les concurrents comme ChatGPT4O (100 millions de dollars). En fin de compte, Deepseek démontre le potentiel d'une entreprise d'IA indépendante bien financée pour rivaliser efficacement avec les géants établis.
