Explosion de puissance : l'ia défähie les limites de la progression
Mustafa Suleyman, l’architecte de l’intelligence artificielle chez Microsoft, ne mâche pas ses mots : l’évolution, telle qu’on la connaissait, est obsolète. L’IA n’obéit pas aux lois de Moore, elle s’emballe.
Une mutation exponentielle, pas une simple augmentation
Le fondateur d’Inflection AI met en lumière une transformation radicale. En 2010, la puissance de calcul nécessaire pour entraîner des modèles d’IA était d’environ 10¹⁴ FLOPS. Aujourd’hui, elle a explosé à plus de 10²⁶ FLOPS. Ce n’est pas une simple progression, mais une véritable explosion, comme Suleyman le souligne avec une précision qui détonne avec l’abstraction souvent associée à ce domaine.
Il compare l’entraînement d’un modèle d’IA à une salle bondée de personnes jonglant avec des calculatrices. Autrefois, le goulot d’étranglement résidait dans le temps d’attente des données, les calculatrices restant souvent inactives. Aujourd’hui, la révolution est ailleurs : la capacité à maintenir toutes ces calculatrices constamment opérationnelles, formant un « cerveau géant » unique.
Les clés d’une révolution : puces, mémoire et connectivité
Cette nouvelle donne est le fruit de trois avancées majeures. Premièrement, les puces Nvidia ont connu une progression fulgurante, passant de 312 teraflops en 2020 à 2 250 teraflops actuellement, avec un chip Microsoft, le Maia 200, offrant un rendement par euro supérieur de 30% par rapport à la concurrence. Deuxièmement, la mémoire HBM (High Bandwidth Memory) triplique le débit, alimentant continuellement les GPU et éliminant les temps morts. Troisièmement, des technologies comme NVLink et InfiniBand permettent de connecter des centaines de milliers de GPU en superordinateurs de taille industrielle, transformant le calcul en une entité cohérente.
Eric Schmidt, ancien PDG de Google, anticipe que nous ne sommes qu’à 10 à 15% de la compréhension de l’impact de ces avancées. Le rythme de croissance du calcul est aujourd’hui d’environ 4x annuel, contre 5x par an entre 2020 et aujourd’hui. En 2027, le total mondial du calcul d’IA devrait atteindre 100 millions de puces H100, soit une augmentation de 10 fois en trois ans.
Vers une superintelligence, et ses enjeux
Microsoft, Nvidia et la course à la superintelligence (ASI) sont au cœur de cette transformation. Suleyman insiste sur le fait que l’on ne parle plus de prototypes, mais de véritables infrastructures massives : des clusters de 100 000 GPU, des racks de la taille d’une réfrigérateuruse consommant 120 kilowatts, et des centres de données alimentés par l’énergie de l’ensemble du Royaume-Uni, de la France, de l’Allemagne et de l’Italie à leur pic de consommation. Ces 100 milliards de dollars en clusters d’IA, ces 10 gigawatts de consommation, ces superordinateurs de navires industriels ne relèvent plus de la science-fiction.
L’évolution des coûts des énergies renouvelables, en particulier le solaire et les batteries, contribue également à cet essor. Les coûts du solaire ont chuté de près de 100 fois en 50 ans, et ceux des batteries de 97% en 30 ans. Avec ces avancées, Suleyman prédit que nous continuerons à nous émerveiller. Le « boom » du calcul est l’histoire technologique de notre époque et il ne fait que commencer.