L’IA occupe le devant de la scène dans de nombreuses conférences technologiques, et c’est exactement la même chose au Computex. Nvidia lui-même promet de faire un grand pas en avant vers les performances et l’évolutivité. Le PDG Jensen Huang a affirmé que ses propres puces basées sur Arm dépendent de deux fois plus d’efficacité que leurs équivalents x86-64 d’AMD et d’Intel. Arm est un différenciateur frappant à cet égard, car ces trois parties développent désormais toutes à la fois des CPU et des GPU (quoique à des fins diverses), mais seul Nvidia est sur Arm. Grâce à un ensemble de lignes directrices légères, il est possible pour les grandes entreprises d’exécuter leur logiciel interne de manière extrêmement proche du bare metal. Pensez à des applications telles que les algorithmes derrière Facebook, les fonctions de recherche Google ou les publicités Microsoft.
Parce que l’emplacement, Nvidia promet une amélioration impressionnante : les conceptions d’IA pourraient être formées jusqu’à 30 fois plus rapidement grâce à ce tout nouveau développement.
La possession de NVLink
Nvidia est actuellement le fournisseur judiciaire frustrant de GPU pour centres de données. Il a de nombreuses commandes, ce qui signifie les GPU H100 actuels, et il reste à voir s’il peut répondre au besoin. Ce qui est clair, cependant, c’est que Nvidia a beaucoup investi dans l’évolutivité. Les GPU sont capables de communiquer entre eux depuis un certain temps, mais cela nécessite une technologie telle que NVLink pour le faire à la vitesse souhaitée.
Jusqu’à 480 Go de mémoire LPDDR5X se trouvent sur chaque Superchip, garés à proximité le silicium. Il y a un énorme 117 Mo de cache L3 sur la puce. La superpuce Grace Hopper a une bande passante théorique d’environ 900 Go/s entre le CPU et le GPU. De plus, le GPU fonctionne sur la mémoire HBM3, qui a jusqu’à 4 To/s de bande passante. Il y a 96 Go de VRAM sur chaque Superchip, ce qui peut sembler beaucoup, mais c’est loin d’être suffisant pour les grands ensembles de données qui alimentent les LLM. Jusqu’à 256 GPU peuvent être connectés entre eux grâce à la technologie NVLink la plus récente de Nvidia : cela implique que 150 To de mémoire vidéo sont accessibles.
Pour tout cela, malgré son efficacité, un coût énergétique élevé doit être anticipé. Un GH200 absorbe jusqu’à 1 000 watts, bien qu’il soit programmable à « seulement » 450 W.
« L’IA générative transforme rapidement les entreprises, ouvre de toutes nouvelles opportunités et accélère la découverte dans les domaines de la santé, de la finance, des affaires services et bien d’autres industries », a déclaré Ian Buck, vice-président de Nvidia, Accelerated Computing, à SiliconANGLE. « Avec Grace Hopper Superchips en pleine production, les fabricants du monde entier offriront rapidement les installations accélérées dont les entreprises ont besoin pour construire et déployer des applications d’IA génératives qui exploitent leurs données propriétaires distinctes. »
Toute l’actualité en temps réel, est sur L’Entrepreneur
