Crédit : Shutterstock/IM-imageriery
Intelligence artificielle générative (IA) dans le type de la technologie de traitement du langage naturel a pris d’assaut le monde, avec des organisations de toutes tailles se dépêchant de la tester dans le but de trouver de nouvelles performances et d’automatiser les tâches.
Les géants de la technologie Google, Microsoft et Amazon sont tous en fournissant des innovations genAI basées sur le cloud ou en les intégrant dans les applications de leur entreprise pour les utilisateurs, les dépenses internationales en IA par entreprise devant atteindre 301 milliards de dollars d’ici 2026, selon IDC.
Les outils GenAI nécessitent beaucoup de calculs. ressources, principalement pour la formation aux grandes conceptions de langage (LLM) qui sous-tendent ChatGPT d’OpenAI et Bard de Google. Tout comme l’utilisation des boosts de genAI, la pression sur le matériel utilisé pour exécuter ces modèles, qui sont les entrepôts d’informations pour le traitement du langage naturel, augmente également.
Les systèmes de traitement graphique (GPU), qui sont développés en connectant diverses puces, telles que des puces de processeur et de mémoire, en un seul ensemble, ont fini par constituer la structure des plates-formes d’IA en raison de le fait qu’ils offrent la bande passante nécessaire pour former et déployer des LLM. Mais les fabricants de puces IA ne parviennent pas à répondre à la demande. En conséquence, des marchés noirs pour les GPU IA sont apparus ces derniers mois.
Certains imputent la pénurie à des sociétés telles que Nvidia, qui a accaparé le marché de la production de GPU et a la mainmise sur les matériaux. Avant l’avènement de l’IA, Nvidia concevait et produisait des processeurs haut de gamme qui aidaient à produire des graphismes avancés dans les jeux informatiques – le type de traitement spécialisé qui est désormais extrêmement applicable à l’intelligence artificielle et à l’IA.
La soif de l’IA pour GPU
En 2018, OpenAI a publié une analyse montrant que depuis 2012, la quantité de puissance de calcul utilisée dans les plus grandes sessions de formation d’IA avait augmenté de façon exponentielle, doublant tous les 3,4 mois (en revanche, la loi de Moore supposait que la le nombre de transistors dans un circuit incorporé double tous les 2 ans).
« Depuis 2012, cette mesure a été multipliée par plus de 300 000 (une durée de doublement de 2 ans ne donnerait qu’un boost de 7x) » OpenAI a déclaré dans son rapport. « Les améliorations en matière de calcul ont été un élément clé des progrès de l’IA, donc aussi longtemps que cette tendance perdure, elle mérite de se préparer aux ramifications des systèmes bien au-delà des capacités actuelles. »
Rien ne permet de croire que la thèse d’OpenAI a réellement changé ; en vérité, avec l’introduction de ChatGPT en novembre dernier, la demande a grimpé en flèche, selon Jay Shah, scientifique à l’Institute of Electrical and Electronics Engineers (IEEE). « Nous constatons actuellement une forte augmentation des demandes de matériel – principalement des GPU – de la part de grandes entreprises technologiques pour former et vérifier différents modèles d’IA afin d’améliorer l’expérience utilisateur et d’inclure de nouvelles fonctionnalités à leurs produits existants », a-t-il déclaré.
Parfois, les créateurs de LLM tels qu’OpenAI et Amazon semblent se battre pour déterminer qui peut construire le plus grand design. Certains dépassent désormais les 1 000 milliards de spécifications, ce qui indique qu’ils ont besoin d’encore plus de puissance de traitement pour s’entraîner et fonctionner.
« Je ne crois pas que fabriquer des modèles encore plus grands ferait avancer le domaine », a déclaré Shah. » Même à ce stade, la formation de ces modèles reste extrêmement coûteuse en termes de calcul, coûte de l’argent et produit une empreinte carbone plus importante sur l’environnement. De plus, le quartier des études de recherche se développe lorsque d’autres peuvent accéder à, former, tester et valider ces conceptions. «
De nombreuses universités et instituts de recherche ne peuvent pas se permettre de reproduire et d’améliorer des LLM déjà massifs. Ils se concentrent donc sur la recherche de méthodes efficaces qui utilisent moins de matériel et de temps pour former et publier des modèles d’IA, selon au Shah. Des stratégies telles que la connaissance auto-supervisée, la connaissance par transfert, la connaissance sans tir et les modèles de structure ont donné des résultats attrayants, a-t-il déclaré.
« Je prévois un à deux ans de plus pour l’étude de recherche sur l’IA. communauté pour trouver un service réalisable », a-t-il déclaré.
Les start-ups à la rescousse ?
Les start-ups américaines spécialisées dans les puces IA telles que Graphcore, Kneron et Perfect Semiconductor se considèrent comme des alternatives aux piliers de l’industrie comme Nvidia. Graphcore, par exemple, propose un tout nouveau type de processeur appelé unité de traitement intelligente (IPU), qui, selon l’entreprise, a été développé à partir de zéro pour gérer les besoins de calcul de l’IA. Les puces de Kneron sont développées pour les applications d’IA de pointe, telles que les voitures électriques (VE) ou les bâtiments intelligents.
En mai, iDEAL Semiconductor a publié une toute nouvelle architecture à base de silicium appelée « SuperQ », qui, selon elle, peut produire de meilleures performances et une plus grande efficacité de tension dans les gadgets à semi-conducteurs tels que les diodes, les transistors à effet de champ métal-oxyde-semi-conducteur (MOSFET) et les circuits incorporés.
Bien que la chaîne d’approvisionnement des semi-conducteurs soit très complexe, la partie fabrication dispose du délai le plus long pour mettre en ligne de nouvelles capacités, selon Mike Burns, co-fondateur et président de approprié Semiconductor.
» Même si gérer une usine à haut niveau d’utilisation peut être très gratifiant, la faire fonctionner à une faible utilisation peut être un désastre monétaire en raison des graves [dépenses en capital] liées aux appareils de production », a déclaré Burns. » Pour ces facteurs, les usines de fabrication sont prudentes quant à la croissance de leur capacité. Différents chocs sur la chaîne d’approvisionnement, notamment le COVID, la géopolitique et les changements dans les types de puces requises pour les véhicules électriques et l’IA, ont en fait produit de nombreuses restrictions qui peuvent amener quelqu’un à trois ans pour y remédier. Des restrictions peuvent avoir lieu à n’importe quel niveau, y compris les matières premières capturées dans le cadre de la géopolitique ou la capacité de fabrication en attente de construction. «
Alors que les jeux vidéo restent une activité importante pour Nvidia, sa société émergente d’IA a permis à l’entreprise de gérer plus de 80 % du marché des puces IA. Indépendamment des formidables chutes des revenus de Nvidia, les experts envisagent cependant d’éventuels problèmes avec sa chaîne d’approvisionnement. Cependant, la société conçoit ses propres puces – comme une grande partie du marché des semi-conducteurs – et s’appuie sur TSMC pour les produire, ce qui rend Nvidia vulnérable aux perturbations de la chaîne d’approvisionnement.
De plus, les efforts open source l’ont rendue Cela est possible pour le développement d’une myriade de conceptions de langages d’IA, de sorte que les petites entreprises et les startups d’IA se lancent également dans le développement de LLM spécifiques à des produits. Et compte tenu des préoccupations en matière de confidentialité personnelle concernant le partage involontaire d’informations délicates par l’IA, de nombreuses entreprises achètent également des articles capables d’exécuter de petits modèles d’IA localement (appelés Edge AI).
C’est ce qu’on appelle « Edge » car le calcul de l’IA prend placez-le plus près de l’utilisateur, à la périphérie du réseau où se trouvent les données, par exemple sur un serveur isolé ou même dans une voiture ou un camion intelligent, par opposition à un LLM situé au centre d’un cloud ou d’un centre d’information privé. /p>
Edge AI a en fait aidé les radiologues à reconnaître des pathologies, à réguler les immeubles de bureaux grâce aux gadgets du Web des objets (IoT) et a été utilisé pour contrôler des voitures et des camions autonomes. Le marché de l’IA de pointe était évalué à 12 milliards de dollars en 2021 et devrait atteindre 107,47 milliards de dollars d’ici 2029.
« Nous verrons davantage de produits capables d’exécuter l’IA dans votre région, ce qui augmentera encore le besoin en matériel », a déclaré Shaw. » a déclaré.
Les LLM plus petits sont-ils la réponse ?
Avivah Litan, vice-présidente experte reconnue de la société d’études de recherche Gartner, a déclaré qu’un jour ou l’autre, la mise à l’échelle des puces GPU ne parviendra pas à suivre le rythme. avec le développement de tailles de conception d’IA. « Donc, continuer à créer des conceptions de plus en plus grandes n’est pas une option pratique », a-t-elle déclaré.
Burns de approprié Semiconductor a abondé dans ce sens, affirmant : » Il sera nécessaire de développer des LLM et des solutions d’IA plus efficaces, mais la production supplémentaire de GPU est un élément inévitable de cette équation. «
» Nous devons également nous concentrer sur les besoins énergétiques « , a-t-il déclaré. » Il est nécessaire de suivre le rythme des besoins énergétiques du matériel et du centre de données. La formation d’un LLM peut représenter une empreinte carbone substantielle. Nous avons donc besoin de voir des améliorations dans la production de GPU, mais également dans la mémoire et les semi-conducteurs de puissance qui doivent être utilisé pour développer le serveur d’IA qui utilise le GPU. «
Plus tôt ce mois-ci, le plus grand fabricant de puces au monde, TSMC, a admis qu’il était confronté à des restrictions de fabrication et à une disponibilité limitée des GPU pour les applications d’IA et HPC. « Nous ne pouvons actuellement pas répondre à tous les besoins de nos clients, mais nous travaillons à résoudre environ 80 % d’entre eux », a déclaré Liu chez Semicon Taiwan. « Cela est considéré comme une étape à court terme. Nous prévoyons un soulagement après le développement de notre capacité sophistiquée de conditionnement de produits à puce, dans environ un an et demi. «
En 2021, le déclin de la production nationale de puces a mis en évidence une crise de la chaîne d’approvisionnement mondiale qui a conduit à des appels à la relocalisation de la production aux États-Unis. Sous l’impulsion du gouvernement américain par le biais de la loi CHIPS, des sociétés comme Intel, Samsung, Micron et TSMC ont révélé qu’elles se préparaient à un certain nombre de nouvelles usines américaines. (Qualcomm, en collaboration avec GlobalFoundries, prévoit également d’investir 4,2 milliards de dollars pour doubler la production de puces dans son usine de Malte, dans l’État de New York.)
TSMC prévoit d’investir jusqu’à 36 milliards de dollars cette année pour augmenter la production de puces. alors même que d’autres sociétés – qu’il s’agisse de producteurs de gadgets intégrés (IDM) ou de fonderies – fonctionnent presque ou sont complètement exploitées, selon le cabinet mondial de conseil en gestion McKinsey Co.
« Le marché des puces ne peut pas se maintenir. Le développement des GPU avance plus lentement que l’élargissement et le développement des tailles de conception », a déclaré Litan. « Le matériel est toujours plus lent à modifier que le logiciel. »
Liu de TSMC a néanmoins déclaré que les restrictions sur l’approvisionnement en puces d’IA étaient » de courte durée » et pourraient être assouplies d’ici la fin de 2024, selon un rapport du Nikkei. Asie.
La loi américaine sur les puces et la science ainsi que la loi européenne sur les puces étaient censées traiter les obstacles de l’offre et de la demande en ramenant et en augmentant la production de puces sur leurs propres côtes. Néanmoins, plus d’un an après l’adoption de la loi CHIPS Act, TMSC a repoussé la date d’ouverture de sa fonderie de Phoenix, en Arizona, une usine promue par le président américain Joseph R. Biden Jr. comme le point central de ses puces de 52,7 milliards de dollars. programme de rapatriement. TSMC avait prévu une ouverture en 2024 ; il sera désormais mis en ligne en 2025 en raison d’un manque de main-d’œuvre qualifiée. L’ouverture d’une deuxième usine TSMC est toujours prévue pour 2026.
Le plus grand fournisseur mondial de carbure de silicium, Wolfspeed, a récemment admis qu’il faudra probablement attendre la seconde moitié des années avant que les investissements financiers liés à la loi CHIPS ne soient réalisés. affecter la chaîne d’approvisionnement.
Burns de Convient Semiconductor a déclaré que les lois américaines et européennes sur les puces doivent aider à résoudre les problèmes de chaîne d’approvisionnement en relocalisant certaines parties de l’industrie des semi-conducteurs pour accroître la résilience du système de fabrication.
» La loi américaine CHIPS and Science Act a actuellement un impact sur le secteur en élevant le danger de la chaîne d’approvisionnement des semi-conducteurs dans un dialogue national. L’attention désormais concentrée sur les menaces de la chaîne d’approvisionnement a en fait stimulé les investissements du secteur économique « , a déclaré Burns. » Les producteurs américains ont annoncé leur intention d’étendre leurs capacités, et les investissements dans des endroits comme le Texas, l’Ohio, la ville de New York et l’Arizona sont en cours. Il faudra du temps pour évaluer pleinement dans quelle mesure les CHIPS et la Science Act peuvent réparer l’offre existante. problèmes de chaîne, mais il s’agit d’une première étape importante vers l’élargissement de la capacité de production nationale. «
Malgré la pénurie de puces d’IA, les stocks de puces d’IA ont néanmoins grimpé en flèche, y compris ceux de Nvidia, dont la capitalisation boursière a dépassé le billion- dollar puisque le cours de son action a plus que triplé au cours des 52 dernières semaines.
Shaw de l’IEEE a également noté que le gouvernement fédéral américain n’a pas eu la capacité de fournir les fonds qu’il garantissait aux fonderies, ce qui suggère par défaut de nombreuses entreprises technologiques basées aux États-Unis devraient envisager de s’appuyer sur les fabricants existants.
« Je pense personnellement qu’il faudrait encore quatre à cinq ans pour fabriquer du matériel sur le sol américain qui soit également moins cher que ses équivalents asiatiques. » » dit Shaw.
.
Toute l’actualité en temps réel, est sur L’Entrepreneur
