Il est difficile de laisser l’occurrence de ChatGPT dans le monde informatique de l’IA. Alors que beaucoup a été écrit sur ses capacités, il y a eu beaucoup moins d’informations sur sa composition technique et si le Royaume-Uni a les moyens technologiques d’utiliser la nouvelle technologie et de répondre aux besoins de croissance anticipés.
Pour aider ce développement, l’investissement actuel de 900 millions de livres sterling du gouvernement fédéral britannique dans le supercalcul est bien sûr une bonne nouvelle et une étape favorable pour s’assurer que le Royaume-Uni peut suivre la révolution ChatGPT existante. Les 3 principaux supercalculateurs actuels proviennent des États-Unis, du Japon et d’Europe. Le Royaume-Uni doit être au premier plan en matière de puissance de calcul. En fin de compte, c’est ce qui entraîne des avancées scientifiques et technologiques importantes.
Construire simplement un fabricant pour « BritGPT » n’est pas suffisant, simplement en raison du fait que les modèles d’IA progressent extrêmement rapidement et de la puissance de calcul qu’ils les besoins augmentent beaucoup plus rapidement que les techniques informatiques traditionnelles ne peuvent le faire. Cela a en fait été largement reconnu par la communauté informatique haute performance et le gouvernement britannique doit être plus visionnaire et fournir plus d’aide aux solutions post-Moore pour mener la prochaine transformation informatique.
L’augmentation de l’IA générative a été si remarquable que le gouvernement a également récemment investi 100 millions de livres sterling dans un tout nouveau groupe de travail professionnel, qui a « l’obligation d’accélérer la capacité du Royaume-Uni ». C’est une évolution favorable pour faire du pays un leader mondial dans la prochaine vague d’IA, mais le voyage ne sera pas sans heurts.
Quelques-uns des obstacles à la réalisation de cette aspiration par le Royaume-Uni sont le pouvoir monétaire et l’avancement innovations présentes dans d’autres pays. Partout dans l’étang, PwC États-Unis vient de révéler son intention d’investir 1 milliard de dollars dans l’IA, à la suite d’investissements considérables de la similitude Microsoft et Alphabet. C’est un marché international féroce avec lequel rivaliser, et en 2023, les évaluations des start-ups d’IA génératives sont actuellement bien plus importantes qu’elles ne l’ont jamais été.
Le Royaume-Uni compte de loin les start-ups d’IA les plus génératives du monde. Europe et est prêt pour le succès. Lorsqu’il s’agit de déterminer si le marché a la capacité de maintenir cet élan, la principale limite réside dans les embouteillages matériels, et le Royaume-Uni ne fait pas exception.
La demande croissante de puissance de calcul
À la base, ChatGPT– avec son dernier adepte GPT-4– est un grand modèle de langage (LLM) qui utilise une architecture de « transformateur ».
Ces conceptions se développent beaucoup plus rapidement que l’électronique numérique peut suivre. Au cours des dernières années, nous avons en fait constaté que la taille du LLM augmentait à un rythme de 240x tous les 2 ans. La version existante de ChatGPT doit être entraînée avec plus de 150 « années GPU », ou de manière équivalente 54 000 GPU par jour. De plus, Microsoft a en fait investi plusieurs millions pour construire le supercalculateur pour ChatGPT. Et si nous avions besoin de 10 fois plus, ou 100 fois plus, de puissance de calcul ?
Cette augmentation en flèche de la taille et des dépenses du LLM met en évidence des embouteillages matériels essentiels.
Goulets d’étranglement électroniques
Il existe 3 goulots d’étranglement significatifs de l’IA générative face au matériel informatique actuel : la vitesse de calcul, la consommation d’énergie et la bande passante mémoire.
En ce qui concerne la vitesse de calcul, depuis un demi-siècle, le monde a été en mesure de produire des systèmes informatiques de plus en plus puissants en suivant la loi de Moore, qui prévoyait le double de la densité des transistors (les semi-conducteurs utilisés pour augmenter la puissance) sur les circuits intégrés environ tous les 18 mois. Cependant, cette loi empirique a en fait commencé à décliner à mesure que les transistors approchent de leur limite physique et que des problèmes tels que les fuites existantes et l' »effet tunnel quantique » émergent.
La consommation d’énergie est une restriction plus sévère de l’électronique numérique. Depuis aujourd’hui, plus de 2 % de l’énergie électrique mondiale est utilisée par les centres de données, et ce nombre ne cesse d’augmenter. Cela est dû au fait que les processeurs innovants consomment généralement environ 1 picojoule (pJ) par opération, et les travaux de calcul d’aujourd’hui utilisent souvent plusieurs centaines de billions d’opérations ou plus. La formation ChatGPT nécessite 3E23 opérations, prenant plus de 300 giga-Joule. Pire encore, la mémoire DRAM externe consomme environ 100 pJ par accès aux informations 32 bits, 100 fois plus que l’opération elle-même. De grands efforts doivent également être déployés pour concevoir des architectures informatiques afin de réduire autant que possible l’accès à la DRAM.
Une troisième contrainte majeure de l’électronique est la bande passante. De nombreux processeurs informatiques modernes adoptent l’architecture Von Neumann, où les données sont stockées dans la mémoire et le calcul – essentiellement, le calcul – se produit dans un cœur de calcul. Les données doivent être déplacées entre les deux.
Cela fonctionnait bien dans le passé. Alors que la vitesse de calcul augmente considérablement, le mouvement de l’information a en fait entraîné un embouteillage considérable de la bande passante. Cela signifie que plus de temps est investi à attendre que les données soient apportées au lieu d’effectuer le calcul. À titre de comparaison, alors que la vitesse de calcul du matériel a augmenté d’un aspect de 90 000 au cours des vingt dernières années, la bande passante de la mémoire n’a augmenté que d’un élément de 30.
Dans l’ensemble, ces embouteillages matériels limitent les progrès de l’IA et en particulier les conceptions génératives, ou LLM. Nous avons toujours besoin d’un tout nouveau paradigme informatique pour prendre en charge la prochaine génération d’IA.
Les services aux goulots d’étranglement de l’IA générative
Les nouvelles technologies s’attaquent à ces goulots d’étranglement matériels. Les systèmes de stockage parallèles, par exemple, résolvent l’embouteillage de la bande passante en fournissant au fabricant un flux continu de données (avec lequel les systèmes de stockage classiques ont du mal). Son atout essentiel est qu’il ne se contente pas de transmettre rapidement des quantités importantes d’informations, mais qu’il les fait également passer par un certain nombre de canaux afin qu’ils puissent atteindre d’autres parties du système en même temps.
Il existe un apprentissage automatique automatisé , qui exploite l’IA pour former des modèles et affiner leurs algorithmes. Cela facilite son application dans le monde réel et se débarrasse de chacun des trois goulots d’étranglement rencontrés dans cette procédure. Les algorithmes peuvent être auto-formés pour être efficaces sur le plan énergétique et élagués pour réduire les besoins en mémoire et l’accès aux informations. Au cours des prochaines années, l’automatisation des méthodes d’optimisation de l’IA devrait « accomplir des améliorations d’efficacité de 15 à 30 x ».
Et enfin, il y a l’informatique optique. L’optique a en fait changé nos vies avec Internet, faisant interagir d’énormes quantités d’informations dans le monde entier à l’aide de réseaux à fibre optique. Et si nous faisions maintenant une autre action et construisions un ordinateur optique ?
L’utilisation de la lumière pour effectuer la majeure partie du calcul de l’IA offre des vitesses de calcul élevées avec des avantages de deux aspects uniques : une horloge beaucoup plus rapide et la capacité de presque quantités illimitées de parallélisme. Comme l’ont déjà montré des groupes d’étude de recherche académique, le calcul optique peut être effectué avec moins d’un photon par opération, ce qui rend l’énergie optique presque négligeable.
Alors que l’innovation continue de progresser et que la taille de la matrice de calcul cachée augmente, les performances énergétiques du système optique augmentent également. L’informatique optique pourrait en effet être utilisée pour changer totalement l’avenir de l’IA avec un calcul à la vitesse de la lumière et une efficacité énergétique élevée.
À mesure que les LLM grandissent et sont formés avec des ensembles de données plus grands et meilleurs, leurs performances s’améliorent progressivement. Nous avons tous les facteurs pour nous attendre à ce qu’une intelligence supérieure émerge de conceptions encore plus grandes.
Si le Royaume-Uni peut utiliser son nouvel investissement financier dans l’IA pour débloquer ces goulots d’étranglement, cela peut non seulement égaler le développement de l’IA générative, mais aidez-le à le diriger.
Xianxin Guo est le co-fondateur et responsable de l’étude de recherche chez Lumai.
.
Toute l’actualité en temps réel, est sur L’Entrepreneur
