Les modèles de structure modifient la manière dont les systèmes experts (IA) et l’apprentissage automatique (ML) peuvent être utilisés. Cependant, toute cette puissance entraîne une dépense, car les modèles de base d’IA de structure sont une tâche gourmande en ressources.
IBM a révélé aujourd’hui qu’il a développé son propre supercalculateur d’IA pour fonctionner comme structure littérale pour sa conception de structure- – les actions de recherche et de valorisation de la formation. Appelé Vela, il a été développé en tant que système natif du cloud qui utilise du matériel standard de l’industrie, notamment du silicium x86, des GPU Nvidia et un réseau basé sur Ethernet.
La pile d’applications logicielles qui permet la formation en conception de base utilise une série de technologies open source, notamment Kubernetes, PyTorch et Ray. Alors qu’IBM ne révèle officiellement la présence du système Vela que maintenant, il est vraiment en ligne à différents titres depuis mai 2022.
« Nous pensons vraiment que ce concept d’innovation autour des modèles de base a un potentiel perturbateur substantiel et significatif, » Talia Gershon, directrice de l’étude de recherche sur les installations de cloud hybride chez IBM, a informé VentureBeat. « Donc, en tant que département et en tant qu’entreprise, nous investissons massivement dans cette innovation. »
La base économique et d’intelligence artificielle à l’intérieur de Vela
IBM n’est pas totalement étranger au monde du calcul haute performance (HPC) et des supercalculateurs. Parmi les supercalculateurs les plus rapides sur terre aujourd’hui se trouve le supercalculateur Top construit par IBM et actuellement publié dans le laboratoire national d’Oak Ridge.
Le système Vela, néanmoins, n’est pas comme les autres systèmes de supercalculateurs qu’IBM a réellement construits pour date. Pour les débutants, le système Vela est optimisé pour l’IA et utilise du matériel de produit x86, par opposition aux appareils plus uniques (et coûteux) généralement découverts dans les systèmes HPC.
Contrairement à Top, qui utilise le processeur IBM Power, chaque nœud Vela possède une paire de processeurs Intel Xeon Scalable. IBM fait également le plein de GPU Nvidia, chaque nœud du supercalculateur étant chargé de 8 GPU A100 de 80 Go. En ce qui concerne la connexion, chacun des nœuds de calcul est relié via de nombreuses interfaces réseau Ethernet de 100 gigabits par seconde.
Vela a également été spécialement conçu pour le cloud natif, ce qui signifie qu’il exécute Kubernetes et des conteneurs pour permettre les charges de travail des applications. Plus précisément, Vela dépend de Red Hat OpenShift, qui est la plate-forme Kubernetes de Red Hat. Vela a également été amélioré pour exécuter PyTorch pour la formation ML et utilise Ray pour faciliter le travail d’échelle.
IBM a également développé un tout nouveau système de planification de la charge de travail pour son tout nouveau supercalculateur natif du cloud. Pour bon nombre de ses systèmes HPC, IBM utilise depuis longtemps son propre Spectrum LSF (centre de partage de charge) pour la planification, mais ce système n’est pas celui utilisé par le nouveau supercalculateur Vela. IBM a en fait mis en place un tout nouveau planificateur appelé MCAD (répartiteur d’applications multicluster) pour gérer la planification des tâches natives du cloud pour la formation à l’IA du modèle de structure.
Le portefeuille de modèles de base en pleine croissance d’IBM
Tout cela Le matériel et les logiciels qu’IBM a assemblés pour Vela sont actuellement utilisés pour soutenir les efforts de conception de base d’IBM.
« Toute la recherche et le développement de nos modèles de base s’exécutent tous dans le cloud local sur cette pile sur le système Vela et IBM Cloud », a déclaré Gershon.
La semaine dernière, IBM a annoncé un partenariat avec la NASA pour aider à construire des modèles de base pour la science du climat. IBM travaille également sur un modèle de base appelé MoLFormer-XL pour les sciences de la vie qui peut aider à développer de nouvelles particules à l’avenir.
Le travail de conception de base s’étend également à l’informatique d’entreprise avec l’effort Job Knowledge qui a été révélé dans Octobre 2022. Job Wisdom est en cours de création pour aider l’innovation de configuration informatique Red Hat Ansible. Normalement, la configuration du système informatique peut être un exercice compliqué qui nécessite une connaissance du domaine pour être effectué de manière appropriée. Project Knowledge a l’intention d’apporter une interface utilisateur en langage naturel à Ansible, dans laquelle les utilisateurs saisiront simplement ce qu’ils veulent et la conception de base comprendra, puis aidera à effectuer le travail souhaité.
Gershon a également fait allusion à un une toute nouvelle conception de structure IBM pour la cybersécurité qui n’a pas encore été ouvertement détaillée et qui est développée à l’aide du supercalculateur Vela.
« Nous n’en avons pas beaucoup parlé à l’extérieur, je pense sur la fonction », a déclaré Gershon sur la conception des fondations de la cybersécurité. « Nous sommes convaincus que cette technologie va transformer en termes d’identification des menaces. »
Alors qu’IBM développe un portefeuille de conceptions de base, il n’a pas l’intention de rivaliser directement avec quelques-uns des bien- conceptions de structure de base connues, telles que GPT-3 d’OpenAI.
« Nous ne nous concentrons pas toujours sur le développement de l’IA de base, alors que peut-être que d’autres acteurs déclarent cela davantage comme objectif », a déclaré Gershon. « Nous sommes intéressés par les modèles de base car nous pensons qu’ils ont une valeur organisationnelle incroyable pour les cas d’utilisation d’entreprise. »
L’objectif de VentureBeat est d’être un place de la ville numérique pour que les décideurs techniques acquièrent une compréhension de la technologie d’entreprise transformatrice et négocient. Découvrez nos Rundowns.
.
Toute l’actualité en temps réel, est sur L’Entrepreneur
