MLCommons est sorti aujourd’hui avec son ensemble de normes MLPerf d’apprentissage automatique (ML) le plus récent, montrant à nouveau comment le matériel et les logiciels pour le système expert (IA) deviennent beaucoup plus rapides.
MLCommons est une organisation indépendante des fournisseurs qui a l’intention d’offrir des tests et des normes standardisés pour aider à évaluer l’état des applications logicielles et du matériel ML. Sous le nom de dépistage MLPerf, MLCommons collecte divers benchmarks ML plusieurs fois au cours de l’année. En septembre, les résultats de l’inférence MLPerf ont été publiés, révélant des gains dans la façon dont différentes technologies ont réellement amélioré l’efficacité du raisonnement.
Aujourd’hui, les nouveaux benchmarks MLPerf étant rapportés consistent en le benchmark Training 2.1, qui concerne la formation ML ; HPC 2.0 pour les grands systèmes, y compris les supercalculateurs ; et Tiny 1.0 pour les petits déploiements intégrés.
« La principale raison pour laquelle nous effectuons des analyses comparatives est de favoriser la transparence et les performances des procédures », a déclaré David Kanter, directeur exécutif de MLCommons, lors d’une instruction à la presse. « Tout cela repose sur l’idée clé que lorsque vous pouvez en fait déterminer quelque chose, vous pouvez commencer à penser à la façon dont vous l’améliorerez. »
Comment le Le benchmark de formation MLPerf fonctionne
En examinant les critères de formation en particulier, Kanter a déclaré que MLPerf n’est pas presque du matériel, il a aussi à voir avec l’application logicielle.
Dans les systèmes ML , les conceptions nécessitent d’abord d’être formées sur les informations afin de fonctionner. La procédure de formation bénéficie d’un matériel d’accélération, ainsi que d’une application logicielle optimisée.
Kanter a expliqué que la norme de formation MLPerf commence par un ensemble de données établi et une conception. Les organisations forment ensuite le modèle pour atteindre une limite de qualité cible. Parmi les principales mesures enregistrées par la norme de formation MLPerf, il y a le temps de formation.
« Lorsque vous regardez les résultats, et cela choisit n’importe quelle soumission – qu’il s’agisse de formation, de minuscule, de HPC ou de raisonnement – tout des résultats sont soumis pour dire quelque chose », a déclaré Kanter. « Une partie de cette séance d’entraînement consiste à déterminer ce qu’ils disent. »
Les mesures peuvent déterminer les niveaux relatifs de performances et également servir à mettre en évidence l’amélioration au fil du temps pour les logiciels et le matériel.
John Tran, directeur principal des bibliothèques d’apprentissage en profondeur et de l’architecture matérielle chez Nvidia et président de la formation MLPerf chez MLCommons, a souligné le fait qu’il y avait une variété de soumissions uniquement logicielles pour le dernier benchmark.
» Je trouve toujours fascinant que nous ayons de nombreuses soumissions de logiciels uniquement et qu’elles ne nécessitent pas toujours l’aide des fournisseurs de matériel », a déclaré Tran. « Je pense que c’est formidable et révèle la maturité de la référence et son utilité pour les individus. »
Intel et Habana Labs font avancer la formation avec Gaudi2
La valeur de l’application logicielle a également été soulignée par Jordan Plawner, sr. directeur des articles d’IA chez Intel. Lors de l’appel de presse de MLCommons, Plawner a décrit ce qu’il considère comme la différence entre l’inférence ML et le travail de formation en termes de logiciel et de matériel.
« La formation est un problème de charge de travail distribuée », a déclaré Plawner. « La formation est plus qu’un simple matériel, plus qu’un simple silicium ; c’est le logiciel, c’est aussi le réseau et l’exécution de charges de travail de classe distribuée. »
D’autre part, Plawner a déclaré que l’inférence ML peut être un problème à nœud unique qui n’a pas vraiment les mêmes éléments dispersés, ce qui offre une barrière à l’entrée plus faible pour les technologies des fournisseurs que la formation ML.
En ce qui concerne les résultats, Intel est bien représenté dans la dernière formation MLPerf standards avec son innovation Gaudi2. Intel a obtenu Habana Labs et son innovation Gaudi pour 2 milliards de dollars en 2019 et a contribué à faire progresser les capacités de l’entreprise au cours des dernières années.
Le silicium le plus innovant de Habana Labs est maintenant le système Gaudi2, qui a été annoncé en mai. Les résultats les plus récents de Gaudi2 montrent des gains par rapport au tout premier ensemble de normes que Habana Labs a signalé avec la mise à jour de la formation MLPerf en juin. Selon Intel, Gaudi2 a amélioré de 10 % le temps de formation dans TensorFlow pour les modèles BERT et ResNet-50.
Nvidia H100 dépasse son prédécesseur
Nvidia signale également une forte gains pour ses innovations dans les dernières normes de formation MLPerf.
L’évaluation des résultats du H100 basé sur Hopper de Nvidia avec la formation MLPerf montre des gains significatifs par rapport au matériel basé sur A100 de la génération précédente. Dans un appel récapitulatif de Nvidia passant en revue les résultats de MLCommons, Dave Salvator, directeur de l’IA, de l’analyse comparative et du cloud chez Nvidia, a déclaré que le H100 offre 6,7 fois plus de performances que la toute première soumission A100 pour les mêmes critères il y a quelques années. . Salvator a déclaré qu’une partie cruciale de ce qui rend le H100 si performant est le moteur de transformateur intégré qui fait partie de l’architecture de la puce Nvidia Hopper.
Bien que le H100 soit désormais le matériel leader de Nvidia pour la formation ML, ce n’est pas pour déclarent que l’A100 n’a pas non plus amélioré ses résultats de formation MLPerf.
« L’A100 continue d’être un produit vraiment engageant pour la formation, et au cours des dernières années, nous avons eu la possibilité de faire évoluer ses l’efficacité par plus de deux fois grâce aux seules optimisations logicielles », a déclaré Salvator.
En général, que ce soit avec du nouveau matériel ou des optimisations logicielles continues, Salvator prévoit qu’il y aura un flux constant d’améliorations de l’efficacité pour la formation ML dans les mois et les années à venir.
« La soif d’efficacité de l’IA est sans limite, et nous continuons d’avoir besoin de plus en plus d’efficacité pour être en mesure de traiter des ensembles de données croissants dans un laps de temps abordable », a déclaré Salvator.
L’exigence de pouvoir former un concevoir plus rapidement est crucial pour une variété de facteurs, consistant en la vérité que la formation est un processus itératif. Les chercheurs en information ont généralement besoin de se former, puis de recycler les conceptions afin d’obtenir les résultats souhaités.
« Cette capacité à se former beaucoup plus rapidement fait toute la différence en ayant non seulement la capacité de gérer des réseaux plus grands , mais être en mesure de les employer plus rapidement et de les faire travailler pour vous dans la création de valeur », a déclaré Salvator.
La mission de VentureBeat est d’être une place publique numérique pour décideurs techniques pour acquérir des connaissances sur l’innovation d’entreprise transformatrice et effectuer des transactions. Découvrez nos Briefings.
.
Toute l’actualité en temps réel, est sur L’Entrepreneur
