Bilan : Nvidia AI Enterprise brille sur VMware

Nvidia AI Enterprise est une pile d’applications logicielles d’IA de bout en bout. Il se compose d’un logiciel pour ranger les informations et les préparer pour la formation, effectuer la formation des réseaux de neurones, transformer le modèle en un type plus efficace pour l’inférence et le déployer sur un serveur de raisonnement.

En outre, le La suite logicielle Nvidia AI comprend un GPU, un DPU (système de traitement de données) et une assistance réseau accélérée pour Kubernetes (la couche de publication native du cloud sur le schéma ci-dessous) et une assistance optimisée pour les appareils partagés sur VMware vSphere avec Tanzu. Tanzu Basic vous permet d’exécuter et de gérer Kubernetes dans vSphere. (VMware Tanzu Labs est le nouveau nom d’Essential Labs.)

Nvidia LaunchPad est un programme d’essai qui donne aux groupes d’IA et de science des données un accès à court terme à l’ensemble de la pile Nvidia AI fonctionnant sur une infrastructure de calcul privée. Nvidia LaunchPad utilise des laboratoires organisés pour Nvidia AI Business, avec un accès aux spécialistes et aux modules de formation Nvidia.

Nvidia AI Enterprise est une tentative de sortir la formation et la mise en œuvre des modèles d’IA du domaine de l’étude de recherche scolaire et de la l’entreprise technologique la plus importante, qui a déjà des chercheurs en information de niveau doctorat et des centres d’information chargés de GPU, et dans le domaine des entreprises communes qui doivent utiliser l’IA pour les opérations, l’avancement des produits, le marketing, les ressources humaines et d’autres emplacements. LaunchPad est une méthode gratuite permettant à ces entreprises de permettre à leurs administrateurs informatiques et spécialistes de l’IA d’acquérir une expérience pratique de la pile Nvidia AI Enterprise sur le matériel pris en charge.

L’option la plus courante pour Nvidia AI Enterprise et LaunchPad est de utiliser les GPU (et d’autres accélérateurs de formation de modèles, tels que les TPU et les FPGA) et l’application logicielle d’IA facilement disponibles auprès des fournisseurs de cloud hyperscale, intégrés aux cours, modèles et laboratoires fournis par les fournisseurs de cloud et les quartiers open source de la structure d’IA.

Nvidia

La pile Nvidia AI Enterprise, allant du matériel d’accélération en bas aux outils et frameworks de sciences de l’information en haut.

Qu’y a-t-il dans Nvidia AI Enterprise

Nvidia AI Enterprise offre une couche d’installations intégrées pour l’avancement et la mise en œuvre des services d’IA. Il se compose de modèles pré-entraînés, d’un logiciel compatible GPU pour la préparation de l’information (RAPIDS), de frameworks d’apprentissage en profondeur compatibles GPU tels que TensorFlow et PyTorch, de logiciels pour convertir les conceptions en une forme plus efficace pour l’inférence (TensorRT) et une inférence évolutive serveur (Triton).

Une bibliothèque de modèles pré-entraînés est facilement disponible via le catalogue NGC de Nvidia pour une utilisation avec la suite d’applications logicielles Nvidia AI Business ; ces conceptions peuvent être affinées sur vos ensembles de données à l’aide des conteneurs Nvidia AI Business TensorFlow. Les frameworks de connaissances approfondies fournis, bien que basés sur leurs versions open source, ont en fait été optimisés pour les GPU Nvidia.

Nvidia

Diagramme de flux de pile logicielle Nvidia AI. Le matériel garde à l’esprit en bas à gauche pour la formation ; les notes en bas à droite servent à raisonner.

Matériel Nvidia AI Enterprise et LaunchPad

Nvidia a fait beaucoup de bruit sur les systèmes DGX, qui ont de quatre à 16 A100 GPU dans différents types d’aspects, allant d’un périphérique de groupe de travail en tour aux systèmes en rack développés pour une utilisation dans les centres d’information. Alors que la société se consacre toujours à DGX pour les grandes installations, aux fins des essais Nvidia AI Business dans le cadre des programmes LaunchPad, la société a en fait mis en place des systèmes montés en rack 1U à 2U de plus petite taille avec des serveurs de base basés sur le double Intel Xeon Gold 6354. CPU, GPU Nvidia T4 ou A30 uniques et DPU Nvidia (systèmes de traitement de l’information). Neuf régions Equinix Metal dans le monde disposent chacune de 20 serveurs montés en rack de ce type à utiliser par les clients Nvidia qui sont approuvés pour les essais LaunchPad.

Nvidia recommande exactement les mêmes systèmes pour les implémentations commerciales de Nvidia AI Business. Ces systèmes sont proposés à la location ou à la location en plus de l’achat.

Nvidia

Matériel de serveur pour prendre en charge LaunchPad et Nvidia AI Enterprise. Alors que les serveurs LaunchPad sont tous des Dell R750, c’était une question de disponibilité plutôt que de préférence. Toutes les entreprises notées sur les meilleurs serveurs de fabrication pris en charge par Nvidia pour Nvidia AI Enterprise.

Test de conduite Nvidia AI Enterprise

Nvidia propose 3 programmes d’essai différents pour aider les consommateurs à commencer avec Nvidia AI Entreprise. Pour les spécialistes de l’IA qui veulent simplement se mouiller les pieds, il y a une démonstration d’essai routier qui consiste à prévoir les tarifs des taxis de la ville de New York et à essayer de répondre à la question BERT dans TensorFlow. Le test de conduite nécessite environ une heure de travail pratique et utilise 48 heures d’accès.

LaunchPad est un peu plus complet. Il utilise des laboratoires pratiques pour les spécialistes de l’IA et le personnel informatique, nécessitant environ 8 heures de travail pratique, avec un accès aux systèmes pendant 2 semaines, avec une extension facultative à quatre semaines.

Le troisième essai est une évaluation sur site de 90 jours, suffisante pour effectuer un POC (preuve de principe). Le client doit fournir (ou louer) un système certifié Nvidia avec VMware vSphere 7 u2 (ou une version ultérieure), et Nvidia fournit des licences d’évaluation gratuites.

Nvidia

Il existe trois façons d’essayer Nvidia AI Enterprise : une démonstration d’essai routier d’une heure avec un accès de 48 heures ; les laboratoires de huit heures du Nvidia LaunchPad avec deux semaines d’accès ; et une licence d’évaluation de 90 jours pour une utilisation sur site.

Démo Nvidia LaunchPad pour les administrateurs informatiques

Comme je m’intéresse plus aux sciences de l’information qu’à l’administration informatique, je j’ai simplement regardé une démonstration du laboratoire d’administration pratique, bien que j’y ai eu accès plus tard. La première capture d’écran ci-dessous programme le début des directions du laboratoire ; le 2ème montre une page de l’interface utilisateur Web du client VMware vSphere. Selon Nvidia, la majorité des administrateurs informatiques qu’ils forment sont déjà familiarisés avec vSphere et Windows, mais sont moins familiarisés avec Ubuntu Linux.

IDG

Cet écran présente les instructions pour créer une machine virtuelle Nvidia AI Business utilisant VMware vSphere. Cela fait partie de la formation des administrateurs informatiques.

IDG

Cet écran révèle l’introduction du matériel pour le périphérique virtuel Nvidia AI Business développé à des fins de didacticiel dans VMware vSphere.

Laboratoire Launchpad pour les professionnels de l’IA

J’ai passé la majeure partie de la journée à parcourir le laboratoire LaunchPad pour les spécialistes de l’IA, fourni principalement sous forme de bloc-notes Jupyter. Les gens de Nvidia m’ont informé qu’il s’agissait d’un didacticiel de niveau 400 ; cela l’aurait certainement été si j’avais dû composer le code moi-même. Dans l’état actuel des choses, tout le code était déjà écrit, il y avait un modèle BERT de base expérimenté à modifier, et toutes les informations de formation et de test pour le réglage fin ont été fournies par l’équipe (Stanford Question Answering Dataset).

Le GPU A30 du serveur fourni pour le LaunchPad s’est entraîné lorsque je suis arrivé à l’action de réglage fin, qui a pris 97 minutes. Sans le GPU, cela aurait pris beaucoup plus de temps. Former le modèle BERT à partir de zéro, par exemple, le contenu de Wikipédia, est une entreprise majeure nécessitant beaucoup de GPU et une longue période de temps (probablement des semaines).

IDG

La zone supérieure de cette page envoie l’utilisateur vers un bloc-notes Jupyter qui affine un modèle BERT pour le service client. La zone inférieure explique comment exporter la conception entraînée vers le serveur d’inférence. Par la méthode, si vous oubliez de fermer le noyau après l’étape de réglage fin, l’action d’exportation cessera de fonctionner avec des traces d’erreur mystérieuses. Ne me demandez pas comment je le sais.

IDG

C’est le début du bloc-notes Jupyter qui exécute la première étape du cours de spécialiste en IA. Il utilise une conception BERT TensorFlow pré-entraînée, téléchargée dans l’action 3, puis l’ajuste pour un ensemble de données ciblé de plus petite taille, téléchargé à l’étape 2.

IDG

Cette action utilise TensorFlow pour convertir des exemples de phrases en genre tokenisé. Il faut quelques minutes pour travailler sur les processeurs.

IDG

L’action de réglage fin devrait prendre environ 90 minutes avec le GPU A30. Ici, nous commençons tout juste l’entraînement à l’appel estimateur.train(…).

IDG

L’action d’entraînement de réglage fin est enfin terminée, en 5838 secondes (97 minutes) au total. Environ quatre minutes ont été utilisées pour les frais généraux de démarrage.

IDG

Le Jupyter Notebook se poursuit avec un test d’inférence et une étape d’examen, tous deux utilisant le modèle TensorFlow BERT affiné. Après cette action, nous arrêtons le Jupyter Notebook et démarrons le serveur d’inférence Triton dans la machine virtuelle, puis testons le serveur Triton à partir d’une console Jupyter.

Dans l’ensemble, Nvidia AI Business est un excellent package matériel/logiciel pour lutter contre Problèmes d’IA, et LaunchPad est une méthode pratique pour finir par se familiariser avec Nvidia AI Enterprise. J’ai été frappé par la façon dont le logiciel d’apprentissage en profondeur bénéficie des développements les plus récents des GPU d’architecture Nvidia Ampere, tels que les cœurs mathématiques et tenseurs de précision mixte. J’ai remarqué à quel point l’expérience était meilleure en essayant les laboratoires pratiques de Nvidia AI Enterprise sur l’instance de serveur de Nvidia que d’autres expériences que j’ai eues en exécutant des exemples TensorFlow et PyTorch sur mon propre matériel et sur des machines virtuelles cloud et des services d’IA.

Tous les principaux clouds publics utilisent l’accès aux GPU Nvidia, ainsi qu’aux TPU (Google), aux FPGA (Azure) et aux accélérateurs personnalisés tels que les puces Habana Gaudi pour la formation (dans les circonstances AWS EC2 DL1) et les puces AWS Inferentia pour raisonnement (sur les circonstances Amazon EC2 Inf1). Vous pouvez même accéder gratuitement aux TPU et aux GPU dans Google Colab. Les fournisseurs de services cloud ont également des versions de TensorFlow, PyTorch et d’autres frameworks optimisés pour leurs clouds.

En supposant que vous puissiez accéder à Nvidia LaunchPad pour Nvidia AI Business et le tester efficacement, votre la prochaine étape si vous souhaitez continuer devrait probablement être de mettre en place une preuve de concept pour une application d’IA qui a une grande valeur pour votre entreprise, avec l’adhésion et le soutien de la direction. Vous pouvez louer un petit serveur certifié Nvidia avec un GPU de classe Ampere et tirer le meilleur parti de la licence d’examen gratuite de 90 jours de Nvidia pour Nvidia AI Business afin d’atteindre le POC avec un minimum de dépenses et de menaces.