jeudi, 23 mai 2024

Nvidia met à jour la boîte à outils NeMo Megatron AI pour accélérer la formation à l’IA

Nvidia a annoncé une toute nouvelle édition de la boîte à outils NeMo Megatron AI qui permettra aux groupes d’applications logicielles et au personnel de former et d’accélérer les réseaux de neurones. La mise à niveau promet en particulier de réduire le temps nécessaire à la formation des concepteurs pour créer des conceptions NLP avancées.

Mégatron GPT-3 et NeMo

OpenAI LLC– une société de recherche et d’avancement de l’IA– a présenté une conception innovante de la PNL intitulée «Generative Pre-Trained Transformer 3» ou GPT-3. Cette conception peut effectuer diverses tâches telles que la traduction de textes et la production de codes logiciels. OpenAI fournit des services cloud industriels qui permettent aux entreprises d’accéder à plusieurs éditions spécifiques de GPT-3 et de créer des versions personnalisées.

NeMo Megatron est la boîte à outils d’IA mise à jour par Nvidia et comprend des fonctions qui peuvent aider à s’entraîner pour les conceptions GPT-3. La multinationale américaine de l’innovation pense que ces fonctionnalités permettront de réduire de 30 % le temps nécessaire à la formation des développeurs.

« La formation peut désormais être effectuée sur des modèles à 175 milliards de paramètres utilisant 1 024 GPU NVIDIA A100 en seulement 24 jours, ce qui réduit le délai d’obtention des résultats de 10 jours, soit quelque 250 000 heures de calcul sur GPU, avant ces nouvelles versions », ont précisé les chercheurs.

Fonctions secrètes

Cette accélération est dû à 2 caractéristiques cruciales : le « recalcul d’activation sélective » et le « parallélisme de séquences ». Selon Nvidia, les deux fonctionnalités accélèrent la formation du système expert d’une manière différente.

Le « parallélisme de séquence » utilise des couches qui aident à construire une application logicielle qui accélère le traitement. Il peut paralléliser des calculs qui pourraient être effectués juste après l’autre, augmentant ainsi les performances. Cela réduit également la nécessité d’effectuer plusieurs fois des calculs similaires.

Le « recalcul d’activation sélective » réduit encore le nombre de calculs globaux. Différentes conceptions de systèmes experts utilisent des opérations de calcul (activations) pour traiter les informations. NeMo Megatron effectue efficacement les calculs d’activation, réduisant les temps de formation.

« Nous avons atteint la configuration de formation optimale pour une conception 175B GPT-3 en moins de 24 heures », ont déclaré les scientifiques de Nvidia. « Par rapport à une configuration courante qui utilise le recalcul d’activation complet, nous obtenons une accélération du débit de 20 à 30 %. »

Toute l’actualité en temps réel, est sur L’Entrepreneur

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici

xnxx sex download russianporntrends.com hardxxxpics saboten campus freehentai4u.com read manga porn rakhi sex photo ganstagirls.com nani sex video xxx indian girl video download elporno.mobi tamilauntycom bf hd video bf hd video porn555.me anyporn hd tamil beach sex erolenta.com xxx sex boy to boy bustyboobs pakistanixxxx.com nude sexy videos desi sex xvideos.com tubaka.mobi justdesi in free naked dance vegasmpegs.mobi eva grover desi ass lick eroanal.net 69 xvideo 4k xnxx thefuckingtube.com xxii roman numerals translation tamil nayanthara sex sexozavr.com indian porn videos tumblr كلبات سكس porn-arab.net نيك ف الكس y3df comics popsexy.net akhil wife hentai ahri wowhentai.net the sarashina bloodline