jeudi, 28 mars 2024

TensorRT 8 fournit des performances d’inférence d’IA rapides aux entreprises de premier plan

NVIDIA a lancé aujourd’hui TensorRT ™ 8, la huitième génération de l’application logicielle d’IA de l’entreprise, qui réduit de moitié le temps d’inférence pour les questions linguistiques, permettant aux développeurs de créer les moteurs de recherche, les recommandations publicitaires et les chatbots les plus performants au monde et utilisez-les du cloud à la périphérie.

Les optimisations de TensorRT 8 offrent une vitesse record pour les applications linguistiques, exécutant BERT-Large, l’une des conceptions à base de transformateur les plus utilisées au monde, en 1,2 milliseconde. Dans le passé, les entreprises devaient réduire la taille de leur modèle, ce qui entraînait des résultats nettement moins précis. Désormais, avec TensorRT 8, les entreprises peuvent doubler ou tripler la taille de leur modèle pour obtenir des améliorations spectaculaires de la précision.

En 5 ans, plus de 350 000 concepteurs répartis dans 27 500 entreprises dans des domaines complets, comprenant la santé, l’automobile, le financement et la vente au détail, ont en fait téléchargé TensorRT près de 2,5 millions de fois. Les applications TensorRT peuvent être déployées dans des centres d’information à grande échelle, des plates-formes d’articles enracinées ou automobiles.

En plus des optimisations de transformateur, les développements de TensorRT 8 en matière d’inférence d’IA sont activés via deux autres fonctions essentielles.

Sparsity est une toute nouvelle méthode de performances dans les GPU de l’architecture NVIDIA Ampere pour augmenter l’efficacité, permettant aux développeurs d’accélérer leurs réseaux de neurones en réduisant les opérations de calcul.

La formation consciente de la quantification permet de développeurs d’utiliser des conceptions expérimentées pour exécuter un raisonnement dans la précision INT8 sans perdre en précision. Cela réduit considérablement les frais de calcul et de stockage pour une inférence efficace sur les cœurs Tensor.

Les leaders du marché ont accepté TensorRT pour leurs applications de raisonnement approfondi dans l’IA conversationnelle et dans une série d’autres domaines.

Hugging Face est un leader de l’IA open source dont dépendent les plus grands fournisseurs de services d’IA au monde sur de nombreux marchés. La société travaille en étroite collaboration avec NVIDIA pour introduire des services d’IA révolutionnaires qui permettent l’analyse de texte, la recherche neuronale et les applications conversationnelles à grande échelle.

GE Healthcare, l’un des principaux innovateurs mondiaux en matière de technologie médicale, de diagnostics et d’options numériques, utilise TensorRT pour accélérer les applications de vision des systèmes informatiques pour les ultrasons, un outil essentiel pour la détection précoce des maladies. Cela permet aux cliniciens de fournir la meilleure qualité de soins grâce à ses options de soins de santé intelligents.

Toute l’actualité en temps réel, est sur L’Entrepreneur

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici