jeudi, 28 mars 2024

La version PyTorch 2.0 accélère l’apprentissage automatique open source

Parmi les innovations d’intelligence artificielle (ML) les plus largement utilisées aujourd’hui figure la structure open source PyTorch.

PyTorch a fait ses débuts sur Facebook (maintenant appelé Meta) en 2016 avec le La version 1.0 a fait ses débuts en 2018. En septembre 2022, Meta a déplacé la tâche PyTorch vers la nouvelle structure PyTorch, qui est gérée par la Linux Foundation. Aujourd’hui, les concepteurs de PyTorch ont franchi la prochaine étape majeure pour PyTorch, révélant la première version spéculative de PyTorch 2.0. La toute nouvelle version promet d’aider à accélérer la formation et le développement du ML, tout en maintenant la rétrocompatibilité avec le code d’application PyTorch existant.

« Nous inclus une fonctionnalité supplémentaire appelée « torch.compile » que les utilisateurs doivent placer récemment dans leurs bases de code », Soumith Chintala, responsable de la maintenance, PyTorch. informé VentureBeat. « Nous l’appelons 2.0 car nous pensons que les utilisateurs le découvriront comme un nouvel ajout substantiel à l’expérience. »

Le tout nouveau compilateur de PyTorch qui fait toute la différence pour ML

Il y a eu des conversations dans le passé sur le moment où le travail PyTorch doit appeler une nouvelle version 2.0.

Événement

Intelligent Security Top

Découvrez la fonction cruciale de l’IA et du ML dans la cybersécurité et des études de cas spécifiques à l’industrie le 8 décembre . Inscrivez-vous dès aujourd’hui pour votre pass totalement gratuit.

Inscrivez-vous maintenant

En 2021, par exemple, il y a eu une brève conversation sur la question de savoir si PyTorch 1.10 doit être identifié comme une version 2.0. Chintala a déclaré que PyTorch 1.10 n’avait pas suffisamment de modifications essentielles par rapport à la version 1.9 pour nécessiter une mise à niveau majeure vers la version 2.0.

La version la plus récente de PyTorch généralement disponible est la variante 1.13, qui est sortie fin octobre. . Une fonction essentielle de cette version provenait d’une contribution au code IBM permettant au fabricant de découvrir la structure de travailler plus efficacement avec un réseau Ethernet de base pour un travail à grande échelle.

Chintala a souligné que c’était maintenant le bon temps pour PyTorch 2.0 car la tâche introduit un nouveau paradigme supplémentaire dans l’expérience utilisateur de PyTorch, appelé torch.compile, qui apporte aux utilisateurs de fortes accélérations qui n’étaient pas possibles dans le mode excité par défaut de PyTorch 1.0.

Il a expliqué que sur environ 160 modèles open source sur lesquels le projet PyTorch a vérifié les premières versions de 2.0, il y a eu une accélération de 43 % et ils ont fonctionné de manière fiable avec l’ajout d’une ligne à la base de code.

« Nous prévoyons qu’avec PyTorch 2, les individus changeront la façon dont ils utilisent PyTorch au quotidien », a déclaré Chintala.

Il a déclaré qu’avec PyTorch 2.0, les développeurs commenceront leurs expériences avec le mode excité et, une fois qu’ils auront formé leurs modèles pendant de longues périodes, activeront le mode assemblage pour une efficacité supplémentaire.

« Les scientifiques des données pourront terminer avec PyTorch 2.x les mêmes choses qu’ils ont finies avec 1.x, mais ils peuvent les faire plus rapidement et à plus grande échelle », a déclaré Chintala. « Si votre conception s’entraînait sur 5 jours et qu’avec le mode compilé de 2. x, elle s’entraîne maintenant en 2,5 jours, vous pouvez alors répéter sur plus de concepts avec ce temps inclus, ou construire une conception plus grande qui s’entraîne dans les mêmes 5 jours. « 

Plus de Python concernant PyTorch 2.x

PyTorch tire la toute première partie de son nom (Py) du langage open-source Python qui est largement utilisé dans les sciences de l’information.

Les versions modernes de PyTorch, néanmoins, n’ont pas été entièrement écrites en Python, car certaines parties de la structure sont désormais écrites dans le langage des programmes C.

« Pendant de nombreuses années, nous J’ai déplacé de nombreuses parties de torch.nn de Python vers C pour optimiser les performances du dernier kilomètre », a déclaré Chintala.

Chintala a déclaré que dans la dernière série 2.x (mais pas dans la 2.0), le Le travail PyTorch s’attend à déplacer le code lié à torch.nn vers Python. Il a noté que C est généralement plus rapide que Python, mais le tout nouveau compilateur (torch.compile) finit par être plus rapide que l’exécution du code comparable en C.

« Replacer ces parties vers Python améliore la capacité de piratage et diminue la barrière pour les contributions de code « , a déclaré Chintala.

Le travail sur Python 2.0 sera continu pendant les nombreux prochains mois avec un calendrier général non prévu avant mars 2023. Parallèlement à l’effort d’avancement, il y a la transition pour PyTorch de être gouverné et géré par Meta pour devenir son propre effort indépendant.

« C’est le début de la Fondation PyTorch, et vous en entendrez plus sur un horizon temporel plus long », a déclaré Chintala. « La structure est en train d’exécuter de nombreux transferts et de développer des objectifs. »

La mission de VentureBeat est d’être une place publique numérique permettant aux décideurs techniques d’acquérir des connaissances à propos de l’innovation d’entreprise transformatrice et de négocier. Découvrez nos Briefings.

Toute l’actualité en temps réel, est sur L’Entrepreneur

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici