dimanche, 21 juillet 2024

Complexité des réseaux de neurones : va-t-elle en s’améliorant ?

Le système expert (IA) a connu un développement considérable depuis ses débuts, et les réseaux de neurones font généralement partie de ce développement. Les réseaux de neurones qui appliquent des pondérations aux variables dans les modèles d’IA font partie intégrante de cette innovation moderne.

La recherche est continue, et les spécialistes se demandent toujours si plus gros est meilleur en termes de complexité du réseau de neurones.

Traditionnellement, les scientifiques se sont concentrés sur la construction de réseaux de neurones avec un grand nombre de critères pour obtenir une grande précision sur des ensembles de données de référence. Bien que cette méthode ait conduit à l’avancement de certains des réseaux de neurones les plus complexes à ce jour, tels que GPT-3 avec plus de 175 milliards de critères menant désormais à GPT-4. Mais elle comporte aussi des obstacles considérables.

Ces conceptions nécessitent d’énormes quantités de puissance de calcul, de stockage et de temps pour s’entraîner, et elles peuvent être difficiles à intégrer dans des applications du monde réel.

Occasion

Transform 2023

Rejoignez-nous à San Francisco les 11 et 12 juillet, où des magnats partageront comment ils ont réellement intégré et amélioré les investissements financiers dans l’IA pour réussir et éviter les pièges courants.

Inscrivez-vous maintenant Professionnels en

le quartier de l’IA

ont différents points de vue sur le valeur de la complexité du réseau de neurones. Certains soutiennent que des réseaux plus petits et bien formés peuvent obtenir des résultats équivalents à des conceptions plus importantes s’ils apprennent efficacement et sont efficaces. Des modèles plus récents tels que Chinchilla de Google DeepMind – constituant « simplement » 70 milliards de critères – déclarent surpasser Gopher, GPT-3, Jurassic-1 et Megatron-Turing NLG sur un grand nombre de critères linguistiques. De même, LLaMA by Meta – composé de 65 milliards de critères – montre que les conceptions de plus petite taille peuvent atteindre une plus grande efficacité. Cependant, la taille et la complexité parfaites des réseaux de neurones restent un sujet de débat dans la communauté de l’IA, ce qui soulève la question : la complexité des réseaux de neurones est-elle importante ? L’essence de la complexité des réseaux de neurones Les réseaux de neurones sont construits à partir de couches interconnectées de neurones synthétiques capables de reconnaître des modèles dans les données

et d’effectuer diverses tâches telles que la catégorie d’images, la reconnaissance de la parole et le traitement du langage naturel (NLP). La variété de nœuds dans chaque couche, le nombre de couches et le poids attribué à chaque nœud déterminent la complexité du réseau de neurones. Plus un réseau de neurones a de nœuds et de couches, plus il est complexe. Avec l’arrivée des stratégies d’apprentissage en profondeur qui nécessitent plus de couches et de spécifications, la complexité des réseaux de neurones a en fait considérablement augmenté. Les algorithmes d’apprentissage en profondeur ont en fait permis aux réseaux neuronaux de servir dans un éventail d’applications, comprenant la reconnaissance d’images et de la parole et la PNL. L’idée est que des réseaux de neurones plus complexes peuvent apprendre des modèles plus complexes à partir des informations d’entrée et obtenir une plus grande précision. « Un modèle complexe peut raisonner beaucoup mieux et obtenir des distinctions nuancées », a déclaré Ujwal Krothapalli, superviseur de la science des données chez EY. un modèle complexe peut également « se souvenir » des échantillons d’entraînement et ne pas bien fonctionner sur des informations vraiment différentes de l’ensemble d’entraînement. de Microsoft Research et Mark Sellke de l’Université de Stanford ont expliqué pourquoi la mise à l’échelle de la taille d’un réseau de neurones artificiels conduit à de meilleurs résultats. Ils ont découvert que les réseaux de neurones doivent être plus grands que prévu pour éviter des problèmes essentiels particuliers. Cette approche présente également quelques inconvénients. L’un des principaux défis du développement de grands réseaux de neurones est la quantité de puissance de calcul et le temps nécessaires pour les former. De plus, les grands réseaux de neurones sont souvent difficiles à libérer dans des circonstances réelles, nécessitant des ressources substantielles. « Plus la conception est grande, plus il est difficile de s’entraîner et de présumer », a déclaré Kari Briski, vice-présidente de la gestion des éléments pour l’application logicielle AI chez Nvidia, à VentureBeat. « Pour la formation, vous devez avoir la compétence pour adapter les algorithmes à d’innombrables GPU et pour l’inférence, vous devez optimiser

la latence préférée et conserver la précision du modèle. » Briski a décrit que les conceptions d’IA complexes telles que les grands modèles de langage (LLM) sont autorégressives, et les entrées de contexte de calcul choisissent le caractère ou le mot qui est produit ensuite. Pour cette raison, l’élément génératif peut être difficile en fonction des exigences de l’application. « Un raisonnement multi-GPU et multi-nœuds est nécessaire

pour que ces conceptions produisent des réponses en temps réel », a-t-elle déclaré. « De même , réduire la précision mais préserver l’exactitude et la qualité peut être difficile, car la formation et l’inférence avec la même précision sont préférées. « Les meilleurs résultats des méthodes de formation Les scientifiques explorent de toutes nouvelles stratégies pour améliorer les réseaux neuronaux à libérer dans des environnements à ressources limitées. Un autre article présenté à NeurIPS 2021 par Stefanie Jegelka du MIT et les scientifiques Andreas Loukas et Marinos Poiitis a exposé que les réseaux neuronaux ne nécessitent pas être compliqué et les meilleurs résultats peuvent être obtenus

seuls à partir de stratégies de formation

. Le document a révélé que les avantages des conceptions de plus petite taille sont nombreux. Ils sont plus rapides à former et plus faciles à s’intègrent dans des applications du monde réel. De plus, ils peuvent être plus interprétables, ce qui permet aux scientifiques de comprendre comment ils font des prédictions et de déterminer d’éventuelles prédispositions aux informations. Juan Jose Lopez Murphy, responsable de la science des données et des systèmes experts de la société de développement de logiciels Globant, a déclaré il croit que la relation entre la complexité et l’efficacité du réseau est, eh bien, complexe. « Avec l’avancement des » lois d’échelle « , nous avons découvert que de nombreuses conceptions sont très sous-formées « , a déclaré Murphy à VentureBeat. « Vous devez tirer parti des lois d’échelle pour les architectures générales reconnues et expérimenter les performances de conceptions de plus petite taille pour découvrir la combinaison idéale. Ensuite, vous pouvez adapter la complexité pour l’efficacité attendue. » Il dit que des modèles plus petits comme Chinchilla ou LLaMA – où de meilleures performances ont été obtenues avec des conceptions

de plus petite taille – constituent un cas intéressant selon lequel quelques-unes des perspectives enracinées dans les réseaux plus grands pourraient être perdues, et qu’une partie de la capacité d’efficacité des conceptions plus complexes est perdue en sous-formation. « Avec des conceptions plus grandes, ce que vous obtenez en unicité, vous risquez de perdre en fiabilité », a-t-il déclaré. « Nous ne comprenons pas encore pleinement comment et pourquoi cela se produit, mais une quantité substantielle

de recherche dans le secteur entre en jeu pour répondre à ces préoccupations. Nous en découvrons plus chaque jour. » Divers emplois nécessitent divers schémas neuronaux. l’architecture neuronale idéale pour les conceptions d’IA est un processus complexe et continu. Il n’y a pas d’option unique, car différents travaux et ensembles de données nécessitent différentes architectures.

De nombreux concepts cruciaux peuvent aider le processus d’avancement. Celles-ci consistent à concevoir des architectures évolutives, modulaires et efficaces, en utilisant des méthodes telles que la découverte de transfert pour utiliser des modèles pré-formés et en optimisant les hyperparamètres pour améliorer les performances

. Une autre technique consiste à développer du matériel spécifique, tel que

TPU et GPU, qui peut accélérer l’entraînement et le raisonnement des réseaux de neurones. Ellen Campana, directrice de l’IA d’entreprise chez KPMG U.S., recommande que l’architecture de réseau neuronal parfaite soit basée sur la taille des données, le problème à résoudre et les ressources informatiques facilement disponibles

, en s’assurant qu’il peut découvrir les fonctions appropriées de manière efficace et efficiente. »Pour de nombreux problèmes, il est préférable d’envisager d’incorporer de grands modèles déjà formés et de les ajuster pour bien faire avec votre cas d’utilisation », a déclaré Campana à VentureBeat. « Former ces conceptions à partir de zéro, en particulier pour utilisations génératives, est très coûteux en termes de calcul.

Des conceptions plus petites et plus simples sont donc préférables lorsque les données sont un problème. L’utilisation de conceptions pré-formées peut être une autre méthode pour contourner les restrictions d’informations. »Plus efficace architectures L’avenir des réseaux de neurones, a déclaré Campana, dépend de la mise en place d’architectures plus efficaces. Le développement d’une architecture de réseau neuronal améliorée est essentiel pour atteindre une efficacité élevée. « Je pense que cela va se poursuivre avec la tendance vers des conceptions plus grandes, mais un nombre croissant d’entre elles seront à usage multiple », a déclaré Campana. entreprise et après cela certifié pour une utilisation comme nous le voyons avec les modèles Davinci d’OpenAI. Cela rend à la fois le coût et l’empreinte extrêmement réalisables pour les personnes qui souhaitent utiliser l’IA, mais ils obtiennent la complexité nécessaire pour utiliser l’IA pour résoudre

problèmes difficiles. » Kjell Carlsson, responsable de la stratégie et de l’évangélisation de la science des données à la plate-forme MLOps d’entreprise Domino Data Laboratory, pense que les conceptions plus petites et plus simples sont toujours plus idéales pour les applications du monde réel. Les conceptions d’IA conviennent aux applications du monde réel dans leur état brut », a déclaré Carlsson. « Pour les applications du monde réel, elles doivent être améliorées pour un ensemble restreint de cas d’utilisation, ce qui à son tour diminue leur taille et le coût de leur utilisation. Un exemple réussi est GitHub Copilot, une version du modèle de codex d’OpenAI améliorée pour l’auto-complétion du code. « L’avenir des architectures de réseaux de neurones Carlsson dit qu’OpenAI propose des modèles comme ChatGPT et GPT4, car nous n’en savons pas encore plus qu’un minuscule partie des cas d’utilisation potentiels. « Dès que nous connaissons les cas d’utilisation, nous pouvons former des versions améliorées de ces conceptions pour eux », a-t-il déclaré. « Alors que le coût de l’informatique continue de baisser, nous pouvons nous attendre à ce que les gens continuent la technique de » force brute de tirer parti des architectures de réseaux de neurones existantes formées avec un nombre croissant de spécifications. » Il pense que nous devrions également nous attendre à des percées où les développeurs pourraient développer des améliorations et de nouvelles architectures qui améliorent considérablement l’efficacité de ces modèles tout en leur permettant de plus en plus d’emplois complexes et à caractère humain. Amit Prakash, cofondateur et CTO de la plate-forme d’analyse basée sur l’IA ThoughtSpot, déclare que nous verrons régulièrement que des modèles de plus en plus grands se révèlent avec des capacités

plus puissantes. Mais, il y aura alors de plus petites variations de ces modèles qui tenteront de se rapprocher de la qualité de la sortie de conceptions de plus petite taille. « Nous verrons ces conceptions plus grandes utilisées pour apprendre à des modèles plus petits à imiter un comportement comparable », a déclaré Prakash à VentureBeat. du réseau neuronal doit être utilisé et quelle partie doit être désactivée, et après cela, seule une petite partie de la conception est déclenchée. » Il a déclaré qu’à terme, le secret pour développer des conceptions d’IA efficaces serait de trouver le meilleur équilibre entre complexité, efficacité et interprétabilité. L’objectif de VentureBeat est d’être une place publique numérique permettant aux décideurs techniques d’acquérir des connaissances sur les technologies commerciales transformatrices et de négocier. Découvrez nos consignes..

Toute l’actualité en temps réel, est sur L’Entrepreneur

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici

xnxx sex download russianporntrends.com hardxxxpics saboten campus freehentai4u.com read manga porn rakhi sex photo ganstagirls.com nani sex video xxx indian girl video download elporno.mobi tamilauntycom bf hd video bf hd video porn555.me anyporn hd tamil beach sex erolenta.com xxx sex boy to boy bustyboobs pakistanixxxx.com nude sexy videos desi sex xvideos.com tubaka.mobi justdesi in free naked dance vegasmpegs.mobi eva grover desi ass lick eroanal.net 69 xvideo 4k xnxx thefuckingtube.com xxii roman numerals translation tamil nayanthara sex sexozavr.com indian porn videos tumblr كلبات سكس porn-arab.net نيك ف الكس y3df comics popsexy.net akhil wife hentai ahri wowhentai.net the sarashina bloodline