samedi, 15 juin 2024

Détails et architecture open sources xAI de leur LLM Grok-1

Dans un court article de blog, la start-up de développement d’IA d’Elon Musk fournit plus d’informations sur l’architecture réseau de la conception structurelle du Grok-1 LLM, comme la façon dont les différents les couches et les nœuds sont établis et liés les uns aux autres pour le traitement des données.

Cela a également révélé le nombre de spécifications que le modèle fondamental derrière le LLM inclut et sur lesquelles il est formé. Dans le cas de Grok-1, cela représente 314 milliards de spécifications. Le code sous-jacent du LLM inclut JAX et Rust.

Modèle MoE

Plus particulièrement, la conception de base est une conception dite de mélange d’experts formée dès le départ par xAI. Une conception mixte d’experts (MoE) est une approche d’intelligence artificielle qui intègre les résultats de nombreux sous-modèles spécialisés (les « experts »). Cela nécessite de produire une dernière prédiction qui optimise diverses tâches ou sous-ensembles de données en fonction de la compétence de chaque modèle.

De plus, la formation d’un modèle MoE nécessite moins de puissance de calcul, ce qui simplifie la mise à l’échelle et l’augmentation des données. taille dans le cadre du budget de puissance de calcul existant. Un modèle MoE offre une pré-formation plus efficace et une inférence plus rapide que les modèles haute densité.

xAI n’est pas le seul concepteur d’IA à utiliser une conception MoE. Le LLM Mixtral 8x7B de Mistral AI est également basé sur cette approche.

Pas encore adapté aux applications

Le modèle Grok-1 désormais open source est la conception de base « brute » du modèle d’octobre dernier. étape de pré-formation. Selon le développeur de l’IA, cela implique que la conception n’a pas encore été améliorée pour des applications particulières, telles que la discussion. Par conséquent, la version open source de Grok-1 ne permet pas encore d’options et d’applications GenAI véritablement interactives.

Plus d’informations sur la conception Grok-1 LLM n’ont en fait pas été révélées. Les notes de publication sur GitHub recommandent d’exécuter la conception de test disponible sous une licence Apache 2.0 sur un système informatique doté de suffisamment de mémoire CPU. Cela est dû aux nombreux paramètres qui composent le modèle.

De plus, les développeurs de xAI montrent que l’exécution de la couche MoE dans le référentiel GitHub n’est pas encore effective. Cette application a été préférée pour garantir qu’aucun noyau personnalisé n’était nécessaire pour vérifier l’exactitude de la conception.

Toute l’actualité en temps réel, est sur L’Entrepreneur

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici

xnxx sex download russianporntrends.com hardxxxpics saboten campus freehentai4u.com read manga porn rakhi sex photo ganstagirls.com nani sex video xxx indian girl video download elporno.mobi tamilauntycom bf hd video bf hd video porn555.me anyporn hd tamil beach sex erolenta.com xxx sex boy to boy bustyboobs pakistanixxxx.com nude sexy videos desi sex xvideos.com tubaka.mobi justdesi in free naked dance vegasmpegs.mobi eva grover desi ass lick eroanal.net 69 xvideo 4k xnxx thefuckingtube.com xxii roman numerals translation tamil nayanthara sex sexozavr.com indian porn videos tumblr كلبات سكس porn-arab.net نيك ف الكس y3df comics popsexy.net akhil wife hentai ahri wowhentai.net the sarashina bloodline