Le paysage de l’IA générative pour la génération de code s’est un peu plus encombré aujourd’hui avec le lancement du nouveau modèle de grand langage StarCoder (LLM).
StarCoder fait partie du BigCode Job, un effort conjoint de ServiceNow et de Hugging Face. BigCode a été initialement annoncé en septembre 2022 dans le but de construire un quartier ouvert autour d’outils de génération de code pour l’IA. Le StarCoder LLM est un modèle de 15 milliards de critères qui a en fait été formé sur du code source sous licence permissive et proposé sur GitHub.
Le modèle a en fait été formé sur plus de 80 langages d’émissions, bien qu’il ait une force particulière avec le langage d’émissions Python populaire qui est largement utilisé pour la science des données et l’apprentissage automatique (ML).
Le marché se réchauffe
L’effort de développement d’un outil de génération de code d’IA génératif ouvert apporte une toute nouvelle concurrence au Codex d’OpenAI, qui alimente le Service de copilotage GitHub, en plus des efforts d’autres fournisseurs, dont l’outil CodeWhisper d’Amazon. Les outils OpenAI et Amazon sont tous deux basés sur un code propriétaire, tandis que StarCoder est mis à disposition sous une licence Open Accountable AI Licenses (OpenRAIL).
Événement
Transformer 2023
Rejoignez-nous à San Francisco les 11 et 12 juillet, où des cadres supérieurs expliqueront comment ils ont réellement intégré et optimisé les investissements financiers dans l’IA pour réussir et éviter les erreurs courantes.
Inscrivez-vous maintenant »Il y a
code puissant
modèles là-bas, mais ils sont tous à source fermée, non on comprend précisément comment les former », a déclaré Leandro von Werra, ingénieur ML chez Hugging Face et co-responsable de BigCode, à VentureBeat. Von Werra a ajouté que le concept derrière BigCode et StarCoder est de construire de puissants modèles de génération de code à l’extérieur. Alors que l’effort est maintenant dirigé par Hugging Face and Service, il a souligné qu’il existe un quartier actif d’environ 600 personnes dans le quartier qui contribuent au succès de la tâche. BigCode est le successeur spirituel de BigScience L’effort de BigCode n’est pas la toute première fois que HuggingFace aide réellement à construire une communauté pour ouvrir le développement de l’IA. Von Werra a qualifié BigCode de « suiveur spirituel » de l’effort BigScience, qui a débuté en 2021.
En 2022, le BigScience Large Open-science Open-access Multilingual Language Design (FLOWER) a été publié, fournissant un modèle de génération de texte multilingue prévu pour être une alternative ouverte au GPT-3 d’OpenAI. BigCode a en fait eu quelques étapes itératives sur le chemin de la sortie de StarCoder. En octobre 2022, le travail a révélé « The Stack », une collection de
code certifié de manière permissive recueilli à partir de GitHub en tant qu’ensemble de données de formation pour la génération de code LLM. En décembre 2022, BigCode a lancé son tout premier « présent » avec SantaCoder, un modèle précurseur de StarCoder formé sur un sous-ensemble d’informations de plus petite taille et limité aux langages de programmes Python, Java et JavaScript. Avec StarCoder, le travail consiste à offrir un outil de génération de code complet qui couvre 80 langues. Damage de Vries, responsable du laboratoire LLM de l’étude ServiceNow Research et co-responsable de BigCode, a expliqué à
VentureBeat que StarCoder peut être utilisé dans diverses situations. Il a démontré comment StarCoder peut être utilisé comme assistant de codage, fournissant des instructions sur la façon de modifier le code existant ou de produire un nouveau code. Le StarCoder LLM peut fonctionner seul comme un outil de génération de texte en code et il peut également être intégré via un plugin à utiliser avec des outils d’avancement populaires comprenant Microsoft VS Code. Von Werra a gardé à l’esprit que StarCoder peut également comprendre
et apporter des modifications au code. Par exemple, un utilisateur peut utiliser un déclencheur de texte tel que « Je veux corriger le bogue dans cette fonction » et le LLM fera simplement cela. Pourquoi l’IA explicable nécessite une licence ouverte Un élément essentiel de StarCoder et de l’effort BigCode en général est que les innovations sont toutes proposées sous une licence ouverte. Une difficulté majeure pour les organisations qui publient de l’IA aujourd’hui est l’exigence d’une IA explicable, où
il est possible de comprendre comment et pourquoi un modèle
a assuré des options et des décisions. Un obstacle associé est l’exigence de s’assurer que l’IA est utilisée correctement et ne cause pas
de préjudice aux individus via du matériel nuisible ou des logiciels malveillants. Pour aider à résoudre ces problèmes épineux, BigCode utilise des licences OpenRail et pour StarCoder en particulier, la licence Code Open RAIL-M. « Nous comprenons que ces modèles sont extrêmement efficaces et nous voulons nous assurer qu’ils sont utilisés pour de bons cas d’utilisation et pas pour les cas d’utilisation qui auront de mauvaises implications « , a déclaré De Vries. La licence Code Open RAIL-M permet aux utilisateurs de voir le code à l’intérieur de la conception avec des limitations prévues pour éviter que le code ne soit utilisé à mauvais escient, comme l’utiliser pour produire un ransomware ou une attaque d’ingénierie sociale. « C’est totalement ouvert comme une licence open source « , a déclaré De Vries. « Cela vient simplement avec les limites qui garantissent que nous respectons nos principes d’IA responsables. » L’objectif de VentureBeat est d’être une place publique numérique permettant aux décideurs techniques d’acquérir des connaissances sur l’innovation d’entreprise transformatrice et d’effectuer des transactions. Découvrez nos aperçus..
Toute l’actualité en temps réel, est sur L’Entrepreneur
