Stability AI est peut-être mieux connu pour sa suite de conceptions d’IA génératives texte-image à diffusion constante, mais ce n’est plus tout ce que fait l’entreprise.
Aujourd’hui, Stability AI a lancé sa dernière conception. , StableLM Zephyr 3B, qui est un grand langage de conception (LLM) de 3 milliards de critères pour les cas d’utilisation de chat, comprenant la génération de texte, la synthèse et la personnalisation du contenu. Le nouveau modèle est une version plus petite et optimisée du modèle de génération de texte StableLM dont Stability AI a commencé à parler en avril.
La garantie du StableLM Breeze 3B est qu’il est plus petit que les 7 milliards de modèles StableLM, ce qui offre une série d’avantages. Sa taille réduite permet une sortie sur une plus grande variété de matériels, avec une empreinte en ressources moindre tout en offrant des réponses rapides. La conception a en fait été améliorée pour les questions et réponses et les instructions suivant les types de tâches.
« StableLM a été formé plus longtemps sur des informations de bien meilleure qualité que les modèles précédents, par exemple avec deux fois plus de variété de jetons que LLaMA v2 7b. auquel il correspond sur les performances de base, même s’il représente 40 % de la taille », a déclaré à VentureBeat Emad Mostaque, PDG de Stability AI.
Événement VB
Le voyage d’impact de l’IA
Entrez en contact avec la communauté de l’IA d’entreprise lors du AI Impact Tour de VentureBeat qui se déroulera dans une ville près de chez vous !
En savoir plus Quoi
le StableLM
Zephyr 3B est tout au sujet de StableLM Zephyr 3B n’est pas une conception entièrement nouvelle, mais plutôt Stability AI le définit comme un extension de la conception StableLM 3B-4e1t préexistante. Zephyr a une technique de conception qui, selon Stability AI, est influencée par la conception Breeze 7B de HuggingFace. Les conceptions HuggingFace Zephyr sont développées sous la licence open source MIT et sont développées pour servir d’assistants. Zephyr utilise une technique de formation connue sous le nom d’optimisation directe des préférences (DPO) dont bénéficie désormais StableLM. Mostaque a expliqué que l’optimisation du choix direct (DPO) est une technique alternative à la connaissance du renforcement utilisée dans les conceptions antérieures pour les adapter aux préférences humaines. DPO a normalement été utilisé avec des modèles de spécifications plus grands de 7 milliards, StableLM Zephyr étant parmi les tout premiers à utiliser la stratégie avec une taille de spécification plus petite de 3 milliards. Stability AI a utilisé DPO avec l’ensemble de données UltraFeedback du groupe d’étude de recherche OpenBMB.
UltraFeedback contient plus de 64 000 invites et 256 000 réponses dans son ensemble de données. La combinaison du DPO, de la taille plus petite et de l’ensemble de formation de données amélioré fournit à StableLM une solide efficacité dans les métriques fournies par Stability AI. Lors de l’évaluation MT Bench, par exemple, le StableLM Breeze 3B a pu dépasser les modèles plus gros, notamment le Llama-2-70b-chat de Meta et le Claude-V1 d’Anthropric. Une suite croissante de conceptions de Stability AI StableLM Zephyr 3B s’inscrit dans une liste croissante de nouveaux modèles publiés par Stability AI au cours des mois en cours, alors que la startup d’IA générative
continue de développer davantage ses capacités et ses outils. En août, Stability AI a publié StableCode en tant que modèle d’IA génératif pour l’avancement du code d’application. Cette version a été suivie
en septembre avec le lancement de Steady Audio, un nouvel outil de génération de texte en audio. En novembre, la société s’est lancée dans le domaine de la génération vidéo avec un aperçu de Steady Video Diffusion. Bien qu’elle ait été en train de s’élargir à divers domaines, les nouveaux modèles ne suggèrent pas que Stability AI a oublié la base de génération de texte en image. La semaine dernière, Stability AI a publié SDXL Turbo, une variante beaucoup plus rapide de sa conception phare de diffusion stable de texte à image SDXL. Mostaque indique également clairement qu’il y a encore beaucoup de développement à venir de Stability AI. « Nous pensons que des conceptions petites, ouvertes et performantes, adaptées aux propres données des utilisateurs, éclipseront les modèles de base plus grands », a déclaré Mostaque. « Avec la future version complète de nos tout nouveaux modèles StableLM,
nous prévoyons d’égaliser davantage les modèles de langage génératifs. » L’objectif de VentureBeat est d’être une place publique numérique permettant aux décideurs techniques d’acquérir des connaissances sur l’innovation et la négociation d’entreprise transformatrice. Découvrez nos Consignes.
Toute l’actualité en temps réel, est sur L’Entrepreneur
