Alors que l’IA générative devient progressivement un enjeu pour les organisations, la grande préoccupation de nombreuses organisations est de savoir comment faire évoluer son utilisation de manière rentable.
C’est une préoccupation que Robert Nishihara, PDG et co-fondateur d’Anyscale souhaite aborder. Anyscale est le principal fournisseur industriel derrière la structure open source Ray couramment déployée pour la formation et l’inférence d’apprentissage distribué des créateurs. Cette semaine, lors de la conférence Ray qui se déroule les 18 et 19 septembre à San Francisco, Nishihara détaille le succès et la croissance de Ray à ce jour et expose la suite.
Parmi les grandes nouvelles révélées aujourd’hui, il y a la disponibilité de base d’Anyscale Endpoints, qui permet aux organisations de modifier et de publier rapidement des logiciels open source. conceptions de grands langages (LLM). Anyscale révèle également une toute nouvelle collaboration élargie avec Nvidia qui verra le logiciel d’inférence et de formation de Nvidia optimisé pour la plate-forme Anyscale.
« Si vous avez fait un voyage Uber, acheté quelque chose sur Instacart, écouté quelque chose sur Spotify, ou vu Netflix ou TikTok, ou utilisez Chat GPT d’OpenAI, vous communiquez avec des modèles construits avec Ray », a déclaré Nishira à VentureBeat. « En fait, c’est fini. »
Événement
VB Transform 2023 à la demande
Avez-vous manqué une session de VB Transform 2023 ? Inscrivez-vous pour accéder à la bibliothèque à la demande de toutes nos sessions mises en avant.
Inscrivez-vous maintenant Nishihara
a déclaré que dans son
keynote lors de Ray Top, il expliquera comment de nombreux fournisseurs ont été capables de faire évoluer l’IA et de réduire les coûts en même temps. Parmi les indicateurs de réussite qu’il partage, citons le fait qu’Instacart est désormais capable de former des conceptions jusqu’à 12 fois plus rapidement avec 100 fois plus de données que jamais auparavant. Pinterest a eu la capacité de réduire les coûts de 40 % pour ses innombrables conceptions de formation au traitement de l’IA. « J’essaie vraiment de faire valoir que
si vous vous souciez des dépenses et de l’efficacité, Ray est la méthode pour optez pour les LLM et l’IA générative », a-t-il déclaré. De la volière aux points de terminaison Anyscale Du point de vue du produit
, la plate-forme Anyscale est la variante commercialement supportée de Ray fournissant des capacités d’entreprise dont les entreprises dépendent pour faire évoluer et publier tout type de formation à des fins d’inférence. Le tout nouveau service Anyscale Endpoints offre diverses fonctionnalités.
Nishihara a expliqué qu’Anyscale Endpoints est un service qui fournit un accès API aux LLM open source sans qu’une organisation ait besoin de publier ou de gérer les conceptions sur son site. propre. Il a ajouté qu’AnyScale Endpoints permet aux développeurs d’intégrer rapidement des LLM dans leurs produits via une API simple, de la même manière que de nombreuses entreprises utilisent aujourd’hui l’API OpenAI. « Avec AnyScale Endpoints, les consommateurs peuvent interroger des conceptions comme Llama 2 pour obtenir des réponses. « , a déclaré Nishihara.
« AnyScale gère l’exécution et l’optimisation des conceptions en coulisses. » À certains égards, Anyscale Endpoints bénéficie du développement que l’entreprise a terminé avec son travail open source Aviary, qui a débuté en mai. Aviary est une tâche open source permettant d’exécuter des LLM open source sur Ray. Nishihara a gardé à l’esprit que même si Aviary permet aux utilisateurs d’exécuter eux-mêmes des LLM à l’aide du code Python sur Ray, AnyScale Endpoints offre une expérience API plus simple dans laquelle les utilisateurs interrogent simplement les conceptions via l’API sans avoir besoin de publier quoi que ce soit. AnyScale s’occupe de l’exécution et de l’optimisation des modèles en coulisses. Un réglage optimal et des déploiements personnels améliorent l’utilitaire LLM open source. Anyscale permet également un réglage précis des LLM open source comme Llama 2. Avec les LLM, il existe souvent des modèles grands et petits, ce qui coûte généralement plus cher aux organisations
pour utiliser le des dessins plus grands. À ce titre, Nishihara a noté que de nombreuses entreprises cherchent à utiliser des modèles plus petits pour réduire les coûts, mais la difficulté est que ces modèles de plus petite taille ne sont pas toujours aussi performants que les plus grands. Le réglage fin est l’une des façons dont Nishihara a déclaré qu’il voyait les organisations faire fonctionner des modèles plus petits. Grâce à un réglage précis, les entreprises peuvent adapter un modèle pour améliorer l’efficacité et la qualité d’une tâche spécifique. Cela peut aider à créer des conceptions de plus petite taille et plus rentables qui constituent des options pratiques pour les plus grandes
. Pour aller plus loin, lorsqu’il s’agit de formations et de données personnalisées, certaines organisations ne se sentent pas à l’aise avec les LLM librement disponibles. Pour aider à prendre en charge ces utilisateurs, Anyscale lance également un service Private
Endpoints qui permet le déploiement d’Anyscale Endpoints, au sein du propre cloud personnel virtuel (VPC) d’une organisation. Avec Private Endpoints, les informations et les conceptions sensibles des clients ne doivent jamais quitter la propre infrastructure d’une entreprise. Il offre également la possibilité d’adapter et d’optimiser en profondeur la version backend. L’objectif général de Nishihara est de se concentrer sur l’efficacité et de rendre moins coûteux pour les entreprises de traiter avec les LLM. « Nous sommes une société d’infrastructure, l’avantage dont nous disposons est une expertise approfondie dans l’optimisation de l’efficacité et des infrastructures, et « Nous allons faire tout ce que nous pouvons pour vraiment doubler nos efforts et continuer à le rendre plus rapide et moins coûteux », a-t-il déclaré. La mission de VentureBeat est d’être une place publique numérique permettant aux décideurs techniques d’acquérir une compréhension de la technologie commerciale transformatrice et d’effectuer des transactions. Découvrez nos Consignes..
Toute l’actualité en temps réel, est sur L’Entrepreneur