C’est la nouvelle technologie qui évolue le plus rapidement dans l’histoire. L’IA générative change le monde, en modifiant la méthode avec laquelle nous créons des images et des vidéos, de l’audio, du texte et du code.
Selon une étude réalisée en septembre auprès de décideurs informatiques par Chez Dell, 76 % des personnes interrogées déclarent que la génération IA aura un effet « significatif, voire transformateur » sur leur organisation, et beaucoup d’entre eux s’attendent à voir des résultats significatifs au cours des 12 prochains mois.
Un grand modèle linguistique (LLM ) est un type d’IA de génération qui se concentre sur le texte et le code plutôt que sur les images ou l’audio, bien que certains aient commencé à incorporer des modalités différentes. Les LLM les plus populaires de l’entreprise aujourd’hui sont ChatGPT et d’autres conceptions OpenAI GPT, Claude d’Anthropic, Llama 2 de Meta et Falcon, une version open source de l’Innovation Institute d’Abu Dhabi mieux connue pour sa prise en charge de langues autres que l’anglais. /p>
Il existe plusieurs façons pour les entreprises de déployer des LLM, par exemple en donnant aux membres du personnel l’accès à des applications publiques, en utilisant une ingénierie et des API en temps opportun pour intégrer des LLM dans des logiciels existants, en utilisant des bases de données vectorielles pour améliorer la précision et la pertinence, en peaufinant les conceptions existantes ou en créant des LLM. leur propre.
Déploiement de LLM publics
Dig Security est une société israélienne de sécurité des informations dans le cloud, et ses ingénieurs utilisent ChatGPT pour écrire du code. « Chaque ingénieur utilise des éléments pour l’aider à composer du code plus rapidement », déclare le PDG Dan Benjamin. Et ChatGPT est l’un des tout premiers et des plus pratiques assistants de codage. Il y a un problème : vous ne pouvez jamais être sûr que les détails que vous téléchargez ne seront pas utilisés pour entraîner la prochaine génération du modèle. Dig Security aborde cette possibilité de 2 manières. L’entreprise utilise une entrée sûre et sécurisée pour examiner quelles informations sont téléchargées.
« Nos employés comprennent qu’ils ne peuvent rien publier de sensible », déclare Benjamin. « C’est bloqué. »
Deuxièmement, l’entreprise oriente ses ingénieurs vers une variante de ChatGPT fonctionnant sur un cloud Azure personnel. Cela signifie que Dig Security dispose de ses propres circonstances autonomes de ChatGPT. Même avec cette technique de sécurité avec ceinture et bretelles, ce n’est pas une solution parfaite, déclare Benjamin. « Il n’existe pas de service parfait. Toute organisation qui croit qu’il existe un se trompe elle-même. »
Quelqu’un peut utiliser un VPN ou un ordinateur personnel et accéder à la version publique de ChatGPT. C’est là qu’intervient un autre niveau d’atténuation des dangers.
« Tout est question de formation des travailleurs », dit-il, « et de s’assurer qu’ils comprennent ce qu’ils doivent faire et qu’ils sont bien formés à la sécurité de l’information. . »
Dig Security n’est pas seul.
Skyhigh Security en Californie affirme que près d’un million d’utilisateurs finaux ont accédé à ChatGPT via les installations de l’entreprise tout au long du tout premier semestre 2023, avec un volume Le nombre d’utilisateurs a augmenté de 1 500 % entre janvier et juin, déclare Tracy Holden, directrice du marketing commercial de Skyhigh.
Et dans un rapport de juillet de Netskope Threat Labs, le code source est publié sur ChatGPT plus que tout autre type. de données sensibles à un taux de 158 incidents pour 10 000 utilisateurs d’entreprise chaque mois.
Plus récemment, les entreprises ont bénéficié d’alternatives plus sécurisées et plus conviviales, comme Microsoft Copilot, qui intègre la facilité d’utilisation avec des fonctionnalités supplémentaires. contrôles et défenses. Et lors de l’OpenAI DevDay début novembre, le PDG Sam Altman a déclaré qu’il y avait désormais 100 millions d’utilisateurs actifs utilisant le chatbot ChatGPT de l’entreprise, deux millions de développeurs utilisant son API et plus de 92 % des entreprises du Fortune 500 construisaient sur la plateforme OpenAI. .
Bases de données vectorielles et RAG
Pour la plupart des entreprises souhaitant personnaliser leurs LLM, la génération augmentée par récupération (RAG) est la voie à suivre. Si quelqu’un parle d’intégrations ou de bases de données vectorielles, c’est généralement ce qu’il indique. La méthode de fonctionnement consiste à ce qu’un utilisateur pose une question sur, par exemple, une politique ou un élément commercial. Cette question n’est pas posée immédiatement au LLM. Au lieu de cela, il est traité. L’utilisateur peut-il accéder à ces informations ? Si l’accès aux droits existe, alors toutes les informations éventuellement pertinentes sont récupérées, généralement à partir d’une base de données vectorielles. Ensuite, la préoccupation et les détails pertinents sont envoyés au LLM et intégrés dans une invite optimisée qui peut également spécifier le format préféré de la réponse et le ton de voix que le LLM doit utiliser.
Une base de données vectorielle est une manière d’organiser les informations dans une série de listes, chacune classée selon une qualité différente. Vous pouvez avoir une liste alphabétique, et plus vos actions sont classées par ordre alphabétique, plus elles sont pertinentes.
Une liste alphabétique est une base de données vectorielles unidimensionnelle, mais les bases de données vectorielles peuvent avoir un nombre illimité. de dimensions, vous permettant de rechercher des réponses associées en fonction de leur distance par rapport à toute variété d’aspects. Il est donc préférable de les utiliser en conjonction avec les LLM.
« À l’heure actuelle, nous convertissons tout en une base de données vectorielle », déclare Ellie Fields, directrice des produits et de l’ingénierie chez Salesloft, un fournisseur de plateforme d’engagement commercial. . « Et oui, ils fonctionnent. »
Et c’est plus fiable que d’utiliser des documents de base pour fournir du contexte aux requêtes LLM, dit-elle.
L’entreprise utilise principalement ChromaDB, un logiciel ouvert. -boutique de vecteurs source, dont l’utilisation principale est pour les LLM. Une autre base de données vectorielles utilisée par SalesLoft est Pgvector, une extension de recherche de similarité vectorielle pour la base de données PostgreSQL.
« Mais nous avons également mené des recherches en utilisant FAISS et Pinecone », dit-elle. FAISS, ou Facebook AI Resemblance Browse, est une bibliothèque open source proposée par Meta qui prend en charge les recherches de similarité dans les fichiers multimédias.
Pinecone est une base de données vectorielles exclusive basée sur le cloud qui est également devenue populaire auprès des concepteurs, et son niveau totalement gratuit prend en charge jusqu’à 100 000 vecteurs. Dès que les informations appropriées sont obtenues à partir de la base de données vectorielles et intégrées dans une invite, la demande est envoyée à OpenAI exécuté dans une instance personnelle sur Microsoft Azure.
« Nous avons fait certifier Azure en tant que nouveau sous- processeur sur notre plateforme », déclare Fields. « Nous informons toujours nos clients lorsque nous disposons d’un tout nouveau processeur pour leurs informations. »
Salesloft travaille également avec Google et IBM et travaille sur une performance d’IA de génération qui utilise également ces plates-formes.
p>
« Nous traiterons absolument avec différents prestataires de services et avec différentes conceptions », dit-elle. « Les choses changent de semaine en semaine. Si vous n’examinez pas différents modèles, vous échouez. » RAG permet aux entreprises de séparer leurs informations exclusives du modèle lui-même, ce qui facilite grandement l’échange de conceptions à mesure que de meilleures conceptions sont publiées. De plus, la base de données vectorielles peut être mise à jour, même en temps réel, sans qu’il soit nécessaire d’affiner ou de réentraîner la conception.
« Nous avons modifié les conceptions d’OpenAI. à OpenAI sur Azure », déclare Fields. « Et nous avons en fait basculé entre différents modèles OpenAI. Nous pouvons même prendre en charge différents modèles pour différentes parties de notre clientèle. »
Parfois, différentes conceptions ont des API différentes, ajoute-t-elle. « Ce n’est pas mineur », affirme-t-elle. Mais changer de modèle reste plus facile que se recycler. « Nous n’avons pas encore découvert de cas d’utilisation qui serait bien mieux servi par un réglage fin plutôt que par une base de données vectorielle », ajoute Fields. « Je pense qu’il existe des cas d’utilisation, mais jusqu’à présent, nous n’en avons pas découvert un qui fonctionne beaucoup mieux. »
Parmi les premières applications des LLM présentées par SalesLoft, il y avait l’ajout d’une fonction qui permet aux clients créer un e-mail de vente à un prospect. « Les consommateurs prenaient beaucoup de temps pour rédiger ces e-mails », déclare Fields. « C’était difficile de démarrer, et il y a beaucoup de blocage de l’écrivain. » Ainsi, les consommateurs peuvent désormais définir le personnage cible, leur proposition intéressante et l’appel à l’action, et ils reçoivent en retour 3 brouillons d’e-mails différents qu’ils peuvent personnaliser. SalesLoft utilise GPT 3.5 d’OpenAI pour rédiger l’e-mail, explique Fields.
Exécutez localement des modèles open source
Ikigai Labs, basé à Boston, propose une plate-forme qui permet aux entreprises de développer de grandes conceptions visuelles personnalisées. , ou des conceptions d’IA créées pour traiter des données structurées. Pour rendre l’interface plus facile à utiliser, Ikigai alimente son front-end avec des LLM. L’entreprise utilise la version à 7 milliards de paramètres du LLM open source Falcon et l’exécute dans son propre environnement pour certains de ses clients.
Pour alimenter les détails du LLM, Ikigai utilise une base de données vectorielles, également exécutée localement. Il est développé sur l’algorithme Border Forest, explique Devavrat Shah, co-fondateur et co-PDG.
« Au MIT, il y a quatre ans, certains de mes étudiants et moi avons exploré une tonne de bases de données vectorielles », déclare Shah, qui est également professeur d’IA au MIT. « Je savais que ce serait utile, mais pas à ce point. »
Le fait de conserver à la fois la conception et la base de données vectorielles au niveau régional signifie qu’aucune information ne peut être divulguée à des tiers, déclare-t-il. « Pour les clients qui acceptent d’envoyer des demandes à d’autres, nous utilisons OpenAI », explique Shah. « Nous sommes agnostiques en LLM. »
PricewaterhouseCoopers, qui a construit son propre outil ChatPWC, est également agnostique en LLM. « ChatPWC rend nos partenaires plus compétents », déclare Bret Greenstein, partenaire de l’entreprise et responsable de la stratégie de commercialisation de la génération IA. Il se compose d’invites prédéfinies pour créer des descriptions de tâches. « Il contient tous mes formats, modèles et termes », dit-il. « Nous disposons de professionnels des ressources humaines, de l’information et de la rapidité, et nous concevons quelque chose qui génère d’excellents messages de tâches. Désormais, personne n’a besoin de comprendre comment effectuer le remarquable déclenchement qui génère des descriptions de poste. »
L’outil est développé sur le dessus. de Microsoft Azure, mais l’entreprise l’a également construit pour Google Cloud Platform et AWS. « Nous devons servir nos clients, et ils existent sur chaque cloud », déclare Greenstein. Il est optimisé pour utiliser différents modèles en back-end, car c’est ce que les clients souhaitent. « Nous faisons en sorte que chaque conception fonctionne », ajoute-t-il. « Llama 2, Falcon… nous avons tout. »
Le marché évolue rapidement, évidemment, et Greenstein recommande aux entreprises d’adopter une politique « sans regrets » pour leurs implémentations d’IA.
« Les gens peuvent faire beaucoup de choses », déclare-t-il, « comme créer leurs données indépendamment des conceptions et renforcer la gouvernance. » Ensuite, lorsque le marché changera et qu’un tout nouveau modèle sortira, la structure des données et de la gouvernance sera toujours pertinente.
La mise au point
La direction s’est entretenue avec la société AArete. modèle open source GPT 2 et l’a affiné par lui-même. « C’était léger », explique Priya Iragavarapu, vice-présidente des services de technologie numérique de l’entreprise. « Nous voulions un modèle open source capable de le prendre et de le publier en interne dans notre environnement. »
Si AArete utilisait une conception hébergée et s’y connectait via une API, des problèmes de confiance apparaissaient. « Nous nous inquiétons de la destination des données issues du déclenchement », déclare-t-elle. « Nous ne voulons pas accepter ces menaces. »
Lorsqu’elle choisit une conception open source, elle examine le nombre de fois qu’elle a été précédemment téléchargée, son assistance locale et sa configuration matérielle requise.
« Le modèle fondamental doit également avoir une certaine signification pour la tâche », dit-elle. « Il existe certains modèles pour des tâches particulières. Par exemple, j’ai récemment jeté un coup d’œil à un modèle Hugging Face qui analyse le contenu des fichiers PDF dans un format structuré. »
De nombreuses entreprises du monde financier et du monde Le secteur des soins de santé peaufine les LLM en fonction de leurs propres ensembles de données supplémentaires.
« Les LLM standards sont formés sur l’ensemble du Web », dit-elle. Avec un réglage fin, une entreprise peut produire une conception spécifiquement ciblée sur le cas d’utilisation de son organisation.
Une méthode courante pour y parvenir consiste à produire une liste de questions et de réponses et à affiner une conception sur celles-ci. OpenAI a commencé à permettre le réglage fin de son modèle GPT 3.5 en août, à l’aide d’une technique d’assurance qualité, et a déployé une toute nouvelle suite de réglages fins, de personnalisation et d’alternatives RAG pour GPT 4 lors de son DevDay de novembre.
Ceci est particulièrement utile pour les applications de support client et d’assistance, où une entreprise peut déjà disposer d’une banque de données de questions fréquemment posées.
Dans l’enquête Dell, 21 % des entreprises préfèrent recycler les conceptions existantes, en utilisant leurs propres informations dans leur propre environnement.
« L’alternative la plus populaire semble être Llama 2 », déclare Andy Thurai, vice-président et analyste principal chez Constellation Research Inc. Llama 2 est disponible en 3 tailles différentes et est gratuit pour les entreprises comptant moins de 700 millions d’utilisateurs mensuels. Les entreprises peuvent l’ajuster sur leurs propres ensembles de données et disposer relativement rapidement d’un nouveau modèle personnalisé, déclare-t-il. Le classement Hugging Face LLM est actuellement dominé par divers réglages et personnalisations de Llama 2. Avant Llama 2, Falcon était le LLM open source le plus populaire, ajoute-t-il. « C’est une course aux armements aujourd’hui. » Un réglage fin peut créer une conception plus précise pour les cas d’utilisation particuliers de l’entreprise, déclare-t-il. « Si vous utilisez une conception Llama généralisée, la précision peut être faible. »
Et il y a certains avantages à modifier par rapport à l’intégration RAG. Avec l’intégration, une entreprise doit effectuer une recherche dans une base de données vectorielles pour chaque question. « Et vous avez l’application de la base de données », déclare Thurai. « Cela ne va pas non plus être simple. »
Il n’y a pas non plus de limites de fenêtre contextuelle pour les réglages fins. Avec l’intégration, il y a tellement d’informations qui peuvent être ajoutées en temps opportun. Si une entreprise apporte des modifications, elle ne le fera pas fréquemment, simplement lorsqu’une version considérablement améliorée du modèle d’IA de base est lancée.
Si une entreprise dispose d’un ensemble de données qui évolue rapidement, un réglage précis peut être utilisé en combinaison avec l’intégration. « Vous pouvez d’abord le modifier, puis effectuer des RAG pour les mises à jour incrémentielles », explique-t-il.
Rowan Curran, expert de l’étude Forrester Research, s’attend à voir un grand nombre de modèles affinés et spécifiques à un domaine. se développera au cours de l’année prochaine environ, et les entreprises peuvent également élaborer des conceptions pour les rendre plus efficaces dans des tâches particulières. Seule une petite minorité d’entreprises – 10 % ou moins – le feront, déclare-t-il.
Les entreprises d’applications logicielles qui créent des applications telles que des applications SaaS peuvent utiliser des réglages approfondis, déclare Greenstein de PricewaterhouseCoopers. « Si vous disposez d’un modèle hautement reproductible, un réglage fin peut réduire vos dépenses », dit-il, mais pour les implémentations en entreprise, RAG est plus efficace dans 90 à 95 % des cas.
« Nous sommes en train de vérifier les conceptions de mise au point pour des secteurs verticaux spécifiques », explique Sébastien Paquet, vice-président du ML chez Coveo, une entreprise canadienne de recherche et de recommandations d’entreprise. « Nous avons des secteurs verticaux spécialisés avec un vocabulaire spécialisé, comme le secteur médical. Les entreprises vendant des pièces de camion ont leur propre méthode d’appel des pièces. »
Pour l’instant, cependant, l’entreprise utilise GPT 3.5 et GPT 4 d’OpenAI fonctionnant sur un cloud Azure personnel, avec les appels d’API LLM. isolé afin que Coveo puisse passer à différentes conceptions si nécessaire. Il utilise également certains LLM open source de Hugging Face pour des cas d’utilisation spécifiques.
Construire un LLM à partir de zéro
Quelques entreprises sont vont créer leur propre LLM à partir de zéro. Après tout, ils sont, par définition, assez gros. Le GPT 3 d’OpenAI contient 175 milliards de paramètres et a été formé sur un ensemble de données de 45 téraoctets et a coûté 4,6 millions de dollars à former. Et selon le PDG d’OpenAI Sam Altman, GPT 4 a coûté plus de 100 millions de dollars.
C’est cette taille qui confère aux LLM leur magie et leur capacité à traiter le langage humain, avec un degré particulier de bon sens, ainsi que la capacité de suivre des instructions.
« Vous ne pouvez pas simplement entraîner vos données à partir de vos propres données », explique Carm Taglienti, ingénieur différencié chez Insight. « La formation sur des dizaines de millions de spécifications apporte de la valeur. »
Aujourd’hui, presque tous les LLM proviennent d’énormes hyperscalers ou de start-ups axées sur l’IA comme OpenAI et Anthropic.
Même les entreprises possédant une vaste expérience dans la construction de leurs propres modèles évitent de produire leurs propres LLM.
Salesloft, par exemple, construit en fait ses propres conceptions d’IA et d’apprentissage automatique depuis des années, y compris des conceptions d’IA de génération utilisant technologies antérieures, il est cependant réticent à développer une toute nouvelle conception de structure avancée à partir de zéro.
« C’est une étape informatique massive que, du moins à ce stade, je ne nous vois pas commencer », déclare Champs.
.
Toute l’actualité en temps réel, est sur L’Entrepreneur