Tester les limites de l’IA générative

Pour tirer le meilleur parti des outils d’IA générative (GenAI) comme GitHub Copilot ou ChatGPT, le créateur de Datasette, Simon Willison, affirme que vous devez être prêt à accepter quatre points de vue contradictoires. En particulier, l’IA n’est ni notre salut ni notre perte, ni un battage médiatique vide de sens ni une option pour quoi que ce soit. Ce n’est rien de tout cela et tout cela à la fois. Comme le dit Willison : « Ce qui est fou, c’est que toutes ces [alternatives] sont les meilleures ! »

Peut-être. Tout dépend de la manière dont vous utilisez les outils genAI et de ce que vous prévoyez. Si vous attendez d’un assistant de génération de code comme AWS CodeWhisperer qu’il produise un code parfait que vous pouvez accepter et utiliser en gros sans modification, vous allez être déçu. Mais si vous utilisez ces outils pour compléter vos compétences de concepteur, eh bien, vous pourriez tout simplement avoir une surprise très favorable.

« Paranoid Android »

Le problème est que beaucoup des entreprises ont effectivement adhéré au battage médiatique et s’attendent à ce que GenAI soit un remède magique à leurs problèmes. Comme le souligne Stan Aronow, analyste chez Gartner, une récente enquête de Gartner a révélé que « près de 70 % des magnats pensent que les avantages [de GenAI] l’emportent sur les dangers, malgré une compréhension limitée de l’applicabilité précise de l’IA générative et des menaces ». Si votre stratégie commerciale se résume à : « Ça avait l’air cool sur Twitter », votre méthode devrait vous faire du mal.

En parlant de grands modèles de langage (LLM), Willison déclare « Il semble qu’il y a trois ans, des extraterrestres sont apparus sur Terre, nous ont donné une clé USB sur cette chose, puis sont partis. Et depuis, nous l’avons fouillé et essayé de découvrir ce qu’il peut faire. » Nous savons que c’est nécessaire et nous pouvons relever certaines des limites de ce que l’IA, normalement, et les LLM en particulier, peuvent faire, mais nous sommes encore en mode expérimental.

Le problème (et opportunité) des LLM, poursuit Willison, est que « vous obtenez très rarement ce que vous avez vraiment demandé ». D’où l’arrivée d’une ingénierie rapide alors que nous cherchons des moyens pour que les LLM produisent plus de ce que nous désirons et moins de ce que nous ne voulons pas. « Périodiquement, quelqu’un découvrira que si vous utilisez cette petite technique, de manière inattendue, toute une nouvelle voie de capacités s’ouvre », garde-t-il à l’esprit.

Nous recherchons tous actuellement cette « une petite astuce,  » ce qui m’amène à la programmation.

Tout ce qui est à l’endroit idéal

Certains recommandent que les assistants de codage soient un gros atout pour les concepteurs non qualifiés. Cela pourrait devenir vrai, mais ce n’est pas réel aujourd’hui. Pourquoi? Il n’existe pas d’autre moyen de s’appuyer efficacement sur les résultats d’un LLM sans avoir suffisamment d’expérience pour évaluer ses résultats. Willison dit : « En tirer les meilleurs résultats nécessite en fait tout un tas de connaissances et d’expérience. Cela se résume en grande partie à l’instinct. »

Il existe du codage des hacks que les concepteurs découvriront grâce à l’expérimentation, mais d’autres domaines ne conviennent tout simplement pas à GenAI pour le moment. Mike Loukides d’O’Reilly Media écrit : « Nous ne pouvons pas être si liés à la génération de code automatisée que nous oublions le contrôle de la complexité. » Les humains, bien qu’imparfaits pour limiter la complexité de leur code, sont mieux placés que les machines pour le faire. Un concepteur ne peut pas vraiment déclencher un LLM pour réduire la complexité de son code car ce que cela indiquerait n’est pas clair. Réduire les lignes de code ? « Réduire les lignes de code conduit parfois à la simplicité, mais conduit tout aussi souvent à des incantations complexes qui chargent plusieurs idées sur la même ligne, s’appuyant généralement sur des effets indésirables non documentés », déclare Loukides. Les ordinateurs ne se soucient pas de la complexité du code, mais les personnes qui auront besoin de le déboguer et de le comprendre des années plus tard s’en soucient.

Tout va bien. Nous sommes extrêmement tôt dans le développement de l’IA, indépendamment du fait qu’elle existe depuis des décennies. Dans la technologie, nous aimons prendre de l’avance. Nous agissons comme si le cloud était une norme établie alors qu’il ne représente encore que 10 ou deux % de tous les coûts informatiques. Malgré le flot d’investissements dans l’IA, ce chiffre n’atteint même pas 0,01 %.

Selon Willison, le moment est venu d’évaluer les différents LLM et leurs outils de codage associés. Notre objectif ne devrait pas être de voir lequel fera tout notre travail à notre place, mais plutôt de trouver ses forces et ses faiblesses et de les sonder et de les inciter jusqu’à ce que nous sachions comment utiliser leurs forces et leurs échecs pour notre avantage.