Ce que la puce conçue par l’IA de Google nous dit sur la nature de l’intelligence

Dans un article publié dans la revue scientifique à comité de lecture Nature la semaine dernière, les scientifiques de Google Brain ont présenté une méthode d’apprentissage par renforcement en profondeur pour la planification d’étage, le processus d’organiser le positionnement des différentes parties des puces du système informatique.

Les chercheurs ont réussi à utiliser la stratégie d’apprentissage par renforcement pour créer la prochaine génération d’unités de traitement tenseur, les processeurs de systèmes experts spécialisés de Google.

L’utilisation d’applications logicielles de type puce n’est pas nouvelle. Selon les chercheurs de Google, la toute nouvelle conception de recherche de renforcement « crée immédiatement des plans d’étage de puces supérieurs ou comparables à ceux produits par les gens dans toutes les mesures clés, notamment la consommation d’énergie, les performances et la surface de la puce ». Et il le fait dans une partie du temps qu’il faudrait à un humain pour le faire.

La suprématie de l’IA sur la performance humaine a attiré beaucoup d’attention. Un média l’a décrit comme « un logiciel d’intelligence artificielle capable de développer des puces informatiques beaucoup plus rapidement que les êtres humains » et a écrit qu' »une puce qui prendrait des mois à être conçue peut être imaginée par la toute nouvelle IA [de Google] en moins de 6 heures. »

Un autre point de vente a composé : « Le cycle vertueux du développement de puces d’IA pour l’IA semble ne faire que commencer. »

En consultant le document, ce qui m’a étonné, c’est pas la complexité du système d’IA utilisé pour développer des puces informatiques, mais les synergies entre l’intelligence humaine et synthétique.

Analogies, intuitions, et avantages

Le document décrit le problème comme tel : « La planification des étages de puces comprend la mise en place de listes d’interconnexions sur des toiles de puces (grilles bidimensionnelles) afin que les mesures d’efficacité (par exemple, la puissance nsumption, timing, location et wirelength) sont améliorés, tout en respectant des contraintes difficiles sur la densité et la congestion du routage. »

Fondamentalement, ce que vous souhaitez faire est de positionner les éléments de la manière la plus optimale. Cependant, comme pour tout autre problème, à mesure que le nombre de pièces dans une puce augmente, il devient plus difficile de trouver des conceptions idéales.

Les logiciels existants aident à accélérer le processus de découverte des arrangements de puces, mais ils échouent lorsque le puce cible se développe dans la complexité. Les chercheurs ont décidé de tirer l’expérience de la méthode d’apprentissage par renforcement qui a en fait résolu d’autres problèmes d’espace compliqués, tels que le jeu vidéo Go.

« La planification du sol par puce est comparable [c’est moi qui souligne] à un jeu avec des pièces variables (par exemple, des topologies de netlist, des nombres de macros, des tailles de macro et des ratios d’aspect), des tableaux (des tailles de canevas et des ratios d’aspect variables) et des conditions de gain (importance relative des différentes métriques d’examen ou différentes restrictions de densité et de congestion de routage),  » composèrent les scientifiques.

C’est la manifestation de l’un des éléments les plus importants et les plus compliqués de l’intelligence humaine : l’exemple. Nous, les humains, pouvons extraire des abstractions d’un problème que nous résolvons, puis appliquer ces abstractions à un nouveau problème. Bien que nous prenions ces capacités pour approuvées, ce sont elles qui nous rendent excellents dans la connaissance des transferts. C’est pourquoi les scientifiques pourraient recadrer le problème de la planification de l’étage des puces comme un jeu de société et pourraient l’aborder de la même manière que d’autres scientifiques avaient corrigé le jeu vidéo de Go.

La découverte de conceptions par renforcement profond peut être particulièrement bonne à la recherche d’espaces immenses, un exploit qui est physiquement impossible avec la puissance de calcul du cerveau. Mais les scientifiques ont été confrontés à un problème d’ordres de grandeur plus complexes que Go. » [L’] espace d’état consistant à placer 1 000 clusters de nœuds sur une grille de 1 000 cellules est de l’ordre de 1 000 ! (supérieur à 102 500), alors que Go a une zone d’état de 10360″, ont écrit les chercheurs. Les puces qu’ils souhaitaient développer seraient composées de millions de nœuds.

Ils ont résolu le problème de complexité avec un réseau neuronal synthétique qui pouvait coder les styles de puces en tant que représentations vectorielles et facilitait grandement la vérification du espace problème. Selon le journal, « Notre instinct [c’est moi qui souligne] était qu’une politique capable de la tâche générale de placement de puces devrait également avoir la capacité d’encoder l’état lié à une toute nouvelle puce cachée dans un signal significatif au moment du raisonnement. Nous avons donc formé une architecture de réseau de neurones efficace pour anticiper la récompense sur les positionnements de nouvelles netlists, avec l’objectif ultime d’utiliser cette architecture comme couche d’encodeur de notre politique. »

Le terme l’intuition est souvent utilisée de manière lâche. C’est une procédure très complexe et peu comprise qui comprend l’expérience, la compréhension inconsciente, la reconnaissance des modèles, etc. Nos intuitions proviennent d’années d’activité dans un domaine, mais elles peuvent également être acquises à partir d’expériences dans d’autres domaines. Heureusement, mettre ces instincts à l’épreuve devient plus facile à l’aide d’outils de calcul et d’apprentissage automatique de haute puissance.

Il convient également de noter que les systèmes d’apprentissage de soutien nécessitent une récompense bien conçue. En réalité, certains chercheurs pensent qu’avec la fonction de meilleur bénéfice, l’apprentissage d’aide est suffisant pour atteindre l’intelligence artificielle générale. Sans la bonne récompense, néanmoins, un agent RL peut se retrouver coincé dans des boucles sans fin, faisant des choses stupides et inutiles. Dans la vidéo suivante, un agent RL jouant à Coast Runners tente d’optimiser ses points et abandonne l’objectif principal, qui est de gagner la course.

Les chercheurs de Google ont développé la récompense pour le système de planification d’étage en tant que « quantité négative pondérée de longueur de fil proxy, de blocage et de densité ». Les poids sont des hyperparamètres qu’ils devaient ajuster au cours de l’avancement et de l’entraînement du modèle de découverte de renforcement.

Avec la bonne récompense, la conception de découverte de renforcement a pu bénéficier de sa puissance de calcul et découvrir toutes sortes de moyens pour concevoir des plans d’étage qui tirent pleinement parti de la récompense.

Ensembles de données organisés

Le réseau neuronal profond utilisé dans le système a été établi à l’aide d’un apprentissage supervisé. L’intelligence artificielle surveillée nécessite des données identifiées pour modifier les spécifications du modèle tout au long de la formation. Les scientifiques de Google ont développé « un ensemble de données de 10 000 positionnements de puces où l’entrée est l’état lié à un positionnement fourni et l’étiquette est l’avantage pour ce placement. »

Pour éviter de développer à la main chaque plan d’étage, les chercheurs ont utilisé un mélange de plans conçus par l’homme et d’informations générées par ordinateur. Il y a très peu d’informations dans l’article sur l’effort humain associé à l’examen des exemples générés par l’algorithme inclus dans l’ensemble de données d’entraînement. Sans données d’entraînement de qualité, les conceptions de connaissances supervisées finiront par faire de mauvais raisonnements.

En ce sens, le système d’IA est différent d’autres programmes d’apprentissage de soutien tels qu’AlphaZero, qui a établi sa politique de jeu sans l’exigence. pour l’apport humain. À l’avenir, les chercheurs pourraient établir un représentant RL qui peut concevoir ses propres plans d’étage sans avoir besoin de parties d’apprentissage surveillées. Je suppose que, compte tenu de la complexité du problème, il y a de fortes chances que la résolution de tels problèmes continue de nécessiter un mélange d’intuition humaine, d’apprentissage des appareils et de calcul haute performance.

Conception d’apprentissage par renforcement vs conception humaine

Parmi les éléments fascinants du travail présenté par les chercheurs de Google se trouve la conception des puces. Nous, les humains, utilisons toutes sortes de moyens plus rapides pour nous débarrasser des limites de notre cerveau. Nous ne pouvons pas résoudre des problèmes compliqués d’un seul tenant. Mais nous pouvons créer des systèmes modulaires et hiérarchiques pour diviser et dominer la complexité. Notre capacité à penser et à créer des architectures descendantes a joué un grand rôle dans l’établissement de systèmes capables d’effectuer des tâches extrêmement complexes.

Je vais donner un exemple d’ingénierie d’applications logicielles, mon propre lieu de compétence. En théorie, vous pouvez composer des programmes entiers dans un grand flux contigu de commandes dans un seul fichier. Les développeurs de logiciels n’écrivent jamais leurs programmes avec cette méthode. Nous produisons des applications logicielles en petits morceaux, fonctions, classes, modules, qui peuvent interagir les uns avec les autres via des interfaces utilisateur bien définies. Nous imbriquons ensuite ces pièces dans des pièces plus grandes et développons lentement une hiérarchie de pièces. Vous n’avez pas besoin de vérifier chaque ligne d’un programme pour comprendre ce qu’il fait. La modularité permet à plusieurs développeurs de gérer un seul programme et un certain nombre de programmes pour recycler des composants précédemment construits. Parfois, il suffit de jeter un œil à l’architecture de classe d’un programme pour vous orienter dans la bonne direction pour localiser un bogue ou découvrir le bon emplacement pour inclure une mise à niveau. Nous échangeons généralement la vitesse contre la modularité et une meilleure conception.

D’une certaine manière, on peut voir exactement la même chose dans la conception des puces informatiques. Les puces conçues par l’homme ont tendance à avoir des frontières froides entre les différents modules. D’autre part, les plans d’étage développés par l’agent connaissant le support de Google ont trouvé le moins de chemin de résistance, malgré l’apparence de la disposition (voir la photo ci-dessous).

Je suis intéressé de voir si cela deviendra une conception de conception durable à l’avenir ou si elle nécessitera un certain type de compromis entre des conceptions produites par apprentissage automatique hautement optimisées et l’ordre descendant imposé par les ingénieurs humains.

intelligence humaine IA

Comme les programmes de conception de puces alimentés par la connaissance du renforcement de Google, les innovations dans le matériel et les logiciels d’IA continueront de nécessiter une réflexion abstraite, la découverte des problèmes idéaux à résoudre, le développement d’intuitions sur les solutions et la sélection du bon type de données à valider les options. C’est le genre de compétences que de meilleures puces d’IA peuvent améliorer mais pas remplacer.

En fin de compte, je ne vois pas cela comme une histoire de « l’IA surpassant les humains », « l’IA développant une IA plus intelligente » ou l’IA établissant des capacités « d’auto-amélioration récursive ». C’est plutôt un symptôme de la découverte par les humains de méthodes pour utiliser l’IA comme accessoire pour vaincre leurs propres limites cognitives et étendre leurs capacités. S’il y a un cercle vertueux, c’est celui où l’IA et les humains trouvent de bien meilleures méthodes pour s’y conformer.