Le sombre secret au cœur de l'IA

L'année dernière, une étrange voiture autonome a été lancée sur les routes tranquilles du comté de Monmouth, dans le New Jersey. Le véhicule expérimental, développé par des chercheurs du fabricant de puces Nvidia, n'était pas différent des autres voitures autonomes, mais il ne ressemblait à rien de ce qui avait été démontré par Google, Tesla ou General Motors, et il montrait la montée en puissance de l'intelligence artificielle. La voiture n'a pas suivi une seule instruction fournie par un ingénieur ou un programmeur. Au lieu de cela, il reposait entièrement sur un algorithme qui avait appris à conduire en regardant un humain le faire.

Obtenir une voiture pour conduire de cette façon était un exploit impressionnant. Mais c'est aussi un peu troublant, car on ne sait pas tout à fait comment la voiture prend ses décisions. Les informations provenant des capteurs du véhicule vont directement dans un vaste réseau de neurones artificiels qui traitent les données et délivrent ensuite les commandes nécessaires pour faire fonctionner le volant, les freins et d'autres systèmes. Le résultat semble correspondre aux réponses que vous attendez d'un conducteur humain. Mais que se passerait-il si un jour il faisait quelque chose d'inattendu – s'écraser contre un arbre ou s'arrêter à un feu vert ? Dans l'état actuel des choses, il pourrait être difficile de savoir pourquoi. Le système est si compliqué que même les ingénieurs qui l'ont conçu peuvent avoir du mal à isoler la raison d'une action unique. Et vous ne pouvez pas le demander : il n'existe aucun moyen évident de concevoir un tel système de sorte qu'il puisse toujours expliquer pourquoi il a fait ce qu'il a fait.

L'esprit mystérieux de ce véhicule indique un problème imminent avec l'intelligence artificielle. La technologie d'intelligence artificielle sous-jacente de la voiture, connue sous le nom d'apprentissage en profondeur, s'est révélée très puissante pour résoudre des problèmes ces dernières années, et elle a été largement déployée pour des tâches telles que le sous-titrage d'images, la reconnaissance vocale et la traduction linguistique. On espère maintenant que les mêmes techniques seront capables de diagnostiquer des maladies mortelles, de prendre des décisions commerciales d'un million de dollars et de faire d'innombrables autres choses pour transformer des industries entières.

Mais cela ne se produira pas - ou ne devrait pas se produire - à moins que nous trouvions des moyens de rendre des techniques telles que l'apprentissage en profondeur plus compréhensibles pour leurs créateurs et responsables pour leurs utilisateurs. Sinon, il sera difficile de prédire quand des pannes pourraient se produire, et il est inévitable qu'elles se produisent. C'est l'une des raisons pour lesquelles la voiture de Nvidia est encore expérimentale.

Déjà, des modèles mathématiques sont utilisés pour aider à déterminer qui obtient une libération conditionnelle, qui est approuvé pour un prêt et qui est embauché pour un emploi. Si vous pouviez avoir accès à ces modèles mathématiques, il serait possible de comprendre leur raisonnement. Mais les banques, les militaires, les employeurs et d'autres se tournent désormais vers des approches d'apprentissage automatique plus complexes qui pourraient rendre la prise de décision automatisée totalement impénétrable. L'apprentissage en profondeur, la plus courante de ces approches, représente une manière fondamentalement différente de programmer les ordinateurs. "C'est un problème qui est déjà pertinent, et il le sera beaucoup plus à l'avenir", déclare Tommi Jaakkola, professeur au MIT qui travaille sur les applications de l'apprentissage automatique. "Qu'il s'agisse d'une décision d'investissement, d'une décision médicale ou peut-être d'une décision militaire, vous ne voulez pas vous fier uniquement à la méthode de la" boîte noire "."

Il y a déjà un argument selon lequel pouvoir interroger un système d'IA sur la façon dont il est parvenu à ses conclusions est un droit légal fondamental. À partir de l'été 2018, l'Union européenne pourrait exiger que les entreprises puissent expliquer aux utilisateurs les décisions prises par les systèmes automatisés. Cela peut être impossible, même pour les systèmes qui semblent relativement simples à première vue, tels que les applications et les sites Web qui utilisent l'apprentissage en profondeur pour diffuser des publicités ou recommander des chansons. Les ordinateurs qui exécutent ces services se sont programmés eux-mêmes, et ils l'ont fait d'une manière que nous ne pouvons pas comprendre. Même les ingénieurs qui créent ces applications ne peuvent expliquer pleinement leur comportement.

Cela soulève des questions ahurissantes. Au fur et à mesure que la technologie progresse, nous pourrions bientôt franchir un certain seuil au-delà duquel l'utilisation de l'IA nécessite un acte de foi. Bien sûr, nous, les humains, ne pouvons pas toujours vraiment expliquer nos processus de pensée non plus, mais nous trouvons des moyens de faire confiance et d'évaluer intuitivement les gens. Cela sera-t-il également possible avec des machines qui pensent et prennent des décisions différemment de la façon dont un humain le ferait ? Nous n'avons jamais construit de machines qui fonctionnent d'une manière que leurs créateurs ne comprennent pas. Dans quelle mesure pouvons-nous nous attendre à communiquer et à nous entendre avec des machines intelligentes qui pourraient être imprévisibles et impénétrables ? Ces questions m'ont emmené dans un voyage à la pointe de la recherche sur les algorithmes d'IA, de Google à Apple et bien d'autres endroits intermédiaires, y compris une rencontre avec l'un des grands philosophes de notre temps.

En 2015, un groupe de recherche de l'hôpital Mount Sinai à New York a eu l'idée d'appliquer l'apprentissage en profondeur à la vaste base de données de dossiers de patients de l'hôpital. Cet ensemble de données comprend des centaines de variables sur les patients, tirées de leurs résultats de test, de leurs visites chez le médecin, etc. Le programme qui en a résulté, que les chercheurs ont nommé Deep Patient, a été formé à l'aide des données d'environ 700 000 personnes, et lorsqu'il a été testé sur de nouveaux enregistrements, il s'est avéré incroyablement efficace pour prédire la maladie. Sans aucune instruction d'expert, Deep Patient avait découvert des modèles cachés dans les données hospitalières qui semblaient indiquer quand les gens étaient sur le point de souffrir d'un large éventail de maladies, y compris le cancer du foie. Il existe de nombreuses méthodes qui sont "assez bonnes" pour prédire la maladie à partir des dossiers d'un patient, explique Joel Dudley, qui dirige l'équipe du mont Sinaï. Mais, ajoute-t-il, "c'était bien mieux".

"Nous pouvons construire ces modèles, mais nous ne savons pas comment ils fonctionnent."

En même temps, Deep Patient est un peu déroutant. Il semble anticiper étonnamment bien l'apparition de troubles psychiatriques comme la schizophrénie. Mais comme la schizophrénie est notoirement difficile à prédire pour les médecins, Dudley s'est demandé comment cela était possible. Il ne sait toujours pas. Le nouvel outil n'offre aucune idée de la manière dont il procède. Si quelque chose comme Deep Patient va réellement aider les médecins, cela leur donnera idéalement la justification de sa prédiction, pour les rassurer sur son exactitude et pour justifier, par exemple, un changement dans les médicaments prescrits à quelqu'un. "Nous pouvons construire ces modèles", dit Dudley avec regret, "mais nous ne savons pas comment ils fonctionnent."

L'intelligence artificielle n'a pas toujours été ainsi. Dès le départ, il y avait deux écoles de pensée sur la façon dont l'IA devrait être compréhensible ou explicable. Beaucoup pensaient qu'il était plus logique de construire des machines qui raisonnaient selon des règles et une logique, rendant leur fonctionnement interne transparent pour quiconque souhaitait examiner un code. D'autres ont estimé que l'intelligence émergerait plus facilement si les machines s'inspiraient de la biologie et apprenaient en observant et en expérimentant. Cela signifiait bouleverser la programmation informatique. Au lieu qu'un programmeur écrive les commandes pour résoudre un problème, le programme génère son propre algorithme basé sur des exemples de données et une sortie souhaitée. Les techniques d'apprentissage automatique qui évolueront plus tard pour devenir les systèmes d'IA les plus puissants d'aujourd'hui ont suivi cette dernière voie : la machine se programme essentiellement d'elle-même.

Au début, cette approche était d'une utilité pratique limitée, et dans les années 1960 et 1970, elle est restée largement confinée aux marges du domaine. Puis l'informatisation de nombreuses industries et l'émergence de grands ensembles de données ont renouvelé l'intérêt. Cela a inspiré le développement de techniques d'apprentissage automatique plus puissantes, en particulier de nouvelles versions de celle connue sous le nom de réseau de neurones artificiels. Dans les années 1990, les réseaux de neurones pouvaient numériser automatiquement les caractères manuscrits.

Mais ce n'est qu'au début de cette décennie, après plusieurs ajustements et raffinements intelligents, que de très grands réseaux de neurones - ou "profonds" - ont démontré des améliorations spectaculaires dans la perception automatisée. L'apprentissage en profondeur est responsable de l'explosion actuelle de l'IA. Il a donné aux ordinateurs des pouvoirs extraordinaires, comme la capacité de reconnaître les mots parlés presque aussi bien qu'une personne le pourrait, une compétence trop complexe pour être codée manuellement dans la machine. L'apprentissage en profondeur a transformé la vision par ordinateur et amélioré considérablement la traduction automatique. Il est maintenant utilisé pour guider toutes sortes de décisions clés dans les domaines de la médecine, de la finance, de la fabrication et au-delà.

Le fonctionnement de toute technologie d'apprentissage automatique est intrinsèquement plus opaque, même pour les informaticiens, qu'un système codé à la main. Cela ne veut pas dire que toutes les futures techniques d'IA seront également inconnaissables. Mais par nature, le deep learning est une boîte noire particulièrement sombre.

Vous ne pouvez pas simplement regarder à l'intérieur d'un réseau neuronal profond pour voir comment cela fonctionne. Le raisonnement d'un réseau est intégré dans le comportement de milliers de neurones simulés, disposés en dizaines voire centaines de couches étroitement interconnectées. Les neurones de la première couche reçoivent chacun une entrée, comme l'intensité d'un pixel dans une image, puis effectuent un calcul avant de sortir un nouveau signal. Ces sorties sont transmises, dans un réseau complexe, aux neurones de la couche suivante, et ainsi de suite, jusqu'à ce qu'une sortie globale soit produite. De plus, il existe un processus connu sous le nom de rétropropagation qui modifie les calculs des neurones individuels de manière à permettre au réseau d'apprendre à produire une sortie souhaitée.

Les nombreuses couches d'un réseau profond lui permettent de reconnaître des choses à différents niveaux d'abstraction. Dans un système conçu pour reconnaître les chiens, par exemple, les couches inférieures reconnaissent des choses simples comme les contours ou la couleur ; les couches supérieures reconnaissent des éléments plus complexes comme la fourrure ou les yeux ; et la couche supérieure identifie tout cela comme un chien. La même approche peut être appliquée, grosso modo, à d'autres entrées qui amènent une machine à s'auto-apprendre : les sons qui composent les mots dans la parole, les lettres et les mots qui créent des phrases dans le texte, ou les mouvements du volant nécessaires à la conduite.

"Cela pourrait faire partie de la nature de l'intelligence que seule une partie de celle-ci soit exposée à une explication rationnelle. Une partie est simplement instinctive."

Des stratégies ingénieuses ont été utilisées pour tenter de capter et donc d'expliquer plus en détail ce qui se passe dans de tels systèmes. En 2015, des chercheurs de Google ont modifié un algorithme de reconnaissance d'images basé sur l'apprentissage en profondeur afin qu'au lieu de repérer des objets sur des photos, il les génère ou les modifie. En exécutant efficacement l'algorithme en sens inverse, ils pourraient découvrir les fonctionnalités que le programme utilise pour reconnaître, par exemple, un oiseau ou un bâtiment. Les images résultantes, produites par un projet connu sous le nom de Deep Dream, montraient des animaux grotesques ressemblant à des extraterrestres émergeant des nuages ​​et des plantes, et des pagodes hallucinatoires fleurissant à travers les forêts et les chaînes de montagnes. Les images ont prouvé que l'apprentissage en profondeur n'a pas besoin d'être entièrement impénétrable ; ils ont révélé que les algorithmes se concentraient sur des caractéristiques visuelles familières comme le bec ou les plumes d'un oiseau. Mais les images ont également laissé entendre à quel point l'apprentissage en profondeur est différent de la perception humaine, en ce sens qu'il pourrait faire quelque chose d'un artefact que nous saurions ignorer. Les chercheurs de Google ont noté que lorsque son algorithme générait des images d'un haltère, il générait également un bras humain le tenant. La machine avait conclu qu'un bras faisait partie de la chose.

D'autres progrès ont été réalisés grâce à des idées empruntées aux neurosciences et aux sciences cognitives. Une équipe dirigée par Jeff Clune, professeur adjoint à l'Université du Wyoming, a utilisé l'équivalent IA des illusions d'optique pour tester les réseaux de neurones profonds. En 2015, le groupe de Clune a montré comment certaines images pouvaient tromper un tel réseau en lui faisant percevoir des choses qui n'existent pas, car les images exploitent les modèles de bas niveau recherchés par le système. L'un des collaborateurs de Clune, Jason Yosinski, a également construit un outil qui agit comme une sonde plantée dans un cerveau. Son outil cible n'importe quel neurone au milieu du réseau et recherche l'image qui l'active le plus. Les images qui apparaissent sont abstraites (imaginez une version impressionniste d'un flamant rose ou d'un autobus scolaire), soulignant la nature mystérieuse des capacités perceptives de la machine.

Cependant, nous avons besoin de plus qu'un aperçu de la pensée de l'IA, et il n'y a pas de solution facile. C'est l'interaction des calculs à l'intérieur d'un réseau neuronal profond qui est cruciale pour la reconnaissance des formes de niveau supérieur et la prise de décision complexe, mais ces calculs sont un bourbier de fonctions et de variables mathématiques. "Si vous aviez un très petit réseau de neurones, vous pourriez être en mesure de le comprendre", explique Jaakkola. "Mais une fois qu'il devient très grand, et qu'il a des milliers d'unités par couche et peut-être des centaines de couches, cela devient tout à fait incompréhensible."

Dans le bureau à côté de Jaakkola se trouve Regina Barzilay, une professeure du MIT déterminée à appliquer l'apprentissage automatique à la médecine. Elle a reçu un diagnostic de cancer du sein il y a quelques années, à l'âge de 43 ans. Le diagnostic était choquant en soi, mais Barzilay était également consterné que des méthodes statistiques et d'apprentissage automatique de pointe ne soient pas utilisées pour aider à la recherche oncologique ou pour guider traitement des patients. Elle dit que l'IA a un énorme potentiel pour révolutionner la médecine, mais réaliser ce potentiel signifiera aller au-delà des seuls dossiers médicaux. Elle envisage d'utiliser davantage de données brutes qui, selon elle, sont actuellement sous-utilisées : "les données d'imagerie, les données de pathologie, toutes ces informations".

Dans quelle mesure pouvons-nous nous entendre avec des machines imprévisibles et impénétrables ?

Après avoir terminé son traitement contre le cancer l'année dernière, Barzilay et ses étudiants ont commencé à travailler avec des médecins du Massachusetts General Hospital pour développer un système capable d'extraire des rapports de pathologie afin d'identifier les patients présentant des caractéristiques cliniques spécifiques que les chercheurs pourraient vouloir étudier. Cependant, Barzilay a compris que le système aurait besoin d'expliquer son raisonnement. Alors, avec Jaakkola et un étudiant, elle a ajouté une étape : le système extrait et met en évidence des extraits de texte représentatifs d'un modèle qu'il a découvert. Barzilay et ses étudiants développent également un algorithme d'apprentissage en profondeur capable de trouver des signes précoces de cancer du sein dans les images de mammographie, et ils visent également à donner à ce système une certaine capacité à expliquer son raisonnement. "Vous avez vraiment besoin d'avoir une boucle où la machine et l'humain collaborent", déclare -Barzilay.

L'armée américaine investit des milliards dans des projets qui utiliseront l'apprentissage automatique pour piloter des véhicules et des avions, identifier des cibles et aider les analystes à parcourir d'énormes piles de données de renseignement. Ici plus qu'ailleurs, encore plus qu'en médecine, il y a peu de place pour le mystère algorithmique, et le ministère de la Défense a identifié l'explicabilité comme une pierre d'achoppement clé.

David Gunning, responsable de programme à la Defense Advanced Research Projects Agency, supervise le programme bien nommé d'intelligence artificielle explicable. Un vétéran aux cheveux argentés de l'agence qui a précédemment supervisé le projet DARPA qui a finalement conduit à la création de Siri, Gunning dit que l'automatisation se glisse dans d'innombrables domaines de l'armée. Les analystes du renseignement testent l'apprentissage automatique comme moyen d'identifier des modèles dans de grandes quantités de données de surveillance. De nombreux véhicules terrestres et aéronefs autonomes sont en cours de développement et de test. Mais les soldats ne se sentiront probablement pas à l'aise dans un char robotique qui ne s'explique pas, et les analystes seront réticents à agir sur des informations sans raisonnement. "C'est souvent la nature de ces systèmes d'apprentissage automatique qu'ils produisent beaucoup de fausses alarmes, donc un analyste d'Intel a vraiment besoin d'une aide supplémentaire pour comprendre pourquoi une recommandation a été faite", explique Gunning.

En mars dernier, la DARPA a choisi 13 projets du milieu universitaire et de l'industrie pour un financement dans le cadre du programme de Gunning. Certains d'entre eux pourraient s'appuyer sur les travaux menés par Carlos Guestrin, professeur à l'université de Washington. Lui et ses collègues ont développé un moyen pour les systèmes d'apprentissage automatique de justifier leurs résultats. Essentiellement, selon cette méthode, un ordinateur trouve automatiquement quelques exemples à partir d'un ensemble de données et les présente dans une brève explication. Un système conçu pour classer un message électronique comme provenant d'un terroriste, par exemple, pourrait utiliser plusieurs millions de messages dans sa formation et sa prise de décision. Mais en utilisant l'approche de l'équipe de Washington, il pourrait mettre en évidence certains mots-clés trouvés dans un message. Le groupe de Guestrin a également mis au point des moyens permettant aux systèmes de reconnaissance d'images de faire allusion à leur raisonnement en mettant en évidence les parties d'une image qui étaient les plus significatives.

Un inconvénient de cette approche et d'autres similaires, comme celle de Barzilay, est que les explications fournies seront toujours simplifiées, ce qui signifie que certaines informations vitales peuvent être perdues en cours de route. "Nous n'avons pas réalisé tout le rêve, c'est-à-dire où l'IA a une conversation avec vous, et elle est capable d'expliquer", déclare Guestrin. "Nous sommes loin d'avoir une IA vraiment interprétable."

Il n'est pas nécessaire que ce soit une situation à enjeux élevés comme un diagnostic de cancer ou des manœuvres militaires pour que cela devienne un problème. Connaître le raisonnement de l'IA sera également crucial si la technologie doit devenir une partie commune et utile de notre vie quotidienne. Tom Gruber, qui dirige l'équipe Siri chez Apple, affirme que l'explicabilité est une considération clé pour son équipe qui essaie de faire de Siri un assistant virtuel plus intelligent et plus performant. Gruber ne discuterait pas de plans spécifiques pour l'avenir de Siri, mais il est facile d'imaginer que si vous recevez une recommandation de restaurant de Siri, vous voudrez savoir quel était le raisonnement. Ruslan Salakhutdinov, directeur de la recherche sur l'IA chez Apple et professeur associé à l'Université Carnegie Mellon, considère l'explicabilité comme le cœur de l'évolution de la relation entre les humains et les machines intelligentes. "Cela va introduire la confiance", dit-il.

Tout comme de nombreux aspects du comportement humain sont impossibles à expliquer en détail, il ne sera peut-être pas possible pour l'IA d'expliquer tout ce qu'elle fait. "Même si quelqu'un peut vous donner une explication raisonnable [pour ses actions], elle est probablement incomplète, et la même chose pourrait très bien être vraie pour l'IA", déclare Clune, de l'Université du Wyoming. "Cela pourrait simplement faire partie de la nature de l'intelligence que seule une partie de celle-ci soit exposée à une explication rationnelle. Une partie est simplement instinctive, ou subconsciente, ou impénétrable."

Si tel est le cas, à un moment donné, nous devrons peut-être simplement faire confiance au jugement de l'IA ou nous en passer. De même, ce jugement devra intégrer l'intelligence sociale. Tout comme la société est construite sur un contrat de comportement attendu, nous devrons concevoir des systèmes d'IA pour respecter et s'adapter à nos normes sociales. Si nous voulons créer des chars robots et d'autres machines à tuer, il est important que leur prise de décision soit cohérente avec nos jugements éthiques.

Pour sonder ces concepts métaphysiques, je suis allé à l'Université Tufts pour rencontrer Daniel Dennett, un philosophe renommé et scientifique cognitif qui étudie la conscience et l'esprit. Un chapitre du dernier livre de Dennett, From Bacteria to Bach and Back, un traité encyclopédique sur la conscience, suggère qu'une partie naturelle de l'évolution de l'intelligence elle-même est la création de systèmes capables d'accomplir des tâches que leurs créateurs ne savent pas faire. "La question est de savoir quels aménagements devons-nous faire pour faire cela avec sagesse - quelles normes exigeons-nous d'eux et de nous-mêmes?" me dit-il dans son bureau encombré sur le campus idyllique de l'université.

Il met également en garde contre la quête d'explicabilité. "Je pense que si nous allons utiliser ces choses et compter sur elles, alors comprenons aussi fermement comment et pourquoi ils nous donnent les réponses que possible", dit-il. Mais comme il n'y a peut-être pas de réponse parfaite, nous devrions être aussi prudents avec les explications de l'IA que nous le sommes les uns avec les autres, aussi intelligentes qu'une machine semble. "S'il ne peut pas faire mieux que nous pour expliquer ce qu'il fait", dit-il, "alors ne lui faites pas confiance."

Cette histoire faisait partie de notre numéro de mai/juin 2017.

"J'ai soudainement changé d'avis sur la question de savoir si ces choses vont être plus intelligentes que nous."

Le récit autour des étudiants infidèles ne raconte pas toute l'histoire. Rencontrez les enseignants qui pensent que l'IA générative pourrait réellement améliorer l'apprentissage.

Hinton prendra la parole à EmTech Digital mercredi.

ChatGPT a suscité des spéculations sur l'intelligence artificielle générale. Mais la prochaine véritable phase de l'IA se situera dans des domaines et des contextes spécifiques.

Découvrez les offres spéciales, les meilleures histoires, les événements à venir et plus encore.

Merci d'avoir soumis votre e-mail !

On dirait que quelque chose s'est mal passé.

Nous rencontrons des difficultés pour enregistrer vos préférences. Essayez d'actualiser cette page et de les mettre à jour une fois de plus. Si vous continuez à recevoir ce message, contactez-nous à l'adresse [email protected] avec une liste des newsletters que vous souhaitez recevoir.