Prendre la meilleure décision au moment critique, cela peut être une question de vie ou de mort. C’est pourquoi Thales, qui opère dans des secteurs aussi sensibles que l’aéronautique, l’espace ou la défense, s’emploie à développer une intelligence artificielle de confiance, au service de l’humain. S’assurer du bon fonctionnement de l’IA, en décrypter les mécanismes et en certifier l’utilisation sont autant de défis pour la recherche au sein du groupe, leader dans ce domaine.

David Sadek, vice-président recherche, technologie & innovation chez Thales, en charge notamment de l’intelligence artificielle et du traitement de données, nous en dit plus.

© Thomas Béhuret

Thales investit beaucoup dans le développement de systèmes fondés sur l’intelligence artificielle (IA). Mais comment se fier à l’IA dans des secteurs d’activité aussi critiques que l’aéronautique ou la défense ? 

Les activités de Thales se situent en effet dans des domaines “critiques”, où les enjeux peuvent être vitaux. Opérer dans ce cadre pose des exigences sur les technologies numériques que l’on développe, et plus particulièrement celles à base d’IA. Si, dans votre smartphone, l’appli qui compte vos pas se trompe, si l’IA qu’elle contient est approximative, ce n’est pas dramatique. Mais si l’on prend le cas d’un avion, sachant que deux avions sur trois dans le monde décollent ou atterrissent grâce à des systèmes Thales, c’est autre chose : des vies humaines sont en jeu. L’IA pour les systèmes critiques ne peut être qu’une IA de confiance. Une confiance qui ne doit pas seulement être déclarée mais prouvée. Thales opère dans un univers fortement régulé et très encadré. On ne peut pas faire n’importe quoi et l’IA que l’on installe dans nos systèmes est soumise à des exigences pouvant aller jusqu’à la certification. Chez Thales, l’IA de confiance repose sur quatre piliers stratégiques : validité, sécurité, explicabilité et responsabilité.

Ces axes stratégiques peuvent sembler un peu conceptuels. Concrètement, chez Thales, comment se déclinent les propriétés de l’IA de confiance sur le terrain de la recherche et du développement ?

Il s’agit de véritables défis scientifiques et technologiques qui mobilisent aujourd’hui une large part de nos équipes dans le domaine de l’IA. Quand on développe une technologie à base d’IA, on doit d’abord démontrer sa validité, c’est-à-dire s’assurer qu’elle va faire ce qu’on attend d’elle, ni plus ni moins. On se dote donc des outils mathématiques, des méthodes et des processus qui permettent de prouver cette validité. Il est impératif de passer par cette phase pour embarquer une IA à bord d’un système critique comme un avion. Cela demande du temps et des moyens. Aujourd’hui par exemple, on ne sait pas très bien comment valider les systèmes à base de machine learning. Comment vais-je prouver qu’un système à base d’apprentissage va faire ce que j’attends de lui, dans le cadre de ce pourquoi il a été conçu : son operational design domain (ODD). Si l’algorithme se trompe en minimisant la longueur de la piste nécessaire pour l'atterrissage d’un Airbus, c’est problématique. Par contre, on peut accepter qu’il se trompe en la maximisant. La question est donc qu’est-ce qui est acceptable ? Et cela peut devenir encore plus complexe. À l'avenir, on voudrait, avec le continuous learning, que des systèmes puissent continuer à apprendre et à s’améliorer en opération grâce aux données qu’ils récupèrent. Faire la preuve que les bonnes propriétés du système au moment où on l’a mis en opération seront préservées même s’il est toujours en train d’apprendre, c’est un défi en soi. Mais il faut trouver le bon équilibre afin que l’IA nous surprenne positivement. Quand l’algorithme AlphaGo a battu le champion du monde de go en 2017, il a inventé de nouvelles stratégies que même l’esprit d’un brillant joueur de go n’a su imaginer. Dans l’avionique, on n’a pas le droit à l’erreur : l'occurrence d’un événement redouté doit être inférieure à 10-9 par heure de vol. C’est très petit mais il faut satisfaire cette exigence. On travaille même à atteindre 10-12.

La sécurité des systèmes à base d’IA est un autre défi de poids. Comment s’assurer qu’ils ne sont pas vulnérables et qu’ils sauront résister à des menaces comme les cyberattaques ?

La cybersécurisation des systèmes est en effet primordiale. Il faut faire la preuve de la robustesse de l’IA à toute forme de malveillance et notamment aux cyberattaques. Aujourd’hui, la sécurité entretient une relation bilatérale avec l’IA : il s’agit d’une part de cybersécuriser les systèmes à base d’IA et inversement, d’utiliser l’IA pour créer des algorithmes de cybersécurité. Les algorithmes fondés sur le machine learning ont la capacité d’identifier des anomalies, comme la préparation d’une cyberattaque, dans un flot d’événements, même avec des signaux faibles. Certains systèmes à base de réseaux de neurones ont été ciblés par des attaques révélant des failles qui ont fait basculer le système : sur internet, on arrive à maquiller des images de manière presque imperceptible à l’œil humain, par exemple avec des post-it placés sur les panneaux de signalisation qui induisent en erreur les véhicules autonomes. Pour tout ce qui relève de la malveillance ou de la cyberfraude, les deux processus avancent au même rythme : l’IA progresse en même temps que les programmes destinés à l’attaquer. Pour déjouer les risques de l’intelligence artificielle, Thales a mis sur pied une équipe de friendly hacking [piratage bienveillant] implantée au laboratoire Theresis de Palaiseau. Sa mission est d’effectuer des sortes de crash tests des algorithmes d’IA, notamment des architectures de réseaux de neurones, pour identifier leurs vulnérabilités et proposer des contre-mesures afin de rendre nos applications les plus robustes possible. Une suite d’outils appelée The Battle box est en train d’être développée. Ce laboratoire de “crash test” fait partie du processus de qualification des systèmes à base d’IA. 

On attend de l’IA implantée dans les systèmes critiques qu’elle prenne les bonnes décisions. Mais comment comprendre et expliquer une décision automatisée prise par un algorithme ?

La question de l’explicabilité de l’IA est un enjeu majeur. Le sujet n’est pas récent mais il est redevenu d’actualité avec le développement des systèmes à base de réseaux de neurones. Comment justifier les décisions du système ? Certains algorithmes sont si complexes que personne - y compris les experts - n’est capable d’en détailler le fonctionnement ! On sait pourquoi mais on ne sait pas comment. C’est la fameuse notion de boîte noire. Expliquer n’est pas tracer le calcul. Dans ce même domaine, un autre sujet de recherche très important est de montrer qu’un système a bien appris ce qu’on voulait qu’il apprenne. Nous travaillons beaucoup sur l’explicabilité chez Thales, notamment dans le cadre du laboratoire industriel Sinclair [Saclay INdustrial Collaborative Laboratory for Artificial Intelligence Research], que nous avons en commun avec EDF et Total. C’est un des trois axes de R&T de ce labo, avec la simulation et le reinforcement learning.  Une anecdote concernant le problème du mislearning : je me souviens d’un système qui avait appris à reconnaître des lions dans la savane. Un jour on lui montre une vache dans la savane et il dit “c’est un lion”. Le système avait appris à reconnaître l’arrière-plan - la savane - et seulement l’arrière-plan. Il avait mal appris. Un autre système utilisé par l’armée américaine pour reconnaître des images de chars soviétiques à la fin de la guerre froide fonctionnait bien jusqu’au jour où un des experts est revenu avec des photos de vacances un peu floues, en a montré certaines au système qui a dit “c’est un char russe”. On a fini par comprendre, en utilisant du reverse engineering, que toutes les photos floues étaient étiquetées “char russe” par l’IA. Le problème de l’explicabilité se pose aussi dans le cas de systèmes d’IA symbolique – à base de règle – : lorsqu’on combine beaucoup de règles entre elles dans tous les sens pour faire des déductions, on se retrouve avec un paquet de spaghetti qui rend très complexe de déterminer des étapes intelligibles par lesquelles le système est passé. 

Que faire pour répondre à cette problématique et éviter que les systèmes apprennent “de travers” ?

Chez Thales, notre approche consiste à travailler sur l’explicabilité en temps réel, en rendant les systèmes “autoexplicables”, c’est-à-dire qu’un système en opération doit être en mesure de répondre de son comportement. Si vous embarquez à bord d'un avion un copilote digital qui recommande au pilote de virer de 45 degrés dans 30 miles, il faut que le pilote puisse lui demander “pourquoi dois-je faire ça ?”, surtout s’il ou elle avait une autre idée en tête. Et il faut que le système réponde “parce qu’il y a une menace (militaire), ou un orage” et non “parce que la couche numéro 3 du réseau de neurones a été activée à 30 %”. Qu’est-ce qu’une explication ? Est-elle adaptée au contexte ? A la charge cognitive du pilote ? Est-elle délivrée en temps réel au sens premier du terme, c’est-à-dire avant l’évolution de l’environnement ? Si le pilote a 5 secondes pour prendre une décision, la réponse de l’IA ne doit pas prendre plus de 5 secondes. Ce sont des questions cruciales qui impliquent de tenir compte du choix même du média par lequel l’explication sera fournie, de son niveau de langage, de sa verbosité [c’est-à-dire la longueur du flot de mots utilisés, ndlr] et bien sûr de l’état mental et du stress de l’interlocuteur. Choisir des mots clefs sans rentrer dans des détails potentiellement perturbateurs.
 

© Thomas Béhuret

En somme, il s’agit de ne pas perdre de vue la place de l’humain dans l’utilisation des systèmes à base d’IA…

On s’est fixé un défi très ambitieux de ce point de vue chez Thales. Dans la plupart de nos systèmes, il y a des chaînes de décision, donc de l’humain. Nous touchons à un sujet stratégiquement très important : celui du dialogue humain-machine. Comment mettre en œuvre une IA avec laquelle l’humain peut interagir et dialoguer de manière intuitive et pas seulement sur un mode question-réponse ? C’est en quelque sorte le Graal de l’IA. Le test de Turing [conçu pour mesurer la capacité d’une IA à imiter l’intelligence humaine, ndlr] faisait déjà appel à un dialogue, ce n’est pas anodin. Le sujet de l’explicabilité est jusqu’à présent pris en charge par des experts. Or il faut absolument mettre dans la boucle des utilisateurs capables de dire si oui ou non tel ou tel type d'explication est pertinent pour eux. C’est un sujet technique, certes, mais qui doit tenir compte de l’interaction avec l’humain. C’est fondamental et cela rejoint le premier engagement de notre charte, qui est la capacité de l’humain à garder le contrôle sur l’IA. Ceux qui ont lu Asimov verront que les Trois lois de la robotique*, c’est-à-dire les principes de base régissant l’interaction des robots avec les humains définis par l’auteur en 1942, sont toujours d’actualité. La responsabilité des systèmes - c’est-à-dire leur conformité aux cadres légaux, régulatoires, éthiques… - est structurante dans l’approche que l’on a aujourd'hui de l’IA. Il faut identifier ces règles, les formaliser, les modéliser et les implémenter. 
 
*1. Un robot ne peut porter atteinte à un être humain ni, restant passif, permettre qu’un être humain soit exposé au danger. 2. Un robot doit obéir aux ordres que lui donne un être humain, sauf si de tels ordres entrent en conflit avec la Première loi. 3. Un robot doit protéger son existence tant que cette protection n’entre pas en conflit avec la Première ou la Deuxième loi.

En quoi le groupe Thales se démarque-t-il des autres acteurs sur le terrain de l’IA ?

Chez Thales, nous sommes convaincus que la trajectoire vertueuse est aujourd’hui dans l’IA hybride, qui combine une IA s’appuyant sur des traitements de données avec une IA qui utilise de la connaissance ou des modèles explicites. Nous avons aussi été parmi les premiers à affirmer que le big data, ce n’était pas le sens de l’histoire et à défendre le smart data, qui consiste à collecter seulement les données dont on a besoin et non des énormes quantités de données tous azimuts. Le big data est une approche paresseuse de l’IA. Nous prenons le contrepied en rendant nos algorithmes de plus en plus intelligents, en leur faisant faire, par exemple, ce que semblent faire les humains - du transfer learning [utiliser les connaissances acquises pour résoudre un problème différent, mais qui présente des similitudes] - pour minimiser la quantité de données utilisées. Donc nous favorisons l’IA frugale. Et cette frugalité en données va de pair avec la sobriété en énergie car nous cherchons aussi à développer du hardware dit neuromorphique, beaucoup moins consommateur d’énergie que des réseaux de neurones artificielles classiques.

Il y a donc une prise en compte des enjeux environnementaux dans la façon dont vous développez vos systèmes d’IA ?

Oui. Et c’est ce que j’ai proposé dans le double volet Green AI et AI for Green, qui sont des moteurs très importants pour nous aujourd’hui. L’IA est une technologie numérique très consommatrice d’énergie. Nous faisons en sorte qu’elle soit la plus “verte” possible en privilégiant le frugal learning, en utilisant les données de manière très proportionnée. Mais on peut aussi utiliser l’IA pour réduire l’empreinte carbone. Nous avons aujourd’hui une position de leader dans le domaine des contrails par exemple, afin de minimiser la génération de traînées de condensations humides qui sont dramatiques en termes d’effet de serre. L’IA permet d’optimiser la trajectoire des avions pour en produire le moins possible. On utilise des technologies très avancées d’IA, comme du reinforcement learning (où on n’apprend plus sur la base de données mais sur la base d’expériences), qui est un champ extrêmement prometteur. Thales a également développé une approche IA pour réduire le temps de présence en l’air des avions en approche finale d’un aéroport, en tenant compte de l’effet vortex, et ainsi réduire l’empreinte carbone. Au sein du Groupe, nous pensons lancer un défi qui consiste notamment à proposer des applications d’IA qui contribuent à la réduction de l’empreinte carbone. Les exigences éthiques ou écologiques ne doivent pas être vécues comme des contraintes, mais comme des opportunités de création de valeur et de différenciation. Nous gageons qu’à solutions fonctionnellement comparables, ce sera la solution la plus verte et la plus éthique qui sera choisie.

Quelles sont les grandes pistes d’innovation dans le domaine de l’IA chez Thales ? Que diriez-vous à un jeune ingénieur qui souhaiterait travailler sur le sujet ?

Nous travaillons beaucoup sur l’ingénierie de l’IA : comment industrialiser ces systèmes, construire des outils, élaborer des méthodes et des processus pour déployer toute une chaîne outillée pour l’IA. Ou encore sur l’IA distribuée, qui permet de décentraliser la décision, à travers les systèmes multi-agents (SMA). La Thales School of AI* a été mise en place par Thales et pour Thales dans l’objectif de former des praticiens et des professionnels de l’AI au sein du Groupe. Pour un jeune ingénieur qui voudrait venir travailler dans le domaine de l’IA à Thales, les défis scientifiques et technologiques que nous avons évoqués sont passionnants. Et le spectre d’application de l’IA est très large : aéronautique, espace, défense, identité numérique, sécurité… Cela ne touche pas seulement des contextes d’application spécifiques. Quand on s’intéresse à la technologie et à la science, on recherche toujours une axiomatique de base, des primitives universelles. Développer une IA de confiance, c’est chercher à mettre en œuvre des technologies pour un monde meilleur, à l’échelle globale.