Lorsque vous entendez « boîte noire », vous imaginez peut-être les enregistreurs de vol indestructibles qui survivent aux accidents d’avion. Ou peut-être pensez-vous à de petits théâtres indépendants. En revanche, dans le domaine de l’intelligence artificielle, le terme décrit quelque chose de bien plus opaque. Une boîte noire IA est un système dont la logique interne est totalement invisible. Vous pouvez lui fournir des données et obtenir un résultat, mais vous ne pouvez pas examiner le code ou le raisonnement derrière cette sortie.
L’apprentissage automatique est le moteur de l’IA moderne, comprenant des outils génératifs tels que ChatGPT et DALL-E 2. Il repose sur trois piliers : les algorithmes, les données d’entraînement et le modèle qui en résulte. Un algorithme est un ensemble de procédures qui apprennent des modèles à partir d’un grand ensemble de données. Une fois formé, il devient modèle. Pensez-y de cette façon : un algorithme conçu pour repérer les chiens, entraîné sur des milliers de photos de chiens, devient un modèle de « repérage de chiens ». Donnez-lui une image et il indique si un chien est présent et où.
Le problème est que n’importe lequel de ces trois composants peut être masqué. Souvent, l’algorithme lui-même est de notoriété publique, donc le cacher n’aide pas beaucoup. Au lieu de cela, les développeurs traitent le modèle ou les données de formation comme une boîte noire pour protéger la propriété intellectuelle. Le contraire est une « boîte de verre », où les algorithmes, les données et les modèles sont entièrement visibles. Pourtant, même les boîtes en verre ont des ombres. Les chercheurs ne comprennent toujours pas pleinement le fonctionnement des algorithmes d’apprentissage profond. Cette lacune a donné naissance au domaine de l’IA explicable, qui vise à faire en sorte que ces systèmes ressemblent moins à de la magie qu’à des machines compréhensibles.
Pourquoi les algorithmes opaques déclenchent des signaux d’alarme
Il y a de bonnes raisons de se méfier de l’apprentissage automatique par boîte noire. Imaginez un modèle diagnostiquant votre santé. Accepteriez-vous un plan de traitement si vous ne saviez pas comment le système est arrivé à son terme ? Votre médecin ne le ferait probablement pas non plus. Ils doivent comprendre la logique pour vérifier le diagnostic.
Pensez aux décisions financières. Si un modèle d’IA vous refuse un prêt commercial, une boîte noire vous laisse dans le noir. Sans savoir pourquoi votre demande a été rejetée, vous ne pouvez pas faire appel efficacement. Vous ne pouvez pas ajuster vos finances pour améliorer vos chances la prochaine fois. La transparence n’est pas seulement agréable à avoir ; c’est indispensable pour le recours.
La sécurité est un autre facteur critique. Pendant des années, l’industrie technologique a fonctionné sur la base d’une hypothèse erronée : si vous gardez les logiciels cachés, les pirates ne peuvent pas trouver de vulnérabilités. Ils ne peuvent pas inverser ce qu’ils ne peuvent pas voir. Cette logique a largement échoué. Les pirates peuvent effectuer de l’ingénierie inverse sur un logiciel en observant son comportement et en créant un fac-similé pour découvrir ses faiblesses. Ils n’ont pas besoin du code source.
Si le logiciel est transparent – une boîte en verre – les testeurs et les hackers éthiques peuvent l’examiner. Ils peuvent signaler les faiblesses avant que des acteurs malveillants ne les exploitent. Garder les choses cachées ne les rend pas sécurisées ; cela les rend simplement vulnérables à ceux qui ont la patience de les sonder de l’extérieur.
L’élément humain dans l’IA explicable
La poussée vers une IA explicable n’est pas seulement une question de curiosité. C’est une question de confiance et de responsabilité. Lorsqu’un algorithme prend une décision aux enjeux élevés, les enjeux sont trop importants pour s’appuyer sur l’intuition. Nous devons savoir comment la machine pense.
Saurabh Bagchi, professeur de génie électrique et informatique à l’Université Purdue, a largement souligné ces problèmes. Ses recherches, financées par diverses sources gouvernementales et privées, soulignent la nécessité de systèmes que les humains peuvent réellement comprendre.
La tension entre la protection de la propriété intellectuelle et la garantie de la sécurité est réelle. Les développeurs veulent protéger leurs modèles. Les utilisateurs doivent leur faire confiance. Pouvons-nous avoir les deux ? La réponse semble pencher vers la transparence. Car si nous ne pouvons pas expliquer la décision, nous ne pouvons pas la contester. Et si nous ne pouvons pas le remettre en question, nous ne pouvons pas l’améliorer.
L’avenir de l’IA ne se résume peut-être pas à des boîtes de verre parfaitement transparentes. Il peut s’agir de systèmes qui, même s’ils ne sont pas entièrement ouverts, fournissent suffisamment d’informations pour être fiables. Combien de détails sont suffisants ? C’est une question à laquelle l’industrie essaie encore de répondre.
