The debates on AI

Dernière mise à jour : 31 mars 2020

(Translated from French to English - Original version below)

The debates on AI started in the 20th century – i.e. Isaac Asimov’s laws of robotics – but intensify today due to recent advances, previously described in the field. According to the theory of technological singularity, an era of domination of the machines over mankind will rise when the artificial intelligence systems will become super-intelligent: “Technological singularity is a hypothetical event linked to the rising of a real artificial intelligence. Thus, a computer, a computer network or a robot would theoretically be able of recursive self-improvement (self-generated perfecting process) or to conceive and build smarter computers or robots. Repetitions if this cycle could lead to an effect of acceleration – an explosion of intelligence – meaning intelligent machines able to conceive successive generations of more and more powerful machines, creating an intelligence superior by far to human intellectual capacities, hence a risk of losing control. Mankind not being able to apprehend the capacities of such a super intelligence, technological singularity is the point beyond which human intelligence would not be able to predict or even imagine the events”. Those who defend technological singularity are close to the transhumanist movement which aims at enhancing human physical and intellectual capacities using new technologies. The singularity would correspond to the moment when the nature of human beings would undergo a fundamental change, which would be perceived as a desirable event (by the transhumanists), or as a danger for mankind (by their opponent). The debate on the dangers of AI has crossed a new threshold with the recent polemic on autonomous weapons and killer robots, raised by an open letter published during the opening of the IJCAI conference in 2015. The letter, which asks for the ban of weapons able to function without human intervention, was signed by thousands of people, including Stephen Hawking, Elon Musk, Steve Wozniak and many leading researchers in AI; we find among the signers some of INRIA’s researchers who contributed to the writing of the present document. Among the other dangers and threats having been debated within the community, can be quoted : the financial consequences of high frequency trading on the trade markets, which now represent the vast majority of the orders passed – in high frequency trading, so called smart software execute financial transactions at high speed, which can lead to stock exchange crashes like the Flash Crash of 2010; the consequences of the search of massive data on privacy respect, with searching systems able to disclose the personal characteristics of individuals by establishing connections between their online operations or their signing up to databases; and of course the potential unemployment generated by the progressive replacement of the workforce by machine.

The more we develop artificial intelligence, the bigger the risk of extending only certain intelligent capacities (for example optimization and exploration by training) to the detriment of others, unlikely to generate an immediate return on investment or present any kind of interest for the creator of the agent (for example: moral, respect, ethic, etc…). Used on a large scale, artificial intelligence can include numerous risks and represent many challenges for human beings, particularly if artificial intelligences are not designed and scoped in a respectful and protective manner for humans. If for example, the optimization and performances are the only goal of their intelligence, It can lead to large scale catastrophes where the users are used, abused, manipulated, etc. by inexhaustible and reckless artificial agents. Research in AI must be global and include everything which makes behaviours intelligent, not only the “most reasonable aspects”. Diettrich and Horvitz have recently published an interesting answer to some of those questions. In their brief article, the authors acknowledge that the community of researchers in AI shouldn’t focus on the risk of loss of control by humans because it doesn’t show any critical character in a predictable future, and rather advise to give more attention to the 5 short term risks to which the AI based systems are exposed, which are :

- Software bugs.

- Cyberattacks.

- The temptation to act as a “wizard in training”, meaning giving the ability to AI system to understand what users want instead of literally interpreting their orders.

- “Shared autonomy”, namely the fluid cooperation of AI systems with users in a way that the users may always take back control if need.

- The socio-economic impacts of AI: in other terms, AI must be of benefit for the entire society and not only for a few privileged ones.

INRIA knows of those debates and as research institute dedicated to digital sciences and technological transfer, works for the well-being of all, fully aware of its responsibilities toward society. Informing society and leading instances of the potentialities and risks of the digital sciences and technologies is part of the missions of INRIA.

In this context, for the past few years, INRIA has:

- Started a reflexion on ethics long before the AI threats brought debates within the scientific community.

- Contributed to the creation of the CERNA5 of Allistene, a reflexion commission that works on the ethics problems raised by research in digital sciences and technologies; its first recommendation report is dedicated to research in robotics.

- Set up a new organ in charge of evaluating one by one the legal and ethical issues of a research: The legal and ethical risks evaluation executive committee (CORELE), composed of INRIA scientists and external contributors. The mission of CORELE is to help identify risks and determine if the boarding of a research project is necessary.

- In addition, INRIA encourages its researchers to take part in the societal debates when solicited by the media to express themselves on ethics questions such as the ones raised by robotics, deep learning, data mining and autonomous systems. The scientific and technologic stakes brought to light by research in AI lead INRIA to develop strategies to take the multiple raised challenges. The next section will be dedicated to its positioning and the typology of those challenges.

Original version :

Les débats sur l'IA

Les débats sur l'IA ont commencé au 20e siècle - cf. les lois de la robotique d'Isaac Asimov - mais s’intensifient aujourd’hui en raison des récentes avancées, décrites précédemment, dans le domaine. Selon la théorie de la singularité technologique, une ère de domination des machines sur l'Homme verra le jour lorsque les systèmes d'intelligence artificielle deviendront super-intelligents : "La singularité technologique est un événement hypothétique lié à l'avènement d'une véritable intelligence artificielle. Ainsi un ordinateur, un réseau informatique ou un robot seraient théoriquement capables d’une auto-amélioration

récursive (processus de perfectionnement auto-généré) ou de concevoir et fabriquer des ordinateurs ou robots plus intelligents. Des répétitions de ce cycle pourraient aboutir à un effet d'accélération - une explosion de l'intelligence – c'est-à-dire à des machines intelligentes capables de concevoir des générations successives de machines de plus en plus puissantes, créant une intelligence largement supérieure aux capacités intellectuelles humaines, d'où un risque de perte de contrôle. L'Homme ne pouvant appréhender les capacités d'une telle super-intelligence, la singularité technologique est le point au-delà duquel l'intelligence humaine ne pourrait ni prédire ni même imaginer les événements". Les défenseurs de la singularité technologique sont proches du mouvement transhumaniste

qui vise à améliorer les capacités physiques et intellectuelles des humains grâce aux nouvelles technologies. La singularité correspondrait au moment où la nature des êtres humains subirait un changement fondamental, lequel serait perçu soit comme un événement souhaitable (par les transhumanistes), soit comme un danger pour l'humanité (par leurs opposants). Le débat sur les dangers de l'IA a franchi un nouveau palier avec la récente polémique sur les armes autonomes et les robots tueurs, suscitée par une lettre ouverte publiée à l'ouverture de la conférence IJCAI en 20153. La lettre, qui demande l'interdiction des armes capables de fonctionner sans intervention humaine, a été signée par des milliers de personnes, dont Stephen Hawking, Elon Musk, Steve Wozniak et nombre de chercheurs de premier plan en IA ; on retrouve d’ailleurs parmi les signataires certains des chercheurs d'Inria ayant contribué à l'élaboration du présent document. Parmi les autres dangers et menaces ayant fait l'objet de débats au sein de la communauté, on peut citer : les conséquences financières sur les marchés boursiers du trading haute fréquence, lequel représente désormais la grande majorité des ordres passés - dans le trading haute fréquence, des logiciels soi-disant intelligents exécutent à grande vitesse des transactions financières, pouvant conduire à des crashs boursiers comme le Flash Crash de 2010 ; les conséquences de la fouille de données massives sur le respect de la vie privée, avec des systèmes de fouille capables de divulguer les caractéristiques personnelles des individus en établissant des liens entre leurs opérations en ligne ou leurs enregistrements dans des bases de données ; et bien entendu le chômage potentiel généré par le remplacement progressif de la main d'oeuvre par des machines.

Plus nous développons l'intelligence artificielle, plus le risque est grand d’étendre uniquement certaines capacités intelligentes (par exemple optimisation et fouille par l'apprentissage) au détriment d'autres, peu susceptibles de générer un retour sur investissement immédiat ou de présenter un quelconque intérêt pour le créateur de l'agent (par exemple : morale, respect, éthique, etc.). Utilisée à grande échelle,

l'intelligence artificielle peut comporter de nombreux risques et constituer quantité de défis pour les humains, en particulier si les intelligences artificielles ne sont pas conçues et encadrées de façon à respecter et protéger les humains. Si, par exemple, l'optimisation et les performances sont le seul objectif de leur intelligence, cela peut conduire à des catastrophes à grande échelle où les utilisateurs sont instrumentalisés, abusés, manipulés, etc. par des agents artificiels inépuisables et sans vergogne. La recherche en IA doit être globale et inclure tout ce qui rend les comportements intelligents, pas uniquement les "aspects les plus raisonnables". Dietterich et Horvitz ont publié dernièrement une réponse intéressante à certaines de ces questions. Dans leur bref article, les auteurs reconnaissent que la communauté des chercheurs en IA ne devrait pas se focaliser sur le risque de perte de contrôle par les humains car celui-ci ne présente pas de caractère critique dans un avenir prévisible, et recommandent

plutôt d'accorder plus d'attention aux cinq risques à court terme auxquels sont exposés les systèmes basés sur l'IA, à savoir :

- les bugs dans les logiciels ;

- les cyberattaques ;

- la tentation de jouer à "l'Apprenti Sorcier",

c’est à dire donner la capacité aux systèmes d'IA de comprendre ce que veulent les utilisateurs

au lieu d'interpréter littéralement leurs ordres ;

- "l'autonomie partagée", à savoir la coopération fluide des systèmes d'IA avec les utilisateurs de façon que les utilisateurs puissent toujours reprendre le contrôle en cas de besoin ;

- et les impacts socio-économiques de l'IA : en d'autres termes l'IA doit être bénéfique pour l'ensemble de la société et pas seulement pour quelques privilégiés.

Inria n'ignore rien de ces débats et, en tant qu'institut de recherche consacré aux sciences du numérique et au transfert technologique, oeuvre pour le bien-être de tous, pleinement conscient de ses responsabilités

envers la société. Informer la société et les instances dirigeantes des potentialités et des risques des sciences et technologies du numérique fait partie des missions d’Inria.

Dans cette optique, ces dernières années, Inria a :

- lancé une réflexion sur l'éthique bien avant que les menaces de l'IA ne suscitent des débats au sein de la communauté scientifique ;

- contribué à la création de la CERNA5 d'Allistene, une commission de réflexion qui travaille sur les problèmes éthiques soulevés par la recherche en sciences et technologies du numérique ; son premier rapport de recommandations est consacré à la recherche en robotique ;

- mis en place un nouvel organe chargé d’évaluer au cas par cas les enjeux légaux ou éthiques d’une recherche : le Comité Opérationnel d'Evaluation des Risques Légaux et Ethiques (COERLE), composé de

scientifiques d'Inria et de contributeurs externes. Le COERLE a pour mission d’aider à identifier les risques et à déterminer si l'encadrement d’un projet de recherche est nécessaire.

En outre, Inria encourage ses chercheurs à prendre part aux débats sociétaux lorsque des médias les sollicitent pour s'exprimer sur des questions éthiques telles que celles soulevées par la robotique, l'apprentissage profond, la fouille de données et les systèmes autonomes. Les enjeux scientifiques et technologiques mis au jour par la recherche en IA amènent Inria à développer des stratégies pour relever

les multiples défis soulevés. La prochaine section sera consacrée à son positionnement et à la typologie de ces défis.

Bertrand Braunschweig. Artificial Intelligence: Current challenges and Inria’s engagement - Inria white paper. Livre blanc Inria. 2016, pp.82. <hal-01564589>