L'intelligence artificielle sauvera-t-elle l'humanité—ou y mettra-t-elle fin ?

Une division marquée sur l'avenir de l'intelligence artificielle s'est manifestée cette semaine lorsque quatre technologues et transhumanistes éminents ont débattu pour savoir si la construction d'une intelligence artificielle générale, ou AGI, sauverait l'humanité ou la détruirait.

Le panel organisé par l'organisation à but non lucratif Humanity+ a réuni l'un des « prophètes de malheur » de l'IA les plus virulents, Eliezer Yudkowsky, qui a appelé à l'arrêt du développement avancé de l'IA, aux côtés du philosophe et futuriste Max More, du neuroscientifique computationnel Anders Sandberg et de la présidente émérite de Humanity+ Natasha Vita-More.

Leur discussion a révélé des désaccords fondamentaux sur la question de savoir si l'AGI peut être alignée avec la survie humaine ou si sa création rendrait l'extinction inévitable.

Le problème de la « boîte noire »

Yudkowsky a averti que les systèmes d'IA modernes sont fondamentalement dangereux car leurs processus de prise de décision internes ne peuvent être ni entièrement compris ni contrôlés.

« Toute boîte noire finira probablement par présenter des problèmes remarquablement similaires à la technologie actuelle », a averti Yudkowsky. Il a soutenu que l'humanité devrait s'éloigner « très, très loin des paradigmes actuels » avant que l'IA avancée puisse être développée en toute sécurité.

L'intelligence artificielle générale fait référence à une forme d'IA capable de raisonner et d'apprendre sur un large éventail de tâches, plutôt que d'être conçue pour un seul travail comme la génération de texte, d'image ou de vidéo. L'AGI est souvent associée à l'idée de singularité technologique, car atteindre ce niveau d'intelligence pourrait permettre aux machines de s'améliorer plus rapidement que les humains ne peuvent suivre.

Yudkowsky a fait référence à l'analogie du « maximiseur de trombones » popularisée par le philosophe Nick Bostrom pour illustrer le risque. Cette expérience de pensée présente une IA hypothétique qui convertit toute la matière disponible en trombones, poursuivant sa fixation sur un objectif unique aux dépens de l'humanité. Ajouter plus d'objectifs, a déclaré Yudkowsky, n'améliorerait pas significativement la sécurité.

Faisant référence au titre de son récent livre sur l'IA, « Si quelqu'un le construit, tout le monde meurt », il a dit : « Notre titre ne dit pas qu'elle pourrait éventuellement vous tuer », a déclaré Yudkowsky. « Notre titre est, si quelqu'un le construit, tout le monde meurt. »

Mais More a contesté la prémisse selon laquelle une prudence extrême offre le résultat le plus sûr. Il a soutenu que l'AGI pourrait offrir à l'humanité la meilleure chance de vaincre le vieillissement et la maladie.

« Ce qui est le plus important pour moi, c'est que l'AGI pourrait nous aider à prévenir l'extinction de chaque personne vivante due au vieillissement », a déclaré More. « Nous mourrons tous. Nous nous dirigeons vers une catastrophe, un par un. » Il a averti qu'une retenue excessive pourrait pousser les gouvernements vers des contrôles autoritaires comme seul moyen d'arrêter le développement de l'IA dans le monde entier.

Sandberg s'est positionné entre les deux camps, se décrivant comme « plus optimiste » tout en restant plus prudent que les optimistes transhumanistes. Il a raconté une expérience personnelle au cours de laquelle il a failli utiliser un grand modèle de langage pour aider à concevoir une arme biologique, un épisode qu'il a décrit comme « horrifiant ».

« Nous arrivons à un point où amplifier les acteurs malveillants va également causer un énorme désordre », a déclaré Sandberg. Néanmoins, il a soutenu qu'une sécurité partielle ou « approximative » pourrait être réalisable. Il a rejeté l'idée que la sécurité doit être parfaite pour être significative, suggérant que les humains pourraient au moins converger vers des valeurs partagées minimales telles que la survie.

« Donc, si vous exigez une sécurité parfaite, vous ne l'obtiendrez pas. Et cela semble très mauvais de ce point de vue », a-t-il dit. « D'un autre côté, je pense que nous pouvons réellement avoir une sécurité approximative. C'est suffisant. »

Scepticisme quant à l'alignement

Vita-More a critiqué le débat sur l'alignement lui-même, soutenant que le concept suppose un niveau de consensus qui n'existe même pas entre collaborateurs de longue date.

« La notion d'alignement est un schéma de Pollyanna », a-t-elle dit. « Il ne sera jamais aligné. Je veux dire, même ici, nous sommes tous de bonnes personnes. Nous nous connaissons depuis des décennies, et nous ne sommes pas alignés. »

Elle a décrit l'affirmation de Yudkowsky selon laquelle l'AGI tuerait inévitablement tout le monde comme une « pensée absolutiste » qui ne laisse aucune place à d'autres résultats.

« J'ai un problème avec cette déclaration générale selon laquelle tout le monde meurt », a-t-elle dit. « En abordant cela en tant que futuriste et penseur pragmatique, cela ne laisse aucune conséquence, aucune alternative, aucun autre scénario. C'est juste une affirmation brutale, et je me demande si cela reflète une sorte de pensée absolutiste. »

La discussion a inclus un débat sur la question de savoir si une intégration plus étroite entre humains et machines pourrait atténuer le risque posé par l'AGI — quelque chose que le PDG de Tesla, Elon Musk, a proposé dans le passé. Yudkowsky a rejeté l'idée de fusionner avec l'IA, la comparant à « essayer de fusionner avec votre four grille-pain ».

Sandberg et Vita-More ont soutenu qu'à mesure que les systèmes d'IA deviennent plus performants, les humains devront s'intégrer ou fusionner plus étroitement avec eux pour mieux faire face à un monde post-AGI.

« Toute cette discussion est un rappel à la réalité sur qui nous sommes en tant qu'êtres humains », a déclaré Vita-More.