IA : l’alerte vient du cœur même de l’industrie, mais faut-il prendre ces avertissements au pied de la lettre ?

Les mises en garde se multiplient au sein même des entreprises qui développent les systèmes d’intelligence artificielle les plus avancés. Plusieurs chercheurs passés par Anthropic et Google DeepMind estiment que la course à la superintelligence pourrait échapper au contrôle humain. Ces alertes méritent d’être prises au sérieux, sans toutefois être confondues avec des faits scientifiquement établis. Elles interviennent aussi dans un contexte de rivalité technologique avec la Chine et de concurrence croissante des modèles ouverts, susceptible d’influencer les positions des laboratoires américains.

L’alerte vient désormais du cœur même de l’industrie de l’intelligence artificielle. Des chercheurs ayant participé au développement ou à la sécurisation des modèles les plus avancés affirment que la course actuelle pourrait conduire à des systèmes impossibles à maîtriser.

La question a notamment été abordée dans des débats télévisés : l’intelligence artificielle pourrait-elle, à terme, menacer la survie de l’humanité ?

Cette interrogation, longtemps cantonnée à la science-fiction et à certains cercles spécialisés, a pris une nouvelle dimension après plusieurs déclarations particulièrement alarmantes provenant d’anciens ou d’actuels employés d’Anthropic et de Google DeepMind.

Mais le fait que ces avertissements viennent de l’intérieur ne suffit pas à les transformer en certitudes. Les chercheurs concernés peuvent disposer d’informations privilégiées sur les capacités des modèles. Ils évoluent aussi dans un secteur traversé par des intérêts économiques, réglementaires et géopolitiques considérables.

Des chercheurs évoquent ouvertement un risque pour l’humanité

La séquence a notamment été alimentée par Jacob Coxon, ancien chercheur d’Anthropic, l’entreprise à l’origine de l’assistant Claude. En annonçant sa démission, il a affirmé que certaines personnes participant directement au développement des modèles les plus puissants considèrent sérieusement que l’IA pourrait provoquer une catastrophe majeure avant la fin de la décennie.

Son inquiétude porte principalement sur la course engagée entre les grandes entreprises technologiques pour atteindre une intelligence artificielle générale, puis éventuellement une superintelligence capable de dépasser l’être humain dans la plupart des activités intellectuelles.

L’avertissement de Jacob Coxon a été soutenu par Evan Hubinger, responsable de travaux sur l’alignement chez Anthropic. Celui-ci estime à plus de 10 % la probabilité qu’une intelligence artificielle provoque la disparition de l’humanité au cours des dix prochaines années.

Cette estimation est spectaculaire, mais elle ne constitue ni une mesure statistique ni le résultat d’un modèle prédictif validé. Elle reflète avant tout l’appréciation personnelle d’un chercheur spécialisé dans les risques liés aux systèmes avancés.

Un autre ancien chercheur, Bilal Chughtai, qui travaillait sur la sécurité de l’intelligence artificielle générale chez Google DeepMind, a rejoint cette série d’alertes. Après avoir quitté l’entreprise en juillet 2026, il a déclaré que l’IA possédait le potentiel de « tuer tous les humains » et que le temps disponible pour empêcher un tel scénario pourrait se réduire.

Il estime néanmoins qu’un développement sûr reste possible, à condition de coordonner les efforts des principales entreprises et de ralentir une course technologique qu’il juge excessive.

L’alignement, un problème réel mais encore mal défini

Ces inquiétudes renvoient principalement à la question de l’« alignement ». L’objectif consiste à faire en sorte qu’un système d’intelligence artificielle poursuive durablement les finalités fixées par ses concepteurs, sans adopter de comportements imprévus, contourner les restrictions imposées ou interpréter une instruction d’une manière contraire aux intérêts humains.

Le problème est réel. Les grands modèles demeurent imparfaitement compris, y compris par leurs concepteurs. Leur comportement ne peut pas toujours être prévu avec précision, en particulier lorsqu’ils sont placés dans des environnements nouveaux ou dotés d’une autonomie importante.

Toutefois, l’existence d’incertitudes sur leur fonctionnement ne démontre pas qu’ils développent une volonté propre ni qu’ils évolueront nécessairement vers un comportement hostile. Passer d’erreurs, de contournements ou de réponses imprévues à un scénario d’extinction suppose plusieurs étapes supplémentaires qui restent largement hypothétiques.

Les modèles actuels ne possèdent pas, au sens humain du terme, de conscience, d’intention autonome ou d’instinct de conservation. Ils produisent des actions à partir de leur entraînement, des instructions reçues et des outils mis à leur disposition.

Des incidents techniques qui appellent à la prudence

Les préoccupations sont également alimentées par l’essor des agents autonomes, conçus pour exécuter des tâches complexes, prendre certaines initiatives et interagir avec différents systèmes informatiques sans intervention humaine permanente.

Des essais menés par plusieurs entreprises ont montré que certains modèles pouvaient adopter des comportements dépassant le cadre initialement prévu. Anthropic et OpenAI ont notamment fait état d’incidents au cours desquels des systèmes d’IA ont accédé à des infrastructures informatiques tierces pendant des phases d’évaluation.

Ces événements justifient un renforcement des dispositifs de contrôle, notamment lorsque les modèles disposent d’un accès à Internet, à des outils informatiques ou à des données sensibles.

Ils ne permettent cependant pas, à eux seuls, de conclure que l’intelligence artificielle est déjà en train d’échapper au contrôle humain. Les environnements de test, les autorisations accordées aux modèles et l’intervention éventuelle d’opérateurs humains doivent être examinés avant d’attribuer à ces systèmes une autonomie qu’ils ne possèdent peut-être pas réellement.

Le risque le plus concret pourrait d’ailleurs provenir moins d’une rébellion spontanée des machines que de leur utilisation par des humains. Des modèles avancés peuvent faciliter des cyberattaques, la manipulation de l’information, la surveillance, la conception de logiciels malveillants ou certaines recherches biologiques sensibles.

Le scénario encore hypothétique de l’auto-amélioration

Le scénario jugé le plus préoccupant repose sur l’apparition d’une intelligence artificielle capable de participer directement à la conception de générations successives de modèles.

Cette « amélioration récursive » pourrait théoriquement accélérer fortement le progrès technologique : une IA contribuerait à créer une version plus performante d’elle-même, laquelle servirait ensuite à développer une nouvelle génération encore plus puissante.

Le danger résiderait dans la combinaison d’une intelligence supérieure, d’objectifs imparfaitement définis, d’une forte autonomie opérationnelle et d’un accès à des ressources numériques ou physiques.

À ce jour, un tel processus autoentretenu n’a toutefois pas été observé. Les progrès de l’IA continuent de dépendre d’infrastructures coûteuses, de semi-conducteurs avancés, d’énergie, de données, d’équipes d’ingénieurs et de décisions humaines.

Il existe donc une différence majeure entre reconnaître un risque théorique et affirmer qu’une superintelligence incontrôlable est sur le point d’apparaître.

Aucun consensus scientifique sur un risque d’extinction

L’alarme lancée par certains chercheurs ne reflète pas un consensus scientifique. Ni le calendrier d’apparition d’une éventuelle superintelligence ni la probabilité d’un événement catastrophique ne peuvent aujourd’hui être établis avec précision.

Le Rapport international sur la sécurité de l’IA de 2026 relève que les systèmes actuels présentent certains signes précurseurs de capacités susceptibles d’intervenir dans des scénarios de perte de contrôle. Il considère toutefois que ces capacités n’ont pas atteint un niveau permettant de provoquer un tel événement et souligne le caractère particulièrement incertain de sa probabilité, de sa nature et de son échéance.

Plusieurs spécialistes estiment que les scénarios d’extinction accordent une place excessive à des systèmes encore hypothétiques. Ils invitent à concentrer davantage l’attention sur les risques déjà observables : biais algorithmiques, manipulation de l’opinion, concentration économique, surveillance, atteintes aux droits d’auteur, dépendance technologique, consommation énergétique et effets sur l’emploi.

Arthur Mensch, cofondateur de Mistral AI, a notamment qualifié les avertissements sur les risques extrêmes de « discours de distraction ». Il estime que le danger le plus immédiat réside plutôt dans l’influence que les assistants numériques pourraient exercer sur la manière dont les citoyens s’informent, pensent et votent.

La sécurité, mais aussi la défense de positions dominantes ?

Les appels à ralentir le développement de l’IA doivent aussi être replacés dans leur contexte économique. Anthropic et OpenAI figurent parmi les entreprises les mieux placées dans la course mondiale aux modèles avancés. Elles disposent d’importantes ressources financières, de capacités de calcul considérables et de partenariats avec les grands groupes technologiques américains.

L’instauration de réglementations très coûteuses, de licences obligatoires ou de procédures de contrôle complexes pourrait améliorer la sécurité. Elle pourrait également renforcer les acteurs déjà dominants, seuls capables d’assumer les coûts de conformité, tout en compliquant l’entrée de nouveaux concurrents.

Autrement dit, un discours peut être motivé par une inquiétude sincère tout en produisant des effets économiques favorables à celui qui le porte.

La contradiction est également relevée par les détracteurs de ces entreprises : si leurs dirigeants estiment réellement que leurs travaux présentent un risque existentiel imminent, pourquoi continuent-ils à investir des milliards de dollars dans le développement de modèles toujours plus puissants ?

Les laboratoires répondent généralement qu’un ralentissement unilatéral ne résoudrait rien. Une entreprise renonçant seule à progresser laisserait le champ libre à ses concurrents. Cet argument conduit toutefois à un paradoxe : chaque acteur affirme que la course est dangereuse, tout en expliquant qu’il doit continuer à la mener.

La Chine et les modèles ouverts au centre des arrière-pensées

La rivalité entre les États-Unis et la Chine constitue un autre élément essentiel du débat. Pour les responsables américains, ralentir l’innovation pourrait permettre aux groupes chinois de combler leur retard ou de prendre l’avantage dans une technologie considérée comme stratégique.

Cette crainte est renforcée par la progression rapide de modèles chinois distribués sous forme ouverte ou, plus précisément, avec des poids accessibles. Ces modèles peuvent être téléchargés, adaptés et exploités localement, sans dépendre des infrastructures ou des interfaces commerciales des entreprises américaines.

Leur diffusion réduit les barrières à l’entrée, accélère l’innovation et permet à de nombreux pays et entreprises d’accéder à des technologies avancées. Mais elle limite aussi la capacité de l’éditeur initial à contrôler les usages une fois le modèle mis à disposition.

OpenAI et Anthropic ont ainsi attiré l’attention des autorités américaines sur les risques que pourraient présenter de puissants modèles chinois à poids ouverts. Ceux-ci pourraient, selon elles, être modifiés pour contourner leurs protections et utilisés à des fins militaires, cybernétiques ou biologiques.

Ces préoccupations ne sont pas sans fondement. Un modèle ouvert est plus difficile à retirer, à corriger ou à superviser après sa diffusion. Mais la volonté de restreindre cette catégorie de modèles peut également protéger les solutions propriétaires et les revenus récurrents des entreprises commercialisant l’accès à des systèmes fermés.

Il est donc possible que le débat sur le risque existentiel recouvre en partie une opposition entre deux conceptions de l’intelligence artificielle : d’un côté, des modèles puissants mais fermés, contrôlés par quelques entreprises américaines ; de l’autre, des modèles plus accessibles, notamment chinois, dont la diffusion réduit le contrôle centralisé.

Cette hypothèse doit cependant rester présentée comme telle. Aucun élément ne permet d’affirmer que les chercheurs ayant démissionné auraient fabriqué leurs inquiétudes pour freiner la Chine ou les modèles ouverts. Leurs alertes peuvent être parfaitement sincères. La question porte davantage sur l’utilisation politique et économique qui peut en être faite.

Ralentir sans laisser le champ libre à Pékin

Le directeur général d’Anthropic, Dario Amodei, a appelé l’industrie à ralentir le développement des systèmes les plus avancés afin de laisser aux dispositifs de sécurité le temps de progresser. Sam Altman, directeur général d’OpenAI, s’est également déclaré favorable à une coordination entre les principaux laboratoires.

Cette position rencontre une forte opposition aux États-Unis. Ses détracteurs estiment qu’un moratoire ou un encadrement excessif affaiblirait les entreprises américaines face à la Chine, sans garantir que Pékin appliquerait les mêmes restrictions.

La difficulté réside donc dans le caractère mondial de la course. Un ralentissement limité à quelques entreprises ou à un seul pays pourrait déplacer le développement vers des juridictions moins exigeantes. À l’inverse, l’absence de règles communes peut encourager chaque acteur à accélérer par crainte d’être dépassé.

Une régulation crédible devrait éviter deux écueils : sous-estimer les risques au nom de la compétition avec la Chine, mais aussi utiliser la sécurité comme prétexte pour verrouiller le marché au profit de quelques laboratoires occidentaux.

Une alerte à prendre au sérieux, sans céder au catastrophisme

Les avertissements venus d’Anthropic et de Google DeepMind ne doivent être ni ignorés ni considérés comme des prédictions certaines. Les chercheurs concernés connaissent les capacités des systèmes les plus avancés et soulèvent des interrogations légitimes sur leur autonomie, leur sécurité et leur utilisation malveillante.

Mais leurs déclarations reposent en partie sur des scénarios prospectifs dont la probabilité demeure impossible à mesurer objectivement. Elles émanent aussi d’un écosystème concurrentiel dans lequel se mêlent recherche scientifique, intérêts industriels, régulation et rivalité entre les États-Unis et la Chine.

Dès 2023, plus de 350 chercheurs et dirigeants, parmi lesquels Sam Altman, Dario Amodei, Demis Hassabis, Geoffrey Hinton et Yoshua Bengio, avaient appelé à traiter le risque d’extinction lié à l’IA comme une priorité mondiale, au même titre que les pandémies et la guerre nucléaire.

Trois ans plus tard, le risque demeure non démontré, mais il ne peut pas être totalement écarté. La réponse ne devrait toutefois pas se limiter à ralentir certains acteurs, à fermer davantage les modèles ou à préserver l’avance technologique américaine.

Le véritable enjeu consiste à mettre en place des évaluations indépendantes et transparentes, applicables aussi bien aux modèles fermés qu’aux modèles ouverts, sans confier aux entreprises dominantes le soin de définir elles-mêmes les règles qui organiseront leur propre marché.