"Les gens qui construisent l'IA croient sincèrement qu'elle pourrait tous nous tuer d'ici la fin de la décennie. " Un chercheur en intelligence artificielle (IA), parti de la start-up américaine OpenAI pour rejoindre sa concurrente Anthropic, a annoncé quitter cette industrie, dans une publication sur X mardi 8 septembre.

Jacob Coxon, un Britannique de 27 ans, travaillait depuis trois ans sur le pré-entraînement, l'étape où les modèles absorbent d'immenses quantités de données, d'abord chez OpenAI puis, cette année, chez son grand rival Anthropic. "Aucune des deux entreprises n'agit de manière responsable", a critiqué le chercheur en IA.

Les champions de l'IA disent voir approcher le stade de "l'auto-amélioration récursive", au-delà duquel un modèle concevrait seul son successeur, hors de tout contrôle humain. Selon Jacob Coxon, ses collègues emploient les termes "crunchtime" (moment décisif) et "endgame" (fin de partie) pour décrire cette trajectoire.

Il juge sincères les efforts d'Anthropic pour l'éviter, mais estime qu'aucune entreprise ne peut développer de manière responsable une IA surpassant les humains sans l'intervention des Etats ou un ralentissement coordonné. Une croyance qui n'est pas unanimeUn responsable de la sûreté d'Anthropic, Evan Hubinger, lui a donné raison sur X.

"Nous croyons vraiment sincèrement que l'IA pourrait tuer tous les humains", a-t-il reconnu, estimant à titre personnel ce risque à "plus de 10%" d'ici la fin de la décennie. L'inquiétude sur les "risques existentiels" créés par les IA n'est pas nouvelle.

Le secteur de l'IA est depuis toujours tiraillé entre plusieurs tendances, allant de l'accélérationnisme débridé au freinage complet face à la peur d'une superintelligence qui pourrait, de son propre chef ou non, détruire l'humanité. Des chercheurs, ONG et entreprises lancent régulièrement des appels à ralentir le développement de l'IA de manière coordonnée au niveau international.

)La démission de Jacob Coxon intervient alors qu'Anthropic prépare une entrée en Bourse géante, après un été marqué par des piratages menés, sans autorisation, par des outils d'IA en test de plusieurs laboratoires. Sollicitées par l'AFP, les deux entreprises n'avaient pas réagi immédiatement.