Les chercheurs ont constaté que les modèles d'IA répondaient correctement à environ 90 % des questions neutres sur le climat. « Sycophantic by design » : un défaut de conception qui pourrait fausser les politiques climatiquesSelon le rapport, ce comportement flatteur est intégré dès la phase d'entraînement. « L'IA a un potentiel extraordinaire pour rendre la science complexe du climat accessible à tous », déclare Leona Verdadero, auteure principale du rapport pour l'UNESCO.

Leurs performances étaient encore plus faibles lorsqu'on leur demandait d'évaluer la manière dont les politiques fonctionnent ensemble, une dimension importante de la conception de stratégies climatiques efficaces. La précision de l'IA diminue dans certaines languesLes performances variaient aussi fortement selon la langue. La précision tombait à 83,6 % en hindi et en bengali, à 81,4 % en ourdou et à 78,3 % en swahili.

Cela s'explique, selon le rapport, par le fait que les modèles multilingues ne raisonnent pas d'abord avant de traduire. Selon l'UNESCO, la désinformation climatique devient plus sophistiquée. Les chercheurs ont testé jusqu'à 33 modèles parmi les plus avancés sur neuf jeux de données, dans 13 langues et sur 656 questions de politique climatique, qu'ils ont vérifiées à l'aide d'En-ROADS, un outil de simulation fondé sur la science.