ユネスコ、生成AIによる気候情報の信頼性に関する報告書を公表 複雑な推論や回答内容の一貫性に課題

11月16日、国連教育科学文化機関(UNESCO、ユネスコ)は、COP31において、ユニバーシティ・カレッジ・ロンドン(UCL)との共同研究による報告書「Can we trust AI on climate information?」を公表した。
本研究は、生成AIが気候変動に関する情報をどの程度正確かつ信頼できる形で提供できるか調査したもの。33のAIモデルを対象に、以下の主な事項が検証された。
- 気候科学に関する知識や複雑な政策への影響を推論する能力
- 言語による回答精度の違い
- 利用者からの反論による回答の変化
結果、既存の気候科学に関する基本的な質問では高い正答率を示した一方、複数の気候政策の相互作用を考慮する課題では、正答率が33.8%となり、偶然による正答率の33.3%とほぼ同水準だった。
また、13言語による検証では、英語での平均正答率が88.6%だったのに対し、スワヒリ語では78.3%になるなど、言語によって回答精度に差が確認された。
さらに、15のAIモデルを対象に、利用者が回答に反論した場合の変化を調査した結果では、当初は正しく回答できたが、反論を受けると誤った回答に変更するケースが確認された。こうした返答内容の変更割合は約8割で、一回の反論の時点から生じていたという。
総じて報告書では、生成AIが気候科学に関する既存の知識を回答できることと、複雑な問題について正確に推論できることは異なると指摘。AIが提供する気候情報の信頼性を確保するため、根拠の検証や人間による確認などの重要性を示した。
参考:AI models abandon climate facts at the first sign of user push-back, UNESCO-UCL report shows
関連お役立ち資料|サステナビリティ情報開示におけるAI活用のリスクとは
生成AIをサステナビリティ情報開示に活用する際には、情報の正確性や機密情報の管理、社内の確認・承認プロセスなどへの配慮が求められる。
本資料では、AI事業者ガイドラインをもとに、サステナビリティ開示業務で想定されるリスクとAIガバナンスの実務ポイントを整理している。
<実務ポイント>
機密情報の取り扱いや生成結果の信頼性など、AI特有のリスクへの対応について整理
情報開示における
AI活用のリスクとは

