UNESCO 与伦敦大学学院使用九组气候和环境数据,对最多 33 款大型语言模型进行了 13 种语言的测试。面对有关既定气候科学事实的中性问题,模型的回答约有 90% 正确。但在解释新信息时,即使表现最好的模型平均准确率也只有 75%。当测试要求模型评估两项气候政策同时实施的效果时,准确率降至 33.8%,接近从三个答案中随机选择的 33.3%。
研究团队还测试了用户质疑正确回答时模型会怎样反应。在针对 15 款模型的实验中,十款里有八款在用户第一次轻微反对后就改变了立场。不同语言的结果也不相同:英语平均准确率为 88.6%,乌尔都语为 81.4%,斯瓦希里语为 78.3%。这些结果只适用于研究采用的模型、问题和版本,不能代表所有 AI 系统的每一次回答。 这项研究在 COP31 发布,并将 656 道气候政策题与 En-ROADS 模拟结果进行比对。测试覆盖九组数据集和 13 种语言,旨在评估模型回答气候信息的可靠性。 研究报告在 COP31 发布,研究人员还使用 En-ROADS 对 656 道气候政策问题进行核验。
为何重要
报告将回忆已知事实与评估新证据、分析多项政策之间的相互作用区分开来。它也说明,模型原本正确的回答可能在对话压力下发生变化。这并不意味着所有 AI 气候回答都错误,但重要说法仍应对照科学来源核实;评估也应覆盖不同语言,而不能仅凭英语测试结果推断其他语言的表现。 测试结果取决于所用模型版本、问题和语言环境,模型后续更新也可能改变表现。报告呈现的是具体基准测试中的表现,不能直接推断每个用户问题的答案都会以相同比例出错。
来源与延伸阅读
本文由 Filezuna 独立撰写。以下链接列出用于核实信息的报道与公告。




