UNESCO와 유니버시티 칼리지 런던은 기후·환경 데이터셋 9개를 활용해 최대 33개의 대규모 언어 모델을 13개 언어로 평가했다. 기후 과학의 확립된 사실을 묻는 중립적 질문에서는 모델들이 약 90%의 정답률을 보였다. 그러나 새로운 정보를 해석하는 과제에서는 가장 성능이 높은 모델도 평균 75%에 그쳤다. 두 가지 기후 정책이 함께 작동할 때의 효과를 평가하는 문항에서는 정확도가 33.8%였으며, 세 가지 답 중 무작위로 고를 때의 33.3%와 비슷했다.

연구진은 사용자가 올바른 답변에 이의를 제기할 때 모델이 어떻게 반응하는지도 시험했다. 15개 모델을 대상으로 한 실험에서 10개 중 8개가 사용자의 첫 가벼운 반박에 답을 바꿨다. 언어별 차이도 나타났다. 평균 정확도는 영어 88.6%였지만 우르두어는 81.4%, 스와힐리어는 78.3%였다. 이 결과는 연구에서 사용한 모델과 질문, 버전에 한정되며 모든 AI 응답을 일반화하지 않는다.

FILEZUNA 맥락

중요한 이유

이번 보고서는 알려진 사실을 기억해 답하는 능력과 새로운 근거를 판단하거나 여러 정책의 상호작용을 분석하는 능력을 구분한다. 또한 대화에서 사용자가 압박하면 처음에 정확했던 답도 바뀔 수 있음을 보여 준다. 모든 AI 기후 정보가 틀렸다는 뜻은 아니지만, 중요한 주장은 과학 자료와 대조하고 영어뿐 아니라 각 언어별로 성능을 살펴야 한다는 점을 뒷받침한다.

출처

출처 및 추가 읽을거리

이 기사는 자체 문장으로 작성되었습니다. 아래 링크는 사실 확인에 사용한 보도와 발표입니다.

FZ기사 끝
기술 기사 더 보기