Cohere用6200条文化谜语测28个AI模型

一道谜语暴露的文化错位

Cohere研究博客介绍了一项名为CulturalRiddles的开放科学合作：来自62个文化社群的194名志愿者，用六个月时间用各自语言撰写原创谜语，最终形成51种语言、45个国家、6200条谜语的基准，用来测试28个AI模型。研究起点是一位匈牙利外交官发现，声称会说匈牙利语的模型常常抓不住当地文化，于是先写了匈牙利语谜语做小规模测试，模型倾向于乱猜或编造，而不是承认不确定。

谜语被选作测试材料，是因为它要求把看似不相关的文化知识连接起来使用，而不只是复述可以搜索到的事实。团队在博客中打比方：知道一种语言却没有相应文化，像读菜单却从未尝过那道菜。

分数背后的地区落差

整体上最好的模型答对79%的谜语，但这个数字掩盖了明显落差。卢森堡的谜语里，许多模型能认出“黑色政党”指基督教社会人民党；而乌干达Lumasaba语和印尼Mongondow语的谜语，没有任何模型超过22%正确率。埃塞俄比亚Afaan Oromo语的一条谜语“山上的窄路”，28个模型无一答出正确答案“眉毛”。

得分最高的模型均为闭源模型，在它们熟悉的文化（如美国、日本、法国）上表现好，在印尼Mongondow、Buginese和乌干达Lumasaba谜语上明显吃力。团队据此认为，现有基准常把文化当作静态事实集合，而这里测的是在特定地方长大才会知道的东西。

翻译只补上一小段

一个自然的解释是语言覆盖不足。团队把五个最难社群的部分谜语译成英文，交给五个模型作答，平均正确率从22%升到32%。有提升，但大部分难度在翻译后仍然存在，因此语言障碍只能解释差距的一小部分。

另一个发现与答题姿态有关。研究者明确告诉模型可以回答“不知道”，但模型只有0.7%的作答这样做；在人工核查的答案中，约31%是编造的，编造方式各有不同。这与最初匈牙利语测试中观察到的现象一致。

模型还倾向于给出更熟悉的答案。肯尼亚一条谜语问“疯狂快车的家”，多个模型说出那列火车的绰号，却没有一个答出正确答案——内罗毕的铁路博物馆。德国谜语问一项“为球而战、但在另一种介质里”的运动，28个模型中有18个答“水球”，正确答案是在德国发明的水下橄榄球。

这项基准能说明什么

这项研究把文化理解拆到社群层面，并公开了谜语、代码、演示和交互面板，允许人们通过审核流程补充自己文化的谜语。它展示的是当前模型在“从成长经历中获得的知识”上的短板，而不是模型是否具有文化或意识。

需要留意的是，材料来自研究团队的博客，完整技术报告未在提供文本中展开；专家评分如何与LLM评审校准、各模型的规模与训练细节，均需以报告为准。模型在谜语上的正确率，也不能直接换算为它在真实对话中理解某地文化的能力。