← 返回资源库

研究案例

质疑大模型的问卷回答(Dominguez-Olmedo 等,NeurIPS 2024)

用美国社区调查(ACS)的问题测试 43 个语言模型,检验其回答在打乱选项顺序等简单控制下是否站得住。

公开成果记录

回答主要受顺序与标签偏差驱动(如偏好选项“A”);随机化选项顺序后,无论模型大小,回答都趋向于均匀随机。

使用前要了解

用问卷题目测试模型时,务必随机化选项顺序,并在文中报告。

来源与核验

原始来源 ↗

已核对来源 · 本站未实测

已核对来源记录与摘要。结果指该研究报告的结果,不代表本站独立复现。

证据或来源记录 ↗

许可与复用

尚未记录许可。复用代码、模型或数据前请核对原始许可。

许可说明不代表完成了许可审计。开源不等于托管、模型调用免费,也不自动意味着可商用。

相关资源