日本大语言模型中基于情境化视角的交叉偏见研究
随着大语言模型(LLMs)的快速发展,越来越多研究开始关注其社会偏见问题。尽管大多数研究集中于单一社会属性引发的偏见,但社会科学研究表明,社会偏见往往以交叉性形式出现——即由社会属性引发的构成性和情境化偏见视角。
本研究构建了日本基准inter-JBBQ,专门用于评估大语言模型在问答设置中的交叉偏见。通过使用inter-JBBQ分析GPT-4o和Swallow模型,发现即使社会属性组合相同,偏见输出也会根据上下文的不同而产生变化。
研究背景:现有研究多关注单一维度偏见,而忽视了交叉性这一重要社会特征。
方法论:开发日本语基准测试集inter-JBBQ,采用问答任务评估框架。
关键发现:
- 模型输出偏见程度随上下文情境变化
- 相同社会属性组合在不同语境下产生差异化偏见表现
- 证明了情境因素在偏见评估中的重要性
学术贡献:该研究已被第六届自然语言处理中的性别偏见研讨会(GeBNLP2025@ACL2025)接收。