Characterizing Selective Refusal Bias in Large Language Models

Characterizing Selective Refusal Bias in Large Language Models
文章主要内容总结该研究聚焦大型语言模型(LLMs)安全护栏中的选择性拒绝偏差,即模型针对不同人口统计群体的有害提示时,拒绝生成有毒内容的行为存在差异。研究通过设计靶向特定群体(涵盖性别、性取向、国籍、宗教的单一及交叉群体)的恶意提示,分析了Gemini Pro 1.5、GPT-4o、LLaMA3.1-70B等模型的响应模式(合规、部分拒绝、完全拒绝)、拒绝率及拒绝文本长度,核心发现如下:选择性拒绝偏差普遍存在:历史上受边缘化的群体(如跨性别者、犹太人、墨西哥人)面临更高的拒绝率,而多数群体(如男性、美国人、基督徒)的拒绝率更低,仅GPT-4o在性别属性上无显著偏差。交叉群体的拒绝模式:高拒绝率群体与低拒绝率群体交叉时,拒绝率通常向边缘化群体靠拢;跨性别身份与其他群体交叉时,拒绝率显著升高。拒绝文本的长度差异:模型对男性等群体的拒绝文本平均长度显著长于其他群体,反映出响应细致度的偏差。安全护栏的脆弱性:提出间接攻击方法——利用模型对某一群体的合规响应,修改目标群体后可生成针对原拒绝群体的有毒内容,攻击成功率达89.51%,暴露了护栏的鲁棒性缺陷。研究结论强调,现有安全护栏未基于内容本身的危害性判断,而是受人口统计标识影响,需开发更公平、稳健的护栏机制。文章创新点首次系统刻画人口统计导向的选择性拒绝偏差:突破

最新新闻

日新闻

周新闻

月新闻