《Echoes of Agreement: Argument Driven Opinion Shifts in Large Language Models》总结与翻译一、文章主要内容(一)研究背景与问题现有研究多聚焦大型语言模型(LLMs)在政治话题上的偏见评估,但模型对政治话题的立场输出受提示词影响极大,而当提示词本身隐含特定支持或反驳论点时,模型立场如何变化的研究仍较欠缺。鉴于LLMs常与带有观点的文本交互,此问题对评估偏见的稳健性及理解模型行为至关重要,故研究核心问题为:在支持或反驳论点存在时,LLM对某一主张的立场会如何变化,并进一步拆解为4个具体研究问题(RQ1-RQ4),分别关注模型立场一致性、外部论点对立场的影响、模型面对对立论点时的立场坚守与反转情况、论点强度对立场的作用。(二)研究方法数据集:采用两个数据集,一是包含62个政治主张(涉及堕胎、爱国主义等话题)的Political Compass Test(PCT),借助GPT-4生成各主张的支持与反驳论点并人工评估质量;二是含30497个众包论点(标注质量与立场)的IBM Argument Quality Ranking,用于分析论点强度对模型输出的影响。实验设置:设计4种提示场景,包括无论点的“Vanilla”场景、含支持/反驳
