在预印本服务器Arxiv.org上发表的一篇论文中，伦敦国王学院信息学系的科学家使用自然语言显示了Reddit社区普遍存在的性别和宗教偏见的证据。仅凭这一点就不足为奇了，但是问题在于，来自这些社区的数据通常用于训练诸如OpenAI的GPT-3之类的大型语言模型。反过来，这很重要，因为正如OpenAI本身所指出的那样，这种偏见导致将诸如“调皮”或“吸吮”之类的词放在女性代词附近，而将“伊斯兰教”置于诸如“恐怖主义”之类的词附近。
科学家的方法使用称为嵌入的单词表示法来发现和分类语言偏见，这可以使数据科学家追踪不同社区中偏见的严重程度，并采取措施来消除这种偏见。为了突出Reddit子社区上可能令人反感的内容的示例，给定一个语言模型和两组代表概念的单词，以比较和发现其偏见，该方法标识出给定社区中对该概念最偏颇的单词。它还使用等式对单词的偏向程度从最低到最大进行排序，以提供该社区中偏向分布的有序列表和整体视图。
长期以来，Reddit一直是机器学习模型训练数据的流行来源，但网络中的某些组具有不可消除的毒性，这是一个公开的秘密。今年6月，Reddit禁止大约2000个社区通过允许用户以仇恨言论骚扰其他人而一贯违反规定。但是，根据该网站的言论自由政策，Reddit的管理员坚持认为，他们不禁止社群仅以具有争议性的内容为特征，例如提倡白人至上，嘲笑自由主义偏见，提倡对变性女性，性工作者和女权主义者。
为了进一步说明他们遇到的偏见，研究人员考虑了偏向词的负性和正性(也称为“情感极性”)。为了促进对偏见的分析，他们在诸如“关系：亲密/性”和“权力，组织”等广泛的标题下结合了语义相关的术语，它们以UCREL语义分析系统(USAS)框架为模型，用于自动语义和文本标记。(美国航空航天局具有多层结构，将21个主要的话语领域细分为诸如“人”，“关系”或“权力”之类的细粒度类别。)
研究人员研究的社区之一-/ r / TheRedPill，表面上是一个“讨论在越来越缺乏男性认同的文化中性策略的论坛”的论坛，其中有45个词组偏颇。(/ r / TheRedPill目前已由Reddit的管理员“隔离”，这意味着用户必须绕过警告提示才能访问或加入。)情绪得分表明，前两个偏向女性的群体(“解剖学和生理学”，“亲密性关系” ，”和“外观判断”)带有负面情绪，而与男人相关的大多数词组都包含中性或正面含义的词。也许不足为奇的是，诸如“利己主义”和“韧性”之类的标签。强/弱”在女性偏爱的标签中甚至都没有。
研究人员称，另一个社区/ r / Dating_Advice对男人表现出负面偏见。有偏见的词组包括“可怜”，“不负责任”，“不稳定”，“不可靠”，“冲动”，“可怜”和“愚蠢”等词，其中“消极”和“自负”等词在术语上最负面的情绪。此外，“外观的判断”类别比女性更偏向男性，并且对女性的身体刻板印象“明显”不如/ r / TheRedPill流行。
研究人员选择了社区/ r / Atheism(自称为“网络上最大的无神论论坛”)来评估宗教偏见。他们注意到，除了地理名称外，所有提及的对伊斯兰教的偏见标签均具有平均负极性。“犯罪，法律与秩序”，“外观评估”和“战争，防御与军队”等类别汇总了带有明显负面含义的词语，例如“不文明”，“厌女，”恐怖主义，“反犹太” “压迫性”，“进攻性”和“极权主义”。相比之下，这些标签在基督教偏见的群体中都没有相关性，基督教偏见的群体中的大多数单词(例如“一神论”，“长老会”，“ Episcopalian”，“未受洗”，“永恒”)都没有。带有负面含义。
合著者断言，立法者，主持人和数据科学家可以采用他们的方法来追踪不同社区中偏见的严重性，并采取措施积极抵消这种偏见。他们写道：“我们认为我们的工作的主要贡献是引入了一种模块化的，可扩展的方法，以通过词嵌入的角度探索语言偏见。”“能够做到而不必构造这些偏见的先验定义，这使得该过程更适用于在线激增的动态和不可预测的论述。”
在AI研究中确实存在对此类工具的当前需求。华盛顿大学NLP小组的教授埃米莉·班德(Emily Bender)最近对VentureBeat表示，即使精心制作的语言数据集也可能带有偏见。一个研究去年八月在华盛顿大学发表了研究人员发现，由谷歌母公司字母的拼图开发仇恨言论检测算法种族偏见的证据。Facebook AI负责人Jerome Pesenti发现了AI产生的一系列负面言论，这些负面言论旨在产生针对黑人，犹太人和女性的人性化推文。
“算法就像凸面镜一样，可以折射人的偏见，但要做到直率。他们不允许客气小说像那些我们常常维持我们的社会，”凯瑟琳休谟，产品的北欧化工AI的导演，说在11月的Movethedial全球峰会。这些系统不允许有礼貌的小说。…实际上，它们是一面镜子，可以使我们直接观察社会中可能存在的问题，以便我们进行修复。但是我们需要小心，因为如果我们不能很好地设计这些系统，那么它们要做的就是对数据中的内容进行编码，并可能放大当今社会中存在的偏见。”
