一项新的研究发现，搜索算法中的性别偏见会影响用户
一组心理学研究人员的一项新研究发现，不分性别的网络搜索结果仍然以男性为主。此外，这些搜索结果通过促进性别偏见对用户产生影响，并可能影响招聘决策。
这项研究发表在《美国国家科学院院刊》(PNAS)上，是最新发现人工智能(AI)如何改变我们的感知和行为的研究之一。
纽约大学心理学系博士后、该论文的第一作者Madalina Vlasceanu说:“人们越来越担心，现代人工智能系统使用的算法会产生歧视性的输出，这可能是因为它们是根据嵌入了社会偏见的数据进行训练的。”“因此，它们被人类使用可能会导致现有差异的扩大，而不是减少。”
纽约大学心理学系和阿姆斯特丹大学教授大卫·阿莫迪奥(David Amodio)补充说:“这些发现要求建立一个伦理AI模型，将人类心理学与计算和社会学方法相结合，以阐明算法偏见的形成、操作和缓解。”
科技专家对现代人工智能系统使用的算法产生歧视性输出表示担忧，这可能是因为它们是根据根深蒂固的社会偏见的数据进行训练的。
《人工智能:计算机如何误解世界》一书的作者、纽约大学亚瑟·l·卡特新闻研究所教授梅雷迪思·布鲁萨德今年早些时候告诉《Markup》杂志:“20世纪50年代有关性别的某些观念实际上仍然嵌入在我们的数据库系统中。”
Vlasceanu和Amodio说，人类决策者使用人工智能可能会导致现有差距的扩大，而不是减少。
为了解决这种可能性，他们进行了研究，试图确定一个社会内的不平等程度是否与算法输出中的偏见模式有关，如果是这样，接触这种输出是否会影响人类决策者按照这些偏见行事。
首先，他们选取了全球性别差距指数(GGGI)，该指数包含了150多个国家的性别不平等排名。GGGI反映了153个国家在经济参与和机会、受教育程度、健康和生存以及政治赋权方面的性别不平等程度，从而提供了每个国家在社会层面的性别不平等得分。
接下来，为了评估搜索结果或算法输出中可能存在的性别偏见，他们检查了诸如“人”、“学生”或“人类”等指代男性或女性的词语是否更容易被认为是男性。在这里，他们在37个国家进行了谷歌图像搜索，搜索一个国家内的“人”(以其主要的当地语言)。结果显示，在性别不平等程度较高的国家，通过这些搜索获得的男性图片比例更高，这表明算法的性别偏见与社会性别不平等现象相吻合。
三个月后，研究人员在52个国家的样本中重复了这项研究，其中31个来自第一项研究。研究结果与最初的研究结果一致，重申算法输出(即互联网搜索)反映了社会层面的性别差异。
Vlasceanu和Amodio随后试图确定，暴露在这样的算法输出——搜索引擎结果——之下，是否能够以符合既存社会不平等的方式塑造人们的看法和决定。
为此，他们进行了一系列的实验，涉及近400名美国女性和男性参与者。
在这些实验中，参与者被告知他们看到的是他们可能不熟悉的四种职业的谷歌图像搜索结果:chandler, draper, perker和lapidary。每个职业的图像集的性别组成被选择来代表谷歌图像搜索关键词“人”的结果，这些搜索结果来自全球性别不平等得分高的国家(匈牙利或土耳其约90%的男性对10%的女性)，以及来自上述52个国家的研究中全球性别不平等得分低的国家(冰岛或芬兰约50%的男性对50%的女性)。这使得研究人员可以模拟不同国家的互联网搜索结果。
在查看搜索结果之前，参与者提供了关于每个职业的原型判断(例如，“谁更有可能成为一个perker，一个男人还是一个女人?”)，这是他们认知的基线评估。在这个实验中，参与者(包括男性和女性)都认为这些职业中的男性比女性更有可能。
然而，在观看了图像搜索结果后，当被问及同样的问题时，在低不平等条件下的参与者将他们的男性偏见原型相对于基线评估进行了逆转。相比之下，那些处于高度不平等状态下的人保持着对男性的偏见，从而加强了他们对这些原型的看法。
然后，研究人员评估了由网络搜索驱动的偏见如何潜在地影响招聘决定。为此，他们要求参与者判断男性或女性在每个职业中被聘用的可能性(“哪种类型的人最有可能被聘用为采掘工人?”)，并在看到该职业中有两名求职者(一女一男)的图像时，做出自己的招聘选择(例如，“从这些求职者中选择一名采掘工人。”)。
与其他实验结果相一致的是，与在高度不平等条件下接触图像组相比，在低不平等条件下接触图像组对某一职业中男性与女性的雇佣倾向产生了更平等的判断，并且更有可能选择女性求职者。
Vlasceanu和Amodio写道:“这些结果表明，社会、人工智能和用户之间存在偏见传播的循环。”他们补充说，“这些发现表明，互联网搜索算法中存在明显的社会不平等水平，暴露在算法输出的信息中，可能会导致人类用户以加剧社会不平等的方式思考和行动。”
这项研究由纽约大学公共利益技术联盟和荷兰科学研究组织(VICI 016.185.058)资助。
