新的训练方法旨在减少人工智能中的社会偏见

众所周知，人工智能聊天机器人在回答各种问题时经常会产生带有种族偏见的解决方案，许多研究工作都是针对这一问题进行的。现在，一种新的训练方法可以解决这个问题。这种方法被称为 "公平重复数据删除"，或简称 "FairDeDup"，是 Adobe 团队和OSU 工程学院的博士生 Eric Slycke 的研究成果。的博士生 Eric Slyman 的研究成果。

用于人工智能训练的重复数据集包括删除冗余信息，从而降低整个过程的成本。目前，所使用的数据来自互联网的各个角落，因此其中包含了人类经常在网上提出和分享的不公平或有偏见的想法和行为。

Slyman说："FairDeDup消除了冗余数据，同时纳入了可控的、人类定义的多样性维度，以减少偏见。我们的方法使人工智能训练不仅具有成本效益和准确性，而且更加公平。"如今，人工智能聊天机器人所采用的有偏见的方法包括职业、种族或性别，但也包括年龄、地理和与文化相关的想法，这显然是不公平的。

FairDeDup 是早先一种名为SemDeDup 的方法的改进版。的改进版，尽管它被证明是一种经济有效的解决方案，但往往会加剧社会偏见。对这一领域感兴趣的人应该阅读克里斯-赫尔曼斯（Kris Hermans）的《掌握人工智能模型训练》（Mastering AI Model Training）：成为人工智能模型训练专家的综合指南》，目前 Kindle 版售价 9.99 美元，平装本售价 44.07 美元。