Notebookcheck Logo

DARPA 发布深度伪造检测工具并启动合作挑战以开发更多工具

DARPA 发布深度伪造工具,帮助打击人工智能图片、声音和新闻造假。(来源:DARPA)
DARPA 发布深度伪造工具,帮助打击人工智能图片、声音和新闻造假。(来源:DARPA)
美国国防部高级研究计划局(DARPA)发布了在其语义取证计划中开发的深度伪造检测工具,以应对人工智能威胁。近二十几款工具有助于检测深度伪造的照片和视频以及人工智能生成的文本和语音。每四周发布一次的 AI FORCE 挑战赛鼓励公众研究人员帮助开发创新解决方案,以应对生成式人工智能威胁。
AI Security Open Source

美国国防部高级研究计划局(DARPA)向公众发布了在其语义取证(SemaFor)计划中开发的深度伪造检测工具。该机构以许可或开放授权的方式提供了近二十多种工具,用于检测深度伪造的照片和视频以及人工智能生成的文本和语音。为了鼓励持续开发,人工智能取证开放研究挑战评估(AI FORCE)计划将每四周发布一系列合作挑战,以帮助开发新的工具和算法来应对人工智能威胁。

当谷歌工程师Blake Lemoine 在 2022 年声称称,谷歌的 LaMDA 人工智能知道自己是有知觉的。不管人工生命是如何定义的,人工智能的使用者肯定可以看到,人工智能的能力是巨大的,而且往往比人类的能力更强。看过《终结者》《壳中幽灵》的读者也会认识到,人工智能的威胁是巨大的,无论是由其用户发起还是自行其是。

DARPA 的使命"为国家安全的突破性技术进行关键性投资 "的使命,促使其在 SemaFor 计划中将人工智能威胁问题作为目标。该机构开发了一个由 19 个组件组成的分析目录,随着时间的推移还将增加更多组件。所有组件都是开源的,目的是向公众传播必要的反人工智能工具。

这些工具包括为检测人工智能威胁而开发的代码和算法,如人工智能在推特和其他网站上发布的假新闻和文本、 假新闻和文本、 假新闻和文本。在 Twitter 和其他地方发布的假新闻和文字、假冒拜登总统的电话以及伪造的教皇照片由 Midjourney 等生成工具创建的假教皇图片。

DARPA 还希望通过其 AI FORCE 计划与公共研究人员和开发人员合作,每四周锁定一个新的关注领域,以鼓励创新。想要开发反人工智能工具的读者需要一块快速的 Nvidia 显卡(比如亚马逊上的这款)。

深度伪造防御技术已做好商业化和过渡的准备

为促进语义取证技术向产业界和政府的过渡,DARPA 将启动相关工作,以加强对被操纵媒体的防御能力

[email protected]/14/2024

随着自动操纵技术越来越容易获得,以及社交媒体不断为病毒式内容分享提供成熟的环境,被操纵媒体的威胁在稳步增加。

大规模虚假信息传播的速度、规模和广度需要计算防御和自动算法来帮助人类分辨哪些内容是真实的,哪些内容是经过操纵或合成的,为什么以及如何操纵。

通过语义取证(SemaFor) 计划,以及之前的媒体取证计划。DARPA在被称为 "深度伪造"(deepfakes)的篡改和合成媒体的检测、归因和特征描述方面的研究投入,已经产生了数百种分析方法和手段,可以帮助组织和个人保护自己免受篡改媒体的多种威胁。

随着 SemaFor 进入最后阶段,DARPA 的投资已经系统地降低了开发风险--为新时代防御日益加剧的深度伪造威胁铺平了道路。现在,该机构正在呼吁更广泛的社区(包括在该领域开展研究的商业企业和学术界)利用这些投资。

为了支持这一转变,该机构正在启动两项新的工作,以帮助更广泛的社区继续保持防御受操纵媒体的势头。

第一项工作包括分析目录包含在 SemaFor 下开发的开源资源,供研究人员和行业使用。随着功能的成熟和可用,它们将被添加到该资源库中。

第二项工作是一项名为 "人工智能取证开放式研究挑战评估"(AI FORCE)的开放式社区研究工作,旨在开发创新而强大的机器学习或深度学习模型,以准确检测人工智能生成的合成图像。通过一系列小型挑战赛,AI FORCE 要求参赛者建立的模型能够辨别真实图像(包括可能使用非人工智能方法篡改或编辑过的图像)和完全合成的人工智能生成图像。这项活动将于 3 月 18 日启动,并将从SemaFor 项目页面链接到该活动。.希望获得通知的用户可以登录https://lp.constantcontactpages.com/su/9rZHGPf信息创新办公室通讯。

据 DARPA 和 SemaFor 研究人员称,需要商业部门、媒体机构、外部研究人员和开发人员以及政策制定者共同努力,开发和部署应对操纵媒体威胁的解决方案。SemaFor 正在提供必要的工具和方法,帮助人们解决这一问题。

"DARPA语义取证项目经理Wil Corvey博士表示:"我们的投资为这一及时、必要且蓄势待发的机遇领域播下了种子。"在全球工业界和学术界的帮助下,语义取证项目已经准备好分享我们已经开始的工作,以加强在数字世界中捍卫真实性所需的生态系统。

有关上述工作和资源的更多信息,请访问https://www.darpa.mil/program/semantic-forensicshttps://semanticforensics.com/.

欲了解有关 SemaFor 计划的更多信息和所产生技术的概述,请访问https://www.darpa.mil/news-events/2023-06-16,查看 "DARPA 之声 "节目 "揭开深度伪造的神秘面纱"。

Please share our article, every link counts!
> Notebookcheck中文版(NBC中国) > 新闻 > 新闻档案 > 新闻档案 2024 06 > DARPA 发布深度伪造检测工具并启动合作挑战以开发更多工具
David Chien, 2024-06- 3 (Update: 2024-06- 3)