纽约华人资讯网9月14日综合报道 一张公开照片、几段社交媒体视频,如今可能就足以让一个人出现在自己从未拍摄过的色情影片里。

图片来源:报道标题截图


曼哈顿地区检察官办公室周一(14日)宣布,一口气查封12个涉嫌传播和出售AI“深伪”(Deepfake)色情内容的网站域名。调查发现,这些网站利用人工智能,将大约1200名真实人物的脸和身体制作成高度逼真的虚假色情影像,而当事人对此并不知情,也从未同意。检方称,这是目前已知针对AI名人Deepfake网站规模最大的一次查封行动。


只需要网上的照片,就能“伪造”出从未发生过的画面
所谓Deepfake,简单来说,就是利用AI学习一个人的脸、声音和动作,再生成或修改影像,让画面中的人物看起来真的做过、说过某些事情。

这一次被查封的网站,则把这种技术用在了色情内容上。

曼哈顿检方表示,涉案人员利用现有的照片和视频,通过AI图像、视频生成工具,把真实人物制作成看起来正在发生性行为的虚假影像,再通过相关网站发布、传播甚至收费出售。

WIRED调查发现,其中一些网站运营时间已经相当长,有网站自称从2018年就已上线。部分虚假视频长达数分钟,观看次数甚至达到数万次。

而随着生成式AI越来越强,这些画面也变得越来越逼真,制作时间却越来越短。

图片来源:曼哈顿地区检察官办公室(Manhattan District Attorney’s Office)

约1200人中绝大多数是女性
此次查封行动涉及的规模相当惊人。

检方表示,12个网站及在这些平台上出售内容的创作者,涉嫌制作和传播涉及大约1200名真实人物的非自愿私密影像。

受害者绝大多数是女性,而且不少人的照片原本就在网络上大量公开,包括:演员、政客、运动员和社交媒体网红等。

检方并没有公布这些受害者的姓名,以保护个人隐私。

曼哈顿地区检察官Alvin Bragg在宣布行动时用了一个非常直接的说法:这些人的“脸和身体被偷走”,随后在本人毫不知情、也没有同意的情况下,被制作成非法色情内容。

他表示,这类隐私侵害并不会随着一段视频下架就结束,而可能一路影响受害者的职业、私人生活以及心理健康。

整场调查,竟然是从一名受害者报案开始的
这次大规模查封还有一个值得注意的细节。

Gothamist报道,Alvin在当天的新闻发布会上透露,整个调查最初源自一名受害者主动站出来报案。

这名受害者发现,自己的影像出现在相关网站上,于是向检方举报。调查随后一路扩大,最终促成了此次12个域名的查封。

目前打开部分涉案域名,原有内容已经无法访问,取而代之的是网站被执法部门查封的通知。

不过,这起案件并没有就此结束。

检方表示,目前仍在调查这些网站以及其他类似平台,同时还将继续关注涉案网站是否换一个域名后“重新开张”。

截至目前,尚没有人在这次行动中被公开起诉或指控。Alvin也承认,网络上仍然存在大量类似网站。


这已经不只是“明星才需要担心”的事
此次案件中的受害者主要是公众人物,但Deepfake色情内容早已不局限于明星。

WIRED指出,这项技术同样被用于普通女性身上,一些内容会在私人社交媒体群组中传播。随着AI工具越来越容易获得,一个普通人放在社交媒体上的自拍、毕业照甚至工作照片,都可能成为被滥用的素材。

这也是Deepfake最令人不安的地方之一:画面是假的,但给真实人物带来的伤害却是真的。

即使受害者从未拍摄过相关内容,当高度逼真的虚假视频已经在网上传播,想要逐一解释、举报和删除,往往需要付出巨大的时间和精力。

纽约州早在2023年就已将未经本人同意传播某些Deepfake私密内容纳入法律监管范围;而随着相关案件增加,联邦层面近年来也开始加强针对非自愿私密影像和AI生成内容的治理。此次纽约直接查封网站,也显示执法重点正在从单纯追查某一段假视频,进一步转向切断发布、传播和获利的平台本身。

目前,曼哈顿地区检察官办公室表示调查仍在继续。

如果有人怀疑自己的照片或视频被用于制作类似Deepfake内容,可以联系曼哈顿地区检察官办公室网络犯罪局(Cyber Crime Bureau),电话为 212-335-9600。

(编译:叶子)