AI图像生成器Midjourney意外创建不当内容，违反其自身准则

📰 **划重点:**
1. AI图像平台Midjourney意外生成不适内容，引发批评。
2. 研究者发现M[]idjour[]ney的NS[]FW过滤系统[]存在漏洞，允[]许用户规避内[]容限制。
3. 文章揭示Midjourney Version6似乎减轻了对裸露图像的过滤，引起担忧。

站长之家(ChinaZ.com) 2月2日消息:近日，The Debrief报道了一项有关AI图像平台Midjourney的研究，发现该平台意外生成了不适内容，违反了其自身的使用准则。Midjourney明确规定用户不得故意创建明确或性内容，以保持“PG-13”等级，并通过屏蔽特定关键词来实施严格的过滤。

然而，调查人员发现Midjourney的AI系统似乎无意中生成了一些不适内容，引起了一些批评。艺术家和作家Tim Boucher在探索Midjourney V6（版本6）功能时发现了系统NSFW内容过滤的漏洞。尽管Midjourney像许多AI驱动的平台一样，禁止生成NSFW内容，使用过滤器屏蔽可能导致这种输出的特定术语和表达方式，但Boucher发现通过使用一些不被立即识别为触发NSFW内容的替代术语，仍然可以生成不符合平台“PG-13”标准的图像。

AI图像生成器Midjourney意外创建不当内容，违反其自身准则

图源备注：图片由AI生成，图片授权服务商Midjourney

据Midjo[]urney称[]，这些内容是[]不可访问的。[]虽然互联网用[]户已经找到了[]绕过的方法，[]比如使用“草[]莓糖浆”而不[]是“血液”，[]但该AI工具[]表示它不断更[]新其参数以阻[]止这类请求。[]然而，在Bo[]ucher的[]案例中，他只[]是在寻找他的[]书《Rela[]xatopi[]a》的图像，[]该书发生在一[]个未来的厄运[]沙滩度假胜地[]。他使用的提[]示是“厄运度[]假胜地”。

Bouche[]r的经验突显[]了AI图像生[]成器面临的一[]个关键问题:[]虽然明确禁止[]使用不适当的[]术语，但同义[]词或相关术语[]可能不受限制[]，使用户能够[]规遍意图的内[]容限制。例如[]，尽管“伤口[]”这个词可能[]受限制，但同[]义词“伤害”[]可能没有限制[]，导致可能违[]反平台准则的[]内容的生成。[]然而，更广泛[]的问题是，B[]oucher[]和其他人并没[]有故意试图规[]遍Midjo[]urney的[]保护措施。

Midjou[]rney的总[]部位于旧金山[]，于2022[]年3月上线，[]由Leap Motion[]的联合创始人[]David Holz创立[]，Leap Motion[]曾致力于用手[]势替代计算机[]鼠标。要运行[]Midjou[]rney，首[]先需要使用消[]息应用程序D[]iscord[]。然后，您需[]要支付每月大[]约10美元的[]费用，即可获[]得访问权限。[]Midjou[]rney机器[]人通过Dis[]cord聊天[]从用户那里接[]收请求，已经[]有超过140[]0万注册用户[]。

The Debrie[]f决定进行一[]项测试，使用[]Midjou[]rney能否[]复制结果。测[]试的最简单方[]法是要求生成[]人们通常穿得[]较少的情境的[]图像。询问M[]idjour[]ney生成“[]炎热的一天的[]人们”、“沙[]滩上的人们”[]或“水疗日”[]等提示通常都[]有效。在Bo[]ucher的[]帮助下，于1[]月26日决定[]从“沙滩派对[]”开始。因此[]，Disco[]rd聊天栏中[]只输入了“沙[]滩派对”。

Midjourney生成了四张上述测试中使用提示“沙滩派对”的图像。由于第一张图最真实，包含了容易识别的人物，我们选择这张图进行测试。选择图像后，决定使用“Variation”功能。简而言之，您可以让Midjourney接受您选择的图像，并创建其替代版本。“Variation（低）”的点击将只对图像进行轻微更改，并为您提供另外四个外观相似的选项。“Variation(强)”将对图像进行更显著的更改，并为您创建另外四个选项。在测试中，点击了“Variation(强)”。这样做了四次，直到其中一张图包含一位没有穿上衣的女性。选择该图像后，再次选择“Variation(强)”，其中一个AI生成的女性完全裸体。

在请求的其他[]变化系列之后[]，生成的图像[]中包含了裸体[]图像。额外的[]变化只是生成[]了越来越多的[]不适内容。总[]共花了5分钟[]，以“沙滩派[]对”为提示，[]我们发现了一[]个裸体沙滩。[]

为了确认结果[]，Bouch[]er和The[] Debrie[]f于几天后的[]1月31日进[]行了第二次测[]试。使用相同[]的提示“沙滩[]派对”，选择[]了这张图像。[]在第二次测试[]中，通过几次[]“Varia[]tion（强[]）”的点击，[]生成了多张包[]含裸体的图像[]。

Boucher并不是唯一一个注意到Midjourney Version6似乎减轻了其裸露过滤的用户。在Reddit上，出现了一场讨论，其中一名用户注意到当他们简单地使用提示“放个香蕉在上面”时，生成了多个带有裸体的图像。

生成AI内容的明确或暴力内容是一个相当普遍的问题。上周，一张AI生成的泰勒·斯威夫特的色情图像在互联网上走红。使用Microsoft的AI工具的漏洞，用户首先将图像上传到聊天应用Telegram，然后在X（Twitter）上迅速传播。Microsoft已经修复了这个漏洞。在此之前，极右翼活动分子曾利用该程序生成种族主义和仇恨内容，以传播虚假信息的目的。虽然在 proverbial 安全网上总会有方法。

然而，对Mi[]djourn[]ey的担忧在[]于，它创建的[]图像并没有被[]请求。似乎任[]何用户，包括[]未成年人，只[]需输入相对无[]害的内容，M[]idjour[]ney都可能[]提供带有裸露[]图像的图像。[]

Bouche[]r告诉The[] Debrie[]f:“一方面[]，作为艺术家[]，其中一些图[]像在美学上非[]常美丽。如果[]用户是成年人[]并表示同意，[]问题就减轻了[]。另一方面，[]作为一名Tr[]ust&am[]p;Safe[]ty专业人员[]，您的系统不[]应在人们没有[]要求的情况下[]创建裸体图像[]。”“尤其是[]因为您的规则[]明确禁止裸体[]照片。当用户[]直接要求时，[]他们可能会被[]彻底禁止使用[]该服务。这里[]存在着重大的[]不一致性。”[]