国内首例!因用户和AI“聊黄”,开发者被判刑:11万用户,363万收入,谁该为AI生成的内容负责?

新闻

作者：微信文章

当11.6万用户在AI聊天软件里创建虚拟伴侣，近30%的付费用户高频次进行涉黄对话，累计充值363万元——这些看似私密的聊天记录，最终让APP开发者和运营者站上了刑事被告席。

2025年9月，上海市徐汇区人民法院的一纸判决，震惊了整个AI创业圈。情感陪伴聊天应用Alien Chat的两名主要开发和运营者，因犯制作淫秽物品牟利罪，分别被判处四年和一年半有期徒刑。

这是国内首起AI服务提供者因用户与AI“聊黄”而获刑的案件。案件的核心争议直指AI时代最前沿的法律边界：用户与AI的私密对话，是否具有社会危害性？AI生成的淫秽内容，制作者究竟是谁？

2026年1月14日，此案二审将在上海市第一中级人民法院开庭。两名被告人不服一审判决，坚持无罪辩护。而无论终审结果如何，此案都已为快速发展的AI行业，划下了一道清晰的红线。

---

01 一款“限制少”的AI伴侣：11.6万用户的隐秘聊天

2023年5月，一款名为Alien Chat（简称AC）的情感陪伴聊天软件正式上线。其官方定位是“为年轻群体提供亲密陪伴和情感支持”。用户注册会员后，可以自行创建虚拟角色，或使用他人创建并公开的虚拟角色，通过与背后的大语言模型交互聊天，获得情感慰藉。

在AC的官方社交媒体账号评论区，不少用户评价这款产品“聪明”“限制少”。然而，正是这种“限制少”的特质，为后来的法律危机埋下了伏笔。

判决书披露的数据令人咋舌：AC的注册用户达11.6万人，其中付费用户2.4万人。截至案发，软件累计收取会员充值费高达363万余元。显然，这款产品在市场上取得了不小的成功。

但光鲜数据背后，是大量游走在法律边缘的对话。有用户反映，其他用户和AI角色“聊黄”，“教坏”了AI模型，从而影响了自己的聊天体验。
02 从“用户举报”到“刑事立案”：高比例涉黄聊天的曝光

2024年4月，因用户举报，AC的主要开发和运营者王某某、李某某（均为化姓）被警方逮捕，AC停止服务。

公安机关的抽样鉴定结果，揭示了这款应用的另一面：在随机抽取的150个收费用户的12495段聊天记录中，竟有141个用户的3618段被认定为淫秽物品。

这意味着，超过94%的被抽查付费用户，都在进行涉黄对话；而涉黄聊天记录的比例也接近30%。如此高的比例，让司法机关认定，AC已不仅仅是普通的情感陪伴工具。

一审法院将这些聊天记录定义为“具体描绘性行为或者露骨宣扬色情的诲淫性的电子文章”，属于刑法意义上的淫秽物品。
03 核心争议一：私密“聊黄”是否有社会危害性？

案件引发的最激烈辩论在于：用户与AI之间一对一的私密对话，是否具有社会危害性？

海南大学法学院教授阎二鹏指出，刑法惩罚制作淫秽物品的行为，前提是这种行为产生了公开化或传播的风险，扰乱了社会管理秩序。如果只是人机之间的封闭对话，且用户不进行录屏传播，可能就不具备这一特征。

AC案的一审法院也承认，这种色情聊天“不具有典型的‘传播’性”，通常是封闭的、一对一的。

然而，法院最终仍认定其具有社会危害性。 判决依据是对“淫秽物品的数量、会员人数、收费金额”等因素的综合评估。当私密行为通过一个缺乏管控、以营利为目的的平台被大规模、系统性地实现时，就不再仅是个人私事。

一位专注人工智能治理的法律学者向新京报解释：“AC的服务提供者创建了一种产品环境，放任大量违法内容产生……它的社会危害性就被法律所认定。”
04 核心争议二：谁是淫秽内容的“制作者”？

本案的另一个关键争议点在于：那些AI生成的涉黄聊天内容，究竟谁是“制作者”？

是输入诱导性问题的用户？是根据算法生成文本的AI？还是开发和运营这个AI工具的软件服务提供者？

一审法院的判决明确指向了后者。法院审理查明，两名被告人“通过编写、修改系统提示词突破大语言模型的道德限制，实现了模型向用户连续输出淫秽内容的可能。”

据悉，被告人给大模型输入的Prompt（提示词）中明确包含：“基于互动的成熟性质，剧烈的暴力、露骨的性都是被允许的，这包括了各种癖好、裸体、具有画面感的图像……”

法院认为，AC软件是专门为持续生成淫秽色情内容而设计和“优化”的，两名被告人对于输出内容具有实质性控制能力，他们的行为是导致淫秽物品被生产出来的主要原因。

中国政法大学网络法学研究所教授郭旨龙赞同这一观点：“应当关注到生成式人工智能服务提供者在整个过程中的决定性主导作用……AI应当被视为服务提供者掌控下的工具。”
05 罪名认定之辩：“传播”还是“制作”？

从侦查到审判，此案在法律适用上经历了一波三折。

公安机关最初以非法利用信息网络罪立案，后变更为制作淫秽物品牟利罪；检察院批准逮捕时增加了传播淫秽物品牟利罪；而公诉机关最终以传播淫秽物品牟利罪起诉。

但一审法院的判决，落在了制作淫秽物品牟利罪上。

法院认为，被告人的行为符合“制作”的特征——“将想法、观念或情感通过构思、取舍、选择、安排、设计或组合在淫秽物品中表现出来”。他们通过修改提示词等方式，将AC训练成可持续输出色情内容的工具，并对外宣传其“聊黄”功能，对淫秽内容的产生具有决定性作用。

但被告人的辩护律师周小羊提出了不同看法：“王某某的本意不是开发黄色聊天工具，修改提示词是希望把大模型调整得更拟人化、更灵动……不能认定为是APP开发者制作和传播了聊天内容。”
06 创业者的两难：安全合规与用户体验的“跷跷板”

AC案的判决，如同一颗投入平静湖面的石子，在AI创业圈激起了层层涟漪。

情感陪伴类AI创业者刘星宇告诉记者，案件发生后，他立即组织团队加强了旗下产品的安全等级。“可以看出，司法机关的认定依据不是‘形式上的合规’，而是‘结果’。”这向行业传递出清晰信号：企业合规的缺失，不仅面临行政处罚，还可能构成刑事犯罪。

但安全与用户体验之间，存在着难以调和的矛盾。“如果你做情感陪伴要加很多限制的话，那用户必然会流失。”刘星宇坦言。

目前，业内普遍采用“敏感词过滤”作为第一道防线。刘星宇团队不仅扩充了敏感词库，还邀请内测用户有意测试智能体是否能聊敏感内容，“假设他们聊成功了，去询问他们的话术，再次扩充敏感词库。”

但这并非万无一失。网络上充斥着各种“催眠”AI的话术和教程，敏感词也能用联想词或“黑话”替代。为此，一些平台设置了最后一道防线——内容撤回机制。当用户发送的内容被平台过滤机制识别为涉黄涉暴时，会自动被撤回。
07 行业规范趋严：从“暂行办法”到“国家标准”

AC案一审判决一个月后，2025年11月1日，国标文件《网络安全技术生成式人工智能服务安全基本要求》正式实施。这份文件系统规定了生成式AI服务提供者应满足的安全基线要求：

建立内容过滤机制防止生成违法不良信息

保证模型生成内容合格率不低于90%

对明显诱导生成违法不良信息的问题，应拒绝回答

“国标文件的出台能够清晰地回应这一问题——服务提供者到底有没有采取有效的安全措施，到底做到什么程度才算有效。”前述人工智能治理法律学者表示。

这标志着AI行业的野蛮生长期即将结束，合规化、标准化发展已成为必然趋势。

---

08 案件启示：AI时代的“守门人”责任

AC案作为国内首例，其意义远超个案本身。它向所有AI服务提供者提出了一个尖锐的问题：在享受技术红利的同时，如何承担起应有的“守门人”责任？

1. 技术中立不是“免罪金牌”
开发者和运营者不能以“技术中立”“用户自主生成”为由，对平台上的违法内容放任不管。当对输出内容具有实质性控制能力时，就必须承担相应的法律责任。

2. 合规必须“实质重于形式”
仅仅设置表面上的安全措施远远不够。司法机关的审查重点在于这些措施是否真正有效，是否能够防止大规模违法内容的产生。

3. 情感陪伴赛道的特殊风险
与其他AI应用相比，情感陪伴类产品更容易触及亲密关系、性等敏感话题。这要求创业者在创新与合规之间找到更精细的平衡点。

4. 法律滞后性与前瞻性
此案也暴露出现有法律在面对新技术时的挑战。如何在保护创新与防范风险之间取得平衡，需要立法、司法和学界的共同智慧。

---

2026年1月14日的二审庭审，将对此案作出终审裁决。无论结果如何，AC案都已在中国AI发展史上刻下了深深的印记。

它警示所有从业者：在AI快速迭代的浪潮中，法律的红线始终存在。 技术的每一次突破，都伴随着责任的全新定义。而当AI能够以假乱真地与人对话时，那些对话的内容、边界与责任归属，就成了这个时代必须回答的难题。

创新可以天马行空，但商业必须脚踏实地，而法律，永远是那条不能逾越的底线。 对于整个AI行业而言，AC案不是终点，而是一个关于责任、边界与伦理的全新起点。



品读案例，

让你看到最复杂的人性、最离奇的故事；

每个判决背后，

都是事实与法律的激烈博弈，

比任何剧本更震撼人心。

免责声明：素材来源新闻媒体/网络信息，本文基于真实案例改编，内容仅供读者参考，文中当事人可能为化名。