【AI带您看热点】制作发布谣言、充当网络水军……官方出手整治“AI技术滥用”!

多客科技

作者：微信文章


为规范AI服务和应用

促进行业健康有序发展

保障公民合法权益

近日

中央网信办印发通知

在全国范围内部署开展为期3个月的

“清朗·整治AI技术滥用”专项行动

中央网信办有关负责人表示，本次专项行动分两个阶段开展。第一阶段强化AI技术源头治理，清理整治违规AI应用程序，加强AI生成合成技术和内容标识管理，推动网站平台提升检测鉴伪能力。第二阶段聚焦利用AI技术制作发布谣言、不实信息、色情低俗内容，假冒他人、从事网络水军活动等突出问题，集中清理相关违法不良信息，处置处罚违规账号、MCN机构和网站平台。

第一阶段重点整治6类突出问题：

一是违规AI产品。利用生成式人工智能技术向公众提供内容服务，但未履行大模型备案或登记程序。提供“一键脱衣”等违背法律、伦理的功能。在未经授权同意情况下，克隆、编辑他人声音、人脸等生物特征信息，侵犯他人隐私。

二是传授、售卖违规AI产品教程和商品。传授利用违规AI产品伪造换脸视频、换声音频等教程信息。售卖违规“语音合成器”“换脸工具”等商品信息。营销、炒作、推广违规AI产品信息。

三是训练语料管理不严。使用侵犯他人知识产权、隐私权等权益的信息。使用网上爬取的虚假、无效、不实内容。使用非法来源数据。未建立训练语料管理机制，未定期排查清理违规语料。

四是安全管理措施薄弱。未建立与业务规模相适应的内容审核、意图识别等安全措施。未建立有效的违规账号管理机制。未定期开展安全自评估。社交平台对通过API接口接入的AI自动回复等服务底数不清、把关不严。

五是未落实内容标识要求。服务提供者未对深度合成内容添加隐式、显式内容标识，未向使用者提供或提示显式内容标识功能。内容传播平台未开展生成合成内容监测甄别，导致虚假信息误导公众。

六是重点领域安全风险。已备案AI产品提供医疗、金融、未成年人等重点领域问答服务的，未针对性设置行业领域安全审核和控制措施，出现“AI开处方”“诱导投资”“AI幻觉”等问题，误导学生、患者，扰乱金融市场秩序。

第二阶段重点整治7类突出问题：

一是利用AI制作发布谣言。无中生有、凭空捏造涉时事政治、公共政策、社会民生、国际关系、突发事件等各类谣言信息，或擅自妄测、恶意解读重大方针政策。借突发案事件、灾难事故等，编造、捏造原因、进展、细节等。冒充官方新闻发布会或新闻报道，发布谣言信息。利用AI认知偏差生成的内容进行恶意引导。

二是利用AI制作发布不实信息。将无关图文、视频拼凑剪辑，生成虚实混杂、半真半假的信息。模糊修改事件发生的时间、地点、人物等要素，翻炒旧闻。制作发布涉财经、教育、司法、医疗卫生等专业领域的夸大、伪科学等不实内容。借助AI算命、AI占卜等误导欺骗网民，传播迷信思想。

三是利用AI制作发布色情低俗内容。利用AI脱衣、AI绘图等功能生成合成色情内容或他人不雅图片、视频，衣着暴露、搔首弄姿等软色情、二次元擦边形象，或扮丑风等导向不良内容。制作发布血腥暴力场景，人体扭曲变形、超现实怪物等恐怖诡谲画面。生成合成“小黄文”“荤段子”等性暗示意味明显的小说、帖文、笔记。

四是利用AI假冒他人实施侵权违法行为。通过AI换脸、声音克隆等深度伪造技术，假冒专家、企业家、明星等公众人物，欺骗网民，甚至营销牟利。借AI对公众人物或历史人物进行恶搞、抹黑、歪曲、异化。利用AI冒充亲友，从事网络诈骗等违法活动。不当使用AI“复活逝者”，滥用逝者信息。

五是利用AI从事网络水军活动。利用AI技术“养号”，模拟真人批量注册、运营社交账号。利用AI内容农场或AI洗稿，批量生成发布低质同质化文案，博取流量。使用AI群控软件、社交机器人批量点赞跟帖评论，刷量控评，制造热点话题上榜。

六是AI产品服务和应用程序违规。制作和传播仿冒、套壳AI网站和应用程序。AI应用程序提供违规功能服务，例如创作类工具提供“热搜热榜热点扩写成文”等功能，AI社交、陪聊软件等提供低俗软色情对话服务等。提供违规AI应用程序、生成合成服务或课程的售卖、推广引流等。

七是侵害未成年人权益。AI应用程序诱导未成年人沉迷、在未成年人模式下存在影响未成年人身心健康的内容等。

中央网信办有关负责人强调，各地网信部门要充分认识专项行动对于防范AI技术滥用风险，维护网民合法权益的重要意义。切实履行属地管理责任，督导网站平台对照专项行动有关要求，健全AI生成合成内容审核机制，提升技术检测能力，做好整改落实。加强人工智能相关政策的宣传推广和人工智能素养的科普教育，引导各方正确认识和应用人工智能技术，不断凝聚治理共识。

来源丨网信中国微信公众号视频丨省司法厅组织宣传处通过AI软件生成
校对丨房   斌  宫云龙  顾   湘
责编丨吴春芳
审核丨荣   丹

— 往期推荐 —

●省委常委会召开会议 郝鹏主持会议

●进一步规范涉企检查 从“严管”向“善治”升级

●【AI带您看热点】根治直播带货“杀熟”需筑牢“四道防线”