网信办整治AI

寂静回声

04月30日），中央网信办公开发布，在全国范围内部署开展为期3个月的“清朗·整治AI技术滥用”专项行动。
专项行动共分两个阶段开展，第一阶段是整治AI源头6类突出问题，第二阶段整治AI应用相关7类突出问题。
根据官方说明，第一阶段是：
强化AI技术源头治理，清理整治违规AI应用程序，加强AI生成合成技术和内容标识管理，推动网站平台提升检测鉴伪能力。
共分为以下6类突出问题：
1.0 违规AI产品，具体分以下三点：
1.1利用生成式人工智能技术向公众提供内容服务，但未履行大模型备案或登记程序。
根据《生成式人工智能服务管理暂行办法》，“提供具有舆论属性或者社会动员能力的生成式人工智能服务的”，需要进行算法备案和变更、注销备案手续。
这次清朗行为直接限制为，只要利用生成式AI向公众提供内容服务，就需要进行备案。
意味着，部分民间自行接入AI的应用，不管是否具有舆论属性或社会动员能力，通通都要备案。
算是进一步收紧了普通人提供AI工具的口子。

1.2提供“一键脱衣”等违背法律、伦理的功能。

1.3在未经授权同意情况下，克隆、编辑他人声音、人脸等生物特征信息，侵犯他人隐私。
B站抖音快手上的AI歌手、AI鬼畜一个都跑不掉。

2.0传授、售卖违规AI产品教程和商品，具体分以下两点：
2.1传授利用违规AI产品伪造换脸视频、换声音频等教程信息。
考虑到【传授】的广泛性
B站AI区各类UP怕是要被一波封禁。

2.2售卖违规“语音合成器”“换脸工具”等商品信息。营销、炒作、推广违规AI产品信息。
淘宝、闲鱼各类AI整合包可能会迎来下架，而且，各类算力网站的换脸、换声音应用整合包镜像也同样可能涉嫌违规。

但这里有个问题，阿里的CosyVoice模型算违规吗？
毕竟提供了开源的模型，任何人都可以方便使用，任何人都可以用这个模型未经他人同意克隆、编辑别人声音。

3.0训练语料管理不严，具体分以下两点：
3.1使用侵犯他人知识产权、隐私权等权益的信息。
一句话：没有任何一个AI的训练素材不侵犯广义上的知识产权的
尤其目前著作权法未修正，人工智能法未公布的情况下，任何主流AI的训练素材都必然“侵犯知识产权”。

3.2使用网上爬取的虚假、无效、不实内容。使用非法来源数据。未建立训练语料管理机制，未定期排查清理违规语料。
一句话：没有任何一个AI的训练素材不包含虚假、无效、不实内容的。
没有任何一个人、团体或机构可以在数百亿参数的AI中，排除虚假、无效、不实信息，只能通过更大量的语料去降低不实内容的“出现概率”。
甚至，连搜索引擎都做不到不收录存在虚假、无效、不实内容的网页。

4.0安全管理措施薄弱，具体分以下两点：
4.1未建立与业务规模相适应的内容审核、意图识别等安全措施。未建立有效的违规账号管理机制。未定期开展安全自评估。
4.2社交平台对通过API接口接入的AI自动回复等服务底数不清、把关不严。
究竟指社交平台自己提供接入的API（类似元宝），还是允许他人接入的API（类似企业微信机器人）？
怕是各平台的自部署机器人服务会迎来收紧。

5.0未落实内容标识要求，具体分以下两点：
5.1服务提供者未对深度合成内容添加隐式、显式内容标识，未向使用者提供或提示显式内容标识功能。
5.2内容传播平台未开展生成合成内容监测甄别，导致虚假信息误导公众。
各平台审核员的灾难，在检测模型未能100%检测出AI生成结果的情况下，就要靠审核员人工进行评估打标。

6.0重点领域安全风险，具体分以下两点：
已备案AI产品提供医疗、金融、未成年人等重点领域问答服务的，未针对性设置行业领域安全审核和控制措施，出现“AI开处方”“诱导投资”“AI幻觉”等问题，误导学生、患者，扰乱金融市场秩序。
简单而言就是：AI问诊不能给用药建议、AI诊股不能给投资（买卖）建议。
甚至，AI突破了技术桎梏，可以不再有“幻觉”。

根据官方说明，第二阶段是
聚焦利用AI技术制作发布谣言、不实信息、色情低俗内容，假冒他人、从事网络水军活动等突出问题，集中清理相关违法不良信息，处置处罚违规账号、MCN机构和网站平台。
将无关图文、视频拼凑剪辑，生成虚实混杂、半真半假的信息。模糊修改事件发生的时间、地点、人物等要素，翻炒旧闻。制作发布涉财经、教育、司法、医疗卫生等专业领域的夸大、伪科学等不实内容。
借助AI算命、AI占卜等误导欺骗网民，传播迷信思想。（各类AI塔罗、AI堪舆、AI命盘、AI解梦等应用和服务怕要引来下架潮）
利用AI脱衣、AI绘图等功能生成合成色情内容或他人不雅图片、视频，衣着暴露、搔首弄姿等软色情、二次元擦边形象，或扮丑风等导向不良内容。
（几家短视频平台都有“扮丑”滤镜（例如胖脸等），本质都有AI参与，需要下架吗？）
制作发布血腥暴力场景，人体扭曲变形、超现实怪物等恐怖诡谲画面。
生成合成“小黄文”“荤段子”等性暗示意味明显的小说、帖文、笔记。（作为官方文件，用“小黄文”替代“色情”“淫秽”文章）
通过AI换脸、声音克隆等深度伪造技术，假冒专家、企业家、明星等公众人物，欺骗网民，甚至营销牟利。
借AI对公众人物或历史人物进行恶搞、抹黑、歪曲、异化。（还是那个问题，恶搞川普行不行？）
利用AI冒充亲友，从事网络诈骗等违法活动。不当使用AI“复活逝者”，滥用逝者信息。
利用AI技术“养号”，模拟真人批量注册、运营社交账号。利用AI内容农场或AI洗稿，批量生成发布低质同质化文案，博取流量。使用AI群控软件、社交机器人批量点赞跟帖评论，刷量控评，制造热点话题上榜。
制作和传播仿冒、套壳AI网站和应用程序。AI应用程序提供违规功能服务，例如创作类工具提供“热搜热榜热点扩写成文”等功能，AI社交、陪聊软件等提供低俗软色情对话服务等。（不允许提供“热搜热榜热点扩写成文”的功能，有点强AI所难先不论各家平台自家的热点归纳功能（本质也是把热点写成一篇归纳文章），如何让一个不联网的AI知道“这是热搜热榜热点”，然后拒绝提供扩写服务，就已经很难为AI（和背后的合规产品经理）。
此外，目前无论各行各业，只要在社交平台活跃的，都会存在部分人用AI先把热搜热榜热点扩写一下，再加以润色的行为。
在目前和可预见的未来，这就是常态。不允许AI提供这类服务（先不论可行性），明显与AI的实际应用产生巨大矛盾）
（最后提到的拒绝提供“软色情”服务，什么是软色情？是指某些人喜欢打色情的擦边球，虽然不违法，但是容易诱导意志力不强的人以及未成年人从而去接触更加严重的色情犯罪。
意味着不违法的“擦边球”，例如AI男女友等模拟恋爱APP都会被涉及到。
米哈游蔡浩宇的新作，怕是不能在国内上线了）

提供违规AI应用程序、生成合成服务或课程的售卖、推广引流等。
（这其实和第一阶段的第二点重复，违规AI的定义见第一阶段第一点，意味着CosyVoice 2的推广就是违规的。

AI应用程序诱导未成年人沉迷、在未成年人模式下存在影响未成年人身心健康的内容等。

点评
什么叫一管就死，一放就乱啊。TMD老爷们哪管什么行业发展，它们关注的是政权稳定。