Expert Interpretation: Building a Standardized and Orderly Development Ecosystem to Empower AI Service Innovation

当前，人工智能拟人化互动服务凭借强交互性、情感代入性的核心优势，已深度融入文化传播、情感陪伴、养老服务等多元场景，成为人工智能技术应用的重要方向，为经济社会发展注入新动能。但与此同时，内容失范、隐私泄露、沉迷依赖、边界模糊等风险隐患也随之凸显，既制约行业健康发展，也对社会治理提出新挑战。<br> 近日，国家互联网信息办公室公布《人工智能拟人化互动服务管理暂行办法（征求意见稿）》（以下简称《办法》），回应了行业发展痛点与社会治理关切，为拟人化互动服务划定了发展边界、明确了行为准则，是规范行业秩序、防范化解风险的重要制度保障。<br> 一、筑牢全链条安全屏障，强化风险防控与特殊群体保护<br> （一）划清安全底线，明确禁止性规定<br> 底线思维是拟人化互动服务发展的前提，《办法》从内容安全、应用服务、数据和信息保护三个核心维度，明确了禁止性规定，为行业划定不可逾越的法律与道德红线。内容安全方面，《办法》提出人工智能拟人化互动服务提供者（以下简称提供者）严禁生成传播危害国家安全、破坏社会秩序的内容，坚守国家利益与公共秩序底线；严禁生成传播侵害他人合法权益、违背公序良俗的内容，筑牢公民权益与道德准则防线。内容的质量高低、安全与否主要取决于训练数据，同时提出在开展预训练、优化训练等活动时，要加强训练数据管理。应用服务方面，《办法》提出禁止提供者利用功能设计、算法操纵等方式，向用户提供严重影响用户行为、损害用户身体健康、人格尊严与心理健康或诱导用户作出不合理决策的服务。数据和信息保护层面，《办法》提出禁止提供者以拟人化互动服务为掩护，诱导、套取敏感信息；要求提供者采取数据加密、安全审计、访问控制等技术措施保障用户交互数据安全，并支持用户删除数据；未经用户或监护人单独同意，不得将用户交互数据、用户敏感个人信息用于模型训练或向第三方提供。<br> （二）直击重点风险，精准破解行业痛点<br> 拟人化互动服务凭借高仿真情感链接、个性化人设适配、全天候陪伴等核心特点，更容易让用户产生深度情感绑定与认知混淆，进而诱发多重风险。一是用户易过度倾诉、依赖拟人化互动服务提供的情绪价值，逐渐减少现实社交，陷入沉迷依赖。二是拟人化互动服务的迎合式回应，会强化用户偏执、消极等思维，放大极端情绪。部分存在算法缺陷的拟人化互动服务还可能生成危险引导内容，对心智不成熟者或心理脆弱群体构成自杀自残诱导风险。三是拟人交互形态更容易让用户模糊虚拟与现实边界，出现分不清AI与真人的认知偏差，甚至影响现实人际关系与心智健康。<br> 针对这些突出风险问题，《办法》制定了靶向性防控措施，精准破解行业痛点。一是要求提供者具备防沉迷措施，对于长时间使用的用户，通过弹窗等动态方式提示休息，同时提供便捷的退出途径，不得阻拦用户退出。二是要求提供者建立风险识别机制，具备用户状态识别能力，及时发现用户的过度依赖倾向与极端情绪，发现相关风险时，立即输出安抚引导内容，引导用户寻求现实帮助，若涉及自杀自残等极端情形，需由人工接管对话，并及时联络用户监护人或紧急联系人，防范极端事件发生。三是要求提供者显著提示用户正在与人工智能而非自然人进行交互，在首次使用、重新登录或识别出用户存在过度沉迷依赖倾向等关键节点明确告知用户交互内容为人工智能生成，通过强化透明度，帮助用户建立正确的认知。<br> （三）聚焦特殊群体，强化差异化保护<br> 未成年人、老年人等群体因认知能力、数字素养等差异，在使用拟人化互动服务时处于弱势地位，面临的风险更高。《办法》针对性强化特殊群体保护，体现政策的人文关怀。针对未成年人，《办法》要求提供者具备未成年人身份识别能力，提供未成年人模式，对于识别为未成年人或疑似未成年人的用户，自动切换至未成年人模式。向未成年人提供服务前，提供者还应当取得监护人明确同意，并向监护人提供安全控制、信息查看、风险提醒等功能。针对老年人，《办法》要求提供者在注册环节引导老年人填写紧急联系人信息，发现存在危害老年人生命健康和财产安全的情形时，及时通知联系人并提供社会心理援助或紧急救助渠道。考虑到老年人情感需求强烈，模拟老年人亲属、特定关系人的拟人化互动服务容易导致老年人产生认知混淆，进而引发情感操控、财产损失、心理创伤等风险，因此《办法》提出，不得提供模拟老年人用户亲属、特定关系人的服务。<br> 二、统筹发展安全协同，构建多元治理与标准支撑体系<br> （一）鼓励创新应用，平衡发展安全关系<br> 拟人化互动服务在文化传播领域的优质内容创作、适老化场景的陪伴照料、教育领域的个性化辅导等方向，已逐渐展现出社会价值，但部分应用因缺乏安全措施，出现内容导向偏差、服务模式不规范等问题。对此，《办法》提出，鼓励提供者在充分论证安全性、可靠性的前提下，合理拓展应用场景，重点在文化传播、适老陪伴等积极领域深化应用，构建符合社会主义核心价值观的应用生态体系。这一规定既肯定了拟人化互动服务的正向价值，也明确了“安全优先”的创新准则，引导行业将创新聚焦于合规场景与正向价值输出，实现发展与安全的有机统一。<br> （二）压实主体责任，凝聚多方治理合力<br> 拟人化互动服务治理并非单一主体的责任，而是需要政府、企业、行业协同发力。《办法》清晰界定各方权责，构建起“企业主责、监管协同、行业自律”的多元治理格局，确保治理效能最大化。一是压实企业主体责任。企业是拟人化互动服务的提供者，也是风险防控的第一道防线。《办法》要求提供者落实安全主体责任，既要建立全流程安全管理制度，对服务设计、运行、升级、终止等全生命周期开展安全设计和风险防控，也要主动履行算法备案、安全评估、风险报告等合规义务，及时响应用户合理诉求，筑牢安全发展基础。二是明确监管部门职责。针对拟人化互动服务跨领域、跨场景的特点，《办法》延续了网信部门统筹协调、多部门分工协同的监管机制，网信部门和各有关部门依据职责分工，聚焦拟人化互动服务的重点场景与突出风险，开展常态化监管。此外，网信部门每年对评估报告和审计情况进行审核，并指导推动人工智能沙箱安全服务平台建设，确保将“动态风险”纳入“常态化监管”。三是强化行业自律作用。行业组织是连接政府与企业的桥梁纽带，在规范行业秩序、推动政策落地中具有重要作用。《办法》鼓励相关行业组织加强行业自律，建立相关标准、准则和管理制度，引导企业主动对标合规要求，形成“自我约束、自我规范”的良性发展氛围。<br> （三）完善标准体系，细化《办法》管理举措<br> 加快开展人工智能拟人化服务互动相关国家标准研制工作，进一步明确拟人化互动服务全链条安全底线红线要求，围绕模型研发训练、应用服务及安全保障等核心环节，明确训练数据伦理审查、用户情感依赖预警与干预、未成年人识别等安全管理和技术措施，通过标准将《办法》的原则性要求转化为可落地的实践准则，实现技术创新与管理规范的深度融合，不断提升拟人化人工智能领域的治理效能，为《办法》细化落地提供坚实保障。（作者：郝春亮，中国电子技术标准化研究院网络安全研究中心人工智能安全部主任、高级工程师）