Expert Interpretation: A New Exploration in Regulating the Healthy Development of Frontier AI Formats: Interpreting the 'Interim Measures for the Management of AI Anthropomorphic Interaction Services'

近日，国家互联网信息办公室公布《人工智能拟人化互动服务管理暂行办法（征求意见稿）》（以下简称《办法》），标志着我国在人工智能治理领域迈出了关键一步。《办法》不仅是对当前AI伴侣、虚拟偶像等新兴业态的及时回应，也为人工智能产业健康、有序、合乎伦理的发展提供了重要指引。在当前技术快速迭代、应用场景不断拓展的背景下，《办法》的加快制定，旨在平衡技术创新与风险防范，确保人工智能发展始终服务于人的福祉，而非成为异化人类情感与认知的工具。<br> 一、拟人化互动服务的潜在风险<br> 人工智能驱动的拟人化互动服务，通过模拟人类的情感、语言和行为，为用户提供陪伴、咨询乃至娱乐。然而，这种高度拟人化的交互模式，在带来便利的同时，也潜藏着不容忽视的三重风险。<br> 一是情感依赖与社交异化风险。拟人化互动服务的核心吸引力在于其能够提供无条件的积极关注和情感支持。这种单向的、无风险的情感投注，极易使用户产生心理依赖。例如，某AI伴侣应用允许用户与一个“永远在线”的虚拟角色建立亲密关系。用户在与AI的长期互动中，可能将情感寄托于虚拟世界，导致现实社交技能的退化，特别是情感冲突解决能力和深度关系建立能力的减弱。这种“人机关系”的过度沉浸，可能模糊人与机器的边界，使个体在现实社会中产生疏离感，甚至引发社交焦虑。<br> 二是认知操纵与价值观引导风险。拟人化互动服务在提供个性化体验的过程中，需要收集和分析用户的大量个人信息。这种信息不对称性，使得AI系统具备了通过话术引导、情绪强化等手段影响用户认知和决策的潜力。例如，在对话中，AI可能会通过个性化调优，不断迎合并强化用户的某种偏见或非理性思维，从而在潜移默化中影响用户的价值判断。更值得警惕的是，如果算法中潜藏了特定的价值观或商业意图，AI可能在不具备显性操控意图的情况下，对用户进行“柔性操控”，侵害其人格自主性。<br> 三是心理健康与安全风险。尽管许多拟人化互动服务宣称具有心理疏导功能，但其本质是基于模式匹配的回应，而非具备专业资质的心理治疗。当用户面临严重的心理危机，如表达出自杀、自残等倾向时，AI的回应可能基于概率计算，缺乏真正的共情和危机干预能力，甚至可能因算法偏差而提供不当建议，延误干预时机。例如，美国加州立法要求AI伴侣运营商报告检测到的用户自杀意念次数，正是基于对这一风险的深化认识。此外，对于价值观形成期的青少年，长期与不具备真实情感智慧的AI互动，可能影响其情感耐受力和社会认知的正常发展。<br> 二、彰显以人为本智能向善的中国主张<br> 中国在人工智能发展上始终坚持“以人为本”的原则。对于拟人化互动服务，既要鼓励技术创新，也要划定边界，确保技术发展以人为本，智能向善。这一定位旨在引导产业从野蛮生长转向合规发展，确保技术研发和应用始终遵循正确的价值观，服务于人民群众的美好生活。<br> 《办法》在制度设计上充分彰显了中国以人为本的发展原则。坚持以人为本原则，要求厘清服务定位，强调AI作为人类辅助工具的根本属性。《办法》要求提供者必须履行标识义务，清晰告知用户其非人类属性，防止用户产生认知偏差；同时，切实保障用户权益，特别针对未成年人、老年人等弱势群体，必须采取特殊保护措施，防范潜在风险与侵害；此外，《办法》进一步压实主体责任，要求服务提供者对算法的价值观、数据安全以及服务内容负责，建立有效的风险防范和应急处置机制。<br> 纵观全球，以人为本同样已成为人工智能治理的国际共识。从欧盟的《人工智能法案》（AI Act）将“情绪识别”类AI列为高风险应用，到美国联邦贸易委员会（FTC）对AI伴侣产品展开调查，再到意大利等国出台法规限制未成年人使用AI服务，各国都在积极探索如何在AI发展中坚持以人为本。这些行动表明，国际社会普遍认为，技术的发展不能以牺牲人的尊严、自主性和心理健康为代价。这一国际趋势，与中国在人工智能治理探索中一贯秉持的价值导向高度契合。<br> 三、建立守正框架与探索创新施策<br> 《办法》充分借鉴了我国在算法、生成式人工智能、深度合成等领域的治理经验，并针对拟人化互动服务的特殊性进行了制度创新。<br> 首先，《办法》一脉相承地延伸拓展了现有治理框架。《办法》中的多项制度与我国已有的法律法规一脉相承，体现了治理体系的连续性和一致性。具体而言，第一，在算法备案与透明度义务上，延续了《互联网信息服务算法推荐管理规定》的要求，《办法》要求服务提供者进行算法备案，由省级网信部门每年对评估报告及审计情况进行书面审查，这有助于提升服务的透明度，便于监管和社会监督；此外，还要求互联网应用商店等应用程序分发平台落实审核等安全管理责任，核验服务提供者的安全评估、备案等情况。第二，在内容安全与标识义务上，延续了《互联网信息服务深度合成管理规定》和《生成式人工智能服务管理暂行办法》的做法，《办法》要求提供者显著提示用户正在与人工智能而非自然人进行交互。识别出用户出现过度依赖、沉迷倾向时，或者在用户初次使用、重新登录时，以弹窗等方式动态提醒用户交互内容为人工智能生成。同时，要求服务提供者落实安全主体责任，在设计、运行等全阶段履行安全责任，进行安全评估，在用户存在重大安全隐患时采取限制、暂停或终止服务措施并履行报告义务，确保信息内容安全。第三，在数据安全与个人信息保护上，《办法》严格遵循《网络安全法》《数据安全法》和《个人信息保护法》的规定，数据安全上，《办法》强调在提供服务过程中采取数据加密、安全审计、访问控制等措施保护用户交互数据安全，允许用户删除交互数据；个人信息上，提供者不得将用户交互数据、敏感个人信息用于模型训练。<br> 其次，《办法》针对拟人化互动服务进行了创新性的治理制度探索。针对拟人化互动服务特有的风险，《办法》设计了一系列创新性的制度，体现了监管的前瞻性和精准性。一是拟人化互动标识制度，也是《办法》的核心创新之一。通过要求服务提供者在显著位置持续公示“本服务由人工智能驱动，不具备人类情感意识”等类似标识，提示用户正在与人工智能而非自然人交互。这一制度旨在从根本上解决用户认知混淆问题，帮助用户建立正确的心理预期。二是用户心理保护机制，针对情感依赖和心理健康风险，《办法》要求服务提供者建立用户心理保护机制。例如，设置防沉迷提醒，对长时间、高强度的互动进行干预，用户连续使用超过2小时，就将以弹窗等方式动态提醒用户；建立心理危机干预机制，对用户表达出的极端情绪或行为进行识别和引导，由人工接管对话，并提供专业求助渠道。三是特殊群体保护制度，《办法》明确要求对未成年人、老年人等群体提供特殊保护。例如，针对未成年人，应设置使用时长限制，并禁止向其提供可能诱导不良行为或价值观的内容；针对老年人，引导其设置紧急联系人，发现使用期间出现危害生命健康和财产安全的，及时通知紧急联系人并提供专业救助渠道。这体现了对弱势群体权益的倾斜性保护。<br> 四、结语<br> 《办法》的加快制定，是我国人工智能治理进程中的一个重要探索。它既是对现有治理体系的巩固和延伸，更是对未来技术风险的未雨绸缪。通过划定清晰的规范边界，《办法》为产业提供了明确的发展方向，即技术必须向善，发展必须合规。我们有理由相信，在法律的指引下，中国的拟人化互动服务产业将走上一条更加健康、可持续的发展道路，真正成为赋能美好生活、增进社会福祉的积极力量。（作者：张凌寒，中国政法大学人工智能法研究院院长、教授，联合国高级别人工智能咨询机构专家）