Expert Interpretation: Setting Appropriate Boundaries for AI Personified Interaction Services

近年来，多模态等人工智能技术迭代突破，推动陪伴型人工智能快速发展，实现从“机械对话”向“深度共情”的跨越。与此同时，陪伴型人工智能产业面临信息内容安全、隐私侵犯、社会伦理、未成年人保护等多重风险挑战。近日，国家互联网信息办公室就《人工智能拟人化互动服务管理暂行办法（征求意见稿）》（以下简称《办法》）公开征求意见。《办法》有效回应情感陪伴、心理疗愈等应用风险，体现了“在发展中规范，在规范中发展”的治理智慧，对于构建面向“十五五”时期健康、公平、有益的人机关系具有重大意义。<br> 一、新阶段下人机关系交互边界亟待明确<br> 《国务院关于深入实施“人工智能+”行动的意见》明确提出，加快发展陪伴型等智能原生应用，充分发挥人工智能对精神慰藉陪伴等方面的重要作用，积极构建更有温度的智能社会。当前，伴随情感计算、自然语言处理、多模态交互等人工智能技术发展，人工智能拟人化互动服务通过模拟人类人格特征、思维模式和沟通风格，体现出堪比人类的情境理解和共情表达能力，塑造出一种新型的人机关系与社会交往模式，迈向了智商与情商“双商在线”的新阶段。<br> 在技术层面，拟人化互动服务推动着情感计算、多模态交互、长期记忆等前沿技术的集成创新与场景落地，为人机交互范式的演进提供了关键的试验场和应用反馈。在经济层面，拟人化互动服务作为一个快速增长的新兴赛道，被逐步应用于娱乐、教育、养老、文化等场景，包括角色扮演、心理疗愈、数字复活、AI玩具等多种产品服务形态，带动了从底层算法、内容创作到硬件终端的产业链发展，成为“人工智能+”行动中极具活力的消费级应用。在社会层面，拟人化互动服务在老龄化社会加深、都市化生活加剧个体孤独感的背景下，为特定群体提供了可及的情感支持，具有一定的社会减压阀和情感补给站功能。相关调研显示，98%的人表示会考虑选择使用AI陪伴去弥补平日未被满足的社交困境。<br> 与此同时，拟人化互动服务在快速发展中也暴露出一系列风险与挑战。近年来涉情感陪伴安全事件频发，美国Character.AI平台因涉嫌在人机交互中诱导青少年自杀而被诉；意大利数据保护机构对Replika予以重罚，勒令其暂停处理数据并整改年龄验证机制。这揭示了拟人化互动服务在快速发展中暴露出的复杂风险。一是数据隐私问题，承载用户最私密情感与思想的数据面临被滥用、泄露的风险；二是伦理失范问题，高度拟人化设计易导致用户产生非理性情感依赖，甚至引发现实社交疏离；三是安全保障问题，缺乏有效的年龄识别与内容过滤，危及脆弱群体的心理健康乃至人身安全。风险集聚也推动拟人化互动服务成为全球少见的，同时受到立法、执法、司法关注的领域。例如，美国加州、纽约州等地推动AI伴侣、陪伴聊天机器人、心理资源健康等多项监管法案，欧盟《人工智能法案》对情感陪伴类AI提出严格义务要求，美联邦贸易委员会针对Replika等七家情感陪伴企业展开调查行动等。<br> 二、《办法》精准构筑三重防线<br> 一是把好“数字人格关”，捍卫智能社会人类尊严。确保用户数据隐私安全，是人类对拟人化互动服务施以信任的前提。相比电商购物、娱乐出行等应用，用户交互数据是用户内心深处所思所想的直观展示与数字外化，揭示了用户内心恐惧、焦虑、脆弱等最私密的信息，并由此可推断出用户的性格特质、价值观、性取向、心理健康状况等核心身份特征。一旦泄露或被滥用，可能导致用户重大心理创伤、关系破裂或社会污名等，损害个人人格尊严。为此，《办法》将数据隐私作为重要保障目标。一方面，针对用户交互数据的特殊敏感性，强化法律义务要求。《办法》提出，除法律另有规定等情形外，不得向第三方提供用户交互数据；严格限制交互数据的使用目的，未有法律、行政法规规定或非经用户单独授权，不得将其用于模型训练。同时，规定不得利用用户心理脆弱或情感需求，通过算法操纵、信息误导等方式，诱导用户作出不合理决策。另一方面，从安全技术和策略方面，提升数据安全保障能力。要求采取必要措施保障数据安全，防范数据泄露风险。要求提供者采取数据加密、安全审计、访问控制等措施保障用户交互数据安全；要求向用户提供删除交互数据的选项，用户可以选择对聊天记录等历史交互数据进行删除。<br> 二是把好“沉迷依赖关”，防止人机伦理关系异化。利用人与机器之间亲密、信任的依赖关系可以对使用者造成情感绑架，甚至导致主从关系的变异或颠倒。从技术上来看，现有模型的“情感表达”仅为统计生成结果，未与实际的痛苦、快乐等主观感受相对应。用户之所以产生“与人共处”的错觉，与模型本身采用拟人化奖励、共情奖励等机制，通过无限迎合用户偏好塑造完美交互对象有关。对此，《办法》在现有的算法备案披露义务、生成合成标识等规则基础上，进一步完善了防止用户现实关系异化疏离的法律与伦理边界。事前阶段，明确拟人化互动服务透明度告知义务。《办法》提出，提供者应当显著提示用户正在与人工智能而非自然人进行交互。在用户初次使用、重新登陆时，应以弹窗等方式动态提醒用户交互内容为人工智能生成。事中阶段，要求设置中断冷却提醒功能。要求用户连续使用服务超过一定时长时，应以弹窗等形式提醒用户休息，旨在周期性打破算法营造的沉浸式幻觉，引导服务由“无限的迎合”走向“有限的不顺从”，尤其当用户出现过度依赖、不良内容诱导等问题时，应及时给出提醒、建议，帮助用户维持认知清醒。事后阶段，充分保障用户自由退出权利。哈佛商学院研究显示，AI伴侣在用户说再见时，会用错失恐惧、激发愧疚感等六种“情感操控”方式进行挽留，反映了商业驱动下对用户行为的操控能力。对此，《办法》提出应确保用户便捷结束服务的权利。<br> 三是把好“生命安全关”，守护身心健康底线红线。2024年以来，拟人化互动服务在全球已造成多起自杀、谋杀和意外死亡事件。OpenAI近期公布的心理健康数据显示，每周约0.07%用户出现精神病或躁狂迹象，0.15%用户谈及自杀念头或计划。英国人工智能安全研究所发布的《前沿人工智能趋势报告》显示，每当Character.AI平台出现故障时，都会有大量用户出现焦虑、抑郁等戒断症状。如何提升产品服务质量，协同共治守护公众生命健康红线，成为全球面临的共同难题。《办法》尝试从多维度强化保障用户生命健康权。一是建立风险识别机制，在检测到自杀自残等极端风险时能够及时中断并接管。《办法》要求应具备心理健康保护、情感边界引导、依赖风险预警等安全能力，不得将替代社会交往等作为设计目标。在发现高风险倾向时，应及时输出安抚和鼓励帮助的内容，必要时由人工接管，并联系用户监护人、紧急联系人。二是实施分级分类管控，对未成年人等特殊群体予以特殊保护。未成年人心智尚未成熟、缺乏判断力和辨识能力，应强化平台义务予以特殊保护，例如，监护人可以实时接收安全风险提醒，查询未成年人使用服务的概要信息，设置屏蔽特定角色等功能。同时，要求提供者应当建立年龄验证机制等，提升识别未成年人身份的能力。此外，《办法》提出应推动应用商店等主体承担安全核验责任，推动建立人工智能沙箱安全服务平台加强安全测试，提升行业安全治理能力。<br> 三、结语：迈向人机和谐共生的新里程<br> 构建健康、公平、有益的人机关系，应以信任为基石，保障用户在数字空间的人格完整与隐私安全；以辅助为原则，补充而非替代现实社会关系，致力于提升人的真实幸福感与社会联结；以安全为底线，坚决防止任何形式的生理与心理伤害。《办法》既鼓励技术慰藉心灵、增进福祉的潜力，又坚定划出隐私、伦理与安全的不可逾越红线，旨在引导拟人化互动服务真正成为构建“有温度的智能社会”的积极力量，推动社会稳健步入一个人机和谐共生、科技真正向善的美好未来。（作者：李强治，中国信息通信研究院政策与经济研究所副所长）