AI Companions Should Grow Within Regulations

&emsp;&emsp;日前，国家互联网信息办公室公布《人工智能拟人化互动服务管理暂行办法（征求意见稿）》，首次针对“AI陪伴”类服务提出系统性规范，并向社会公开征求意见。其中，连续使用超2小时弹窗提醒退出、用户自杀自残时需转人工接管等条款引发广泛关注。<br> &emsp;&emsp;当前，从智能客服到虚拟陪伴，从教育辅导到心理咨询，人工智能拟人化互动服务已深度融入经济社会发展各领域，成为AI技术应用的重要方向。但近年来涉情感陪伴安全事件频发，比如美国某平台就因涉嫌在人机交互中诱导青少年自杀而被诉。<br> &emsp;&emsp;AI拟人化互动服务的最大卖点是“像人”，但最大隐患就在于“太像人”，其核心问题集中在四大维度。认知混淆风险：高仿真的情感交互容易让用户模糊虚拟与现实边界，甚至误将AI视为具备真实情感的生命体。心理健康隐患：部分服务通过算法迎合强化用户偏执思维，极端情况下可能诱导自杀自残等危险行为，对心理脆弱群体构成威胁。隐私数据安全：用户交互信息可能被违规用于模型训练，存在泄露或滥用风险。特殊群体保护：未成年人易陷入沉迷，老年人易遭遇情感操控。这些问题不仅侵害个体权益，更可能冲击社会伦理秩序，亟需制度约束。<br> &emsp;&emsp;细看《办法》条款，四大亮点直指现实痛点。<br> &emsp;&emsp;针对认识混淆风险，办法将身份透明作为核心前提，要求提供者显著提示用户正在与人工智能而非自然人进行交互，在首次使用、重新登录等关键节点动态提醒，从源头破解认知混淆问题。<br> &emsp;&emsp;针对心理健康隐患，办法要求提供者应当建立应急响应机制，对自杀自残等极端情境实行人工接管并联络用户监护人、紧急联系人，设置2小时强制休息弹窗等防沉迷措施。<br> &emsp;&emsp;针对隐私数据安全，办法要求提供者应当采取数据加密、安全审计、访问控制等措施保护用户交互数据安全，不得向第三方提供用户交互数据，赋予用户数据删除权。<br> &emsp;&emsp;针对特殊群体保护，办法专门设立了对未成年人和老年人用户的条款，明确未成年人模式的使用权限与监护人管控功能，禁止提供模拟老年人用户亲属、特定关系人的服务，要求引导老年人设置服务紧急联系人。<br> &emsp;&emsp;可以看出，《办法》的核心，是技术有责。人工智能不是人，但一旦介入人的情感、决策、生命安全，就必须承担相应责任。禁止散布谣言、禁止诱导自杀、禁止情感操控、禁止套取隐私……《办法》划定了“AI伙伴”一系列不可为的底线，构建起全链条风险防控体系。算法设计要可审计，内容输出要可追溯，极端场景要有人兜底，将软伦理转化为硬杠杠，把事后道歉前置为事前预防。唯有如此，才能避免AI反噬人类。<br> &emsp;&emsp;人工智能可以无限接近人，但永远不能替代人。《办法》的出台，是给“AI伙伴”立规矩，更是给人类用户留后路。只有当算法学会有所不为，技术才能真正向善而行。毕竟，我们需要的不是完美恋人或数字孝子，而是一个安全、可控、有温度的AI工具。唯有让“AI伙伴”在规范中成长，才能使其真正赋能美好生活。