Automated Environmental Perception, No Human Intervention, Diverse Attack Forms: Cybersecurity Challenges Escalate in the 'AI+' Era, How to Build an Effective New Defense Line?

新华社北京11月27日电 11月27日,《新华每日电讯》发表题为《自动感知环境 不受人工干预 攻击形式多样——“AI+”时代网络安全挑战升级，如何构建有效新防线？》的报道。<br> 2025年以来，人工智能（AI）技术实现显著突破——大模型训练成本不断降低，应用方式从生成式AI向智能体化AI快速演进。随着技术不断发展，AI正赋能各行各业，引领人们进入“AI+”时代。然而，AI的“双刃剑”效应也愈发明显：AI滥用风险态势严峻，深度伪造技术以假乱真，利用AI实施网络攻击趋势抬头……<br> 人工智能作为引领新一轮科技革命和产业革命的战略性技术，深刻改变人类生产、生活方式，但在引领生产力革命性跃迁和生产关系深层次变革的同时，也给网络安全带来了新的威胁和挑战。如何准确应对“AI+”时代的网络威胁？强化风险感知和预警能力，“用AI对抗AI”，成为摆在人类面前的新课题。<br> 生成式AI滥用，“李鬼”风险不断<br> “这是人工合成的假视频，讲话声音是我，但内容不是我的。”10月11日，在江西南昌一场国际学术年会上，中国工程院院士、天津中医药大学名誉校长张伯礼在作报告时幽默地说：“凡是‘捎货’（带货）的肯定不是我！”<br> 会议上，张伯礼院士提醒大家对一些短视频注意鉴别。原来，今年网络平台上出现了多个关于“张伯礼”带货某美白护肤品的短视频。实际上，这些都是经由AI制作的。这些合成视频使用张伯礼院士的形象和声音，达到以假乱真的效果。<br> 新的技术应用发展的同时，运用网络、信息技术侵害肖像权、名誉权等人格权的情形也经常出现。今年6月，最高人民法院发布的6起滥用信息技术侵犯人格权案例中，不乏未经许可AI化使用他人声音、擅用他人肖像供用户“换脸”等。<br> 国家计算机病毒应急处理中心高级工程师杜振华告诉记者，2023年以来，随着生成式AI的普及和规模化应用，其强大的内容生产和模仿能力在推动创新的同时，也催生了深度伪造、算法偏见等风险。<br> 公安部网安局今年9月披露的打击整治网络违法犯罪典型案例中，涉及多起利用AI工具编造谣言、网络暴力、开盒网暴、侵犯公民个人信息等案件。包括“桦加沙”台风逼近广东沿海地区，社交平台上出现多张所谓“深交所门前牛雕塑被拴”“车辆被五花大绑”图片，均被证实系AI合成；河南发生区域性暴雨天气期间，多个账号发布的内容也实为用AI技术拼凑、剪辑生成的虚假视频。<br> “金融行业中，一些机构的身份验证被AI换脸攻破。今年6月，不少高校也要求毕业论文必须进行AI检测。”中国科学院计算技术研究所前瞻研究实验室主任曹娟说，大模型普及之后，他们发现很多行业都需要鉴伪。<br> AI化身智能体，自主进攻难捉摸<br> 今年年初，“2025年哈尔滨第九届亚冬会”遭受境外网络攻击事件引发广泛关注。国家计算机病毒应急处理中心等有关技术团队持续攻坚，成功追查到美国国家安全局（NSA）的3名特工和两所美国高校，参与实施了针对亚冬会的网络攻击活动。研究发现，此次攻击利用了AI智能体进行工具方案规划、漏洞探寻和流量监测等工作，部分代码明显由AI书写，可以在攻击过程中自动、快速编写动态代码实施攻击。<br> 所谓智能体化AI，是指具备自主决策能力的人工智能系统。AI智能体一旦被用于网络攻击，其自主性、随机性将大大提升网络安防的难度。<br> “不久前，境外网络公司披露一个已知的AI勒索软件，该勒索软件使用OpenAI公司的开源大模型生成恶意勒索程序，利用AI技术可以自主决定搜索或加密哪些文件。”公安部有关负责人在9月底召开的第三届网络空间安全（天津）论坛上介绍。<br> 中兴通讯股份有限公司副总裁王继刚表示，智能体是未来AI应用的重要方式。“智能体会自动感知接触到的环境，并在运行过程中不受人工干预，能以目标为导向。”他认为，智能体攻击的形式多种多样，其大规模应用带来的总攻击面会更大，影响也更复杂。<br> 目前，网络上已出现多款辅助网络攻击的大模型工具，一些网络“黑产”工具也正积极接入AI。国家计算机病毒应急处理中心联合其他权威机构发布的《网络空间安全态势分析报告（2025）》指出，相较去年，今年发生的AI相关网络与数据安全事件与风险显著增加。<br> 不过，在专家看来，当前AI强大的数据处理、模式识别和自动化的能力，也能为网络安全提供新的解决方案和防御策略，AI智能体的融入将使网络安全防御从被动响应向主动预测和自动防御转变，AI网络攻防对抗态势或将进入“智能体驱动”的新阶段。也有观点认为，未来的网络安全之战可能会演变为“AI之间的对抗”。<br> 在安恒信息技术股份有限公司董事长范渊看来，AI智能体能快速生成动态仿真系统，结合AI的自动化编程、数据生成等，AI可以实时根据攻击行为，预测攻击者下一个相关的动作，从而生成对应的预防策略。<br> 技术风险管控，亟待多方协同<br> 在不少业内人士看来，现在不应再探讨AI是不是有危害，而是到了研究怎样让AI健康发展的阶段，发展安全可控的AI，重构网络安全治理体系是一项系统性工作，需要治理制度、技术创新、产业生态等协同推进。<br> “AI安全风险源于AI向‘超人’化演进。解决AI‘超人’问题，关键是管好‘框、数、人、链’四个环节，把AI嵌在安全体系里，把体系落在场景中，重塑适配时代需求、业务场景的内生安全体系，增强数智系统的内在免疫力。”奇安信科技集团董事长齐向东说。<br> 为此，中国不断延伸AI领域治理链条。今年9月1日，《人工智能生成合成内容标识办法》及配套强制性国家标准《网络安全技术 人工智能生成合成内容标识方法》正式生效，明确要求所有传播的AI生成内容必须添加显式或隐式标识，AI生成内容强制亮明“数字身份证”。业内认为，这意味着中国在内容安全治理上迈出关键一步。<br> 与此同时，近年来，中国公安机关作为维护网络安全的重要力量，持续开展多个专项行动，有效应对一系列网络安全风险与挑战。<br> 国际刑警组织网络犯罪局局长尼尔·杰顿说，网络犯罪在全球是一个严重的问题，全球网络犯罪经济规模已超10.5万亿美元。在今年针对恶意软件的“安全亚洲”活动中，国际刑警组织和中国紧密合作，关闭了20000多个恶意IP，查获了100GB的数据。“成功的网络安全行动根基在于合作。”他说，未来将综合运用AI等新技术进行跨国打击行动。<br> “网络安全威胁没有国界，任何一个国家发现的漏洞都可能在几分钟之内波及其他国家。构筑网络安全不能各自为政。”尼日利亚国家信息技术发展局局长卡希夫·伊努瓦·阿卜杜拉希说，“区域和全球合作是必经之路。”<br> 清华大学公共管理学院教授、人工智能国际治理研究院副院长梁正建议，在“AI+”时代，要通过国际合作推动能力建设、风险共管和规则标准互认，同时探索针对特定议题的小切口治理合作，携手构建包容普惠的全球AI治理体系。