Full text · 原文
2,372 字
科技日报记者 龙云 王春<br>
7月17日，2026世界人工智能大会科学前沿论坛在上海启幕。论坛以“智启新篇 共赴前沿”为主题，汇聚中外专家及顶尖科研机构负责人，围绕人工智能与科学双向赋能、前沿AI安全与全球治理等核心议题展开深入研讨。<br>
AI的能力边界在哪里？<br>
上海人工智能实验室主任、首席科学家周伯文在主旨演讲中用“一冷一热”给出了他的观察。过去一年，AI在编程领域的任务成功率从约5%跃升至88%，但在科学领域，最好的大模型在端到端科学发现任务中的完成率停留在3%，“18个月来几乎纹丝不动”。在他看来，编程与科学的关键区别在于反馈机制，编程可以秒级验证，而科学研究往往需要数月甚至更长的验证周期，失败是常态。<br>
这一反差引发了与会专家的深思，在随后的“AI赋能科学，科学启迪AI”圆桌讨论中，来自生命科学、海洋科学、材料科学、农业科学等领域的五位专家试图回答这个问题。<br>
昌平实验室副主任金勤献提出，AI对科学研究的支撑可分为三个层次：助手、效率工具和伙伴。他预测，未来每一位科学家面对的将是“一组AI智能体”，分别从不同角度协同工作。但金勤献同时强调，科学的本质在于提出假设，这需要深厚的“科学品位”和抽象能力，目前AI尚不具备自主提出颠覆性假设的能力，“科学发现仍将长期处于人类科学家引领、AI协同创新的模式之下”。<br>
中国工程院院士、苏州实验室学术副主任孙宝德从科学认识论的角度指出，AI长远来看可以达到自主发现规律的水平，但核心问题在于AI缺乏自主意识。他说，AI“不会主动设计实验，不会主动获取数据”。孙宝德同时提醒，AI安全与可控性必须始终置于优先位置。在他看来，“人和AI之间是一种相互成就的关系”。<br>
崂山实验室副主任吴能友表示，AI已经在海洋科学领域提出了可解释、可检验的数学表达式，解决了一个困扰学界数十年的科学问题。但他同时指出，AI目前不具备“科学品位”，无法判断假设的价值，也无法为错误承担责任。他提出了一条现实路径：让AI批量生成假设，通过数字孪生进行预筛选，最后由科学家判断价值并验证。广州实验室副主任陈新文表示，AI已初步展现出从假设提出到实验验证形成闭环的能力，但目前“整体效应还比较低”。崖州湾实验室副主任陈凡则强调，科学发现的核心在于“洞察力”，AI与人类智能的结合有望加速这一过程，但洞察力的源头仍在于科学家。<br>
AI的安全边界由谁来定？<br>
如果说科学发现考验AI的能力边界，那么安全治理则触及另一个问题：AI的安全边界由谁来决定？2018年图灵奖得主、加拿大蒙特利尔大学教授约书亚·本吉奥通过视频发言指出，AI正处在一个关键转折点，机器智能的快速增长赋予其前所未有的力量，“这种力量若善加利用可带来巨大福祉，但如果决策鲁莽或仅服务于少数群体利益将带来严重危险”。他呼吁，“各国必须认识到AI滥用带来的威胁是全人类共同面临的安全挑战”。<br>
安全治理从何入手？复旦大学副校长姜育刚用一个比喻让这个问题变得具体可感，他说人需要道德教育，也需要警察，两者缺一不可。<br>
香港科技大学（广州）协理副校长熊辉则从哲学层面提出了更完整的框架。他将安全治理分为三个层次：不敢为、不能为、不欲为。不敢为是依靠外部法律和惩罚机制让人害怕作恶，这是当前绝大多数安全工作的重心；不能为是从数学和算法层面将安全约束内置化，让AI从底层就无法作恶；不欲为是让AI在价值层面与人类对齐，从心里就不想作恶。熊辉坦言，目前努力多停留在不敢为，后两个层次差距还非常大。<br>
西安电子科技大学校长高新波教授进一步从技术层面印证了这一判断。他指出，传统“打补丁、加护栏”的外挂式安全模式已经失灵。当AI具备推理、规划和工具调用能力，“它就能理解防护盲区、实施精准越狱、进行战略性欺骗”。<br>
另一个备受关注的问题是开源的安全边界。独立研究员杰夫·吴坦言，自己“在理念上非常倾向于开源”。在他看来，“很难想象一个强大的AI系统被封闭起来、外界对其运作方式一无所知的未来”。但他同时承认，“信息危害是真实存在的，有些知识一旦广泛传播，带来的风险可能远超预期”。<br>
英国剑桥大学AI科学与政策技术研究负责人索伦·明德曼试图在两种立场之间找到平衡。他认为，开源的好处和风险都很明显，“关键不是‘开不开’，而是‘怎么开’”。他提出了两个具体建议：“一是在模型训练阶段，把与大流行病相关的最危险的知识从数据集中过滤掉，因为这些知识一旦被模型学到就很难再‘遗忘’；二是在模型使用环节，通过云服务商对使用者身份进行核查，把高风险能力的访问权限限制在可信赖的人群手中。”<br>
与会专家指向了一个共同判断：当AI能力持续跃升，如何兼顾创新活力与安全底线，已成为全球AI治理无法回避的共同课题。<br>
本次论坛由科学技术部担任指导单位，世界人工智能大会组委会主办，上海人工智能实验室承办。5492742026-07-18 08:57:07:421龙云 王春<br>
中外学者共议AI能力边界与安全底线——2026世界人工智能大会科学前沿论坛在上海举行1324滚动滚动<br>
https://www.stdaily.com/web/gdxw/pic/2026-07/18/549274_8abec748-34ec-451f-905a-2b3dba04027e_1088x7253629421copy.png<br>
https://www.stdaily.com/web/gdxw/pic/2026-07/18/549274_8abec748-34ec-451f-905a-2b3dba04027e_1088x7253629421copy.png<br>
https://www.stdaily.com/web/gdxw/2026-07/18/content_549274.htmlnull科技日报100/enpproperty-->