Seoul ICML Four Days: Models Devour Everything Faster Than Anyone Can Find Their Position

Full text · 原文 12,996 字

这场越来越快、越来越贵、越来越拥挤的竞赛里，我们还能做什么？ 晚点专栏作者丨五源资本合伙人孟醒 刚过去不久的 ICML 大会，可能是最近几年最热闹、也最 “迷茫” 的一次 AI 顶会。 ICML 的全称是国际机器学习大会，从 1980 年办到今天，和 NeurIPS、ICLR 并称 AI 界的三大顶会。全世界 AI 研究的最新进展，大多要先在这三个会上露面，接受同行的审视。 今年的会议办在韩国首尔，全球 AI 的关键玩家，难得凑得这么齐。不用像去美国那样有签证的麻烦，中国 AI 界这次来了大半，主要的大模型团队几乎都有人在场。今年 OpenAI 第一次设了独立展台，Google DeepMind 一家就来了上百人，欧洲的 Mistral 也派了人。 每年的 ICML，年轻 researcher 扎堆，向来是各大厂抢人的重要场合。英伟达、亚马逊、Meta，国内的阿里、快手、字节、腾讯，照例都设了 HR 专场；连 Jane Street、Citadel 这些量化机构，也专程来抢同一批人。 最戏剧性的交锋发生在 OpenAI 与 Anthropic 之间。OpenAI 不仅安排了很多分享，还请来歌手金请夏表演。我在 X 上刷到，有受邀嘉宾因为想看 K-Pop，放弃了 Anthropic 的晚宴邀请，去了 OpenAI 的活动。 Anthropic 的研究员对此回应：“我们邀请他们参加招聘晚宴，那是一种特权。如果他们因为 K-Pop 而选择了 OpenAI 的活动，那他们对 AGI 就不够认真，可能也不适合我们的文化。” OpenAI 今年在 ICML 上搞的 after party 我们也和被投企业 Aureka 一起，组了一场 AI4S 的 after party，请来了韩国女团 Kiss of Life。这个女团我真的没听过，我只能感受到 4 个团员，都 1 对 1 的有 BlackPink 的影子。神奇的是到场的 Anthropic researcher 和教授，不少都能叫得出这个女团的名字甚至作品。 最终这场 party，成为了 ICML 第一天全城最火的 party，报名人数竟然超过了两千人，这个数字几乎抵得上过去一届 ICML 的总参会人数，可见这次大会的火爆程度。 今年也是历史上最大的一届 ICML：投稿 23918 篇，比去年的 12107 篇几乎翻倍，最终录用 6352 篇。 我们和被投企业 Aureka 一起，组了一场 AI4S 的 after party，请来了韩国女团 Kiss of Life，没想到我第一次看女团跳舞，是在 ICML 但喧嚣背后，我发现还有一层底色：迷茫。AI 行业的 “强者恒强”，在今天已经到了夸张的地步。这几天我见的很多朋友，都提到了 “饱的饱死，饿的饿死”。 最头部的模型公司，估值涨到了令人瞠目结舌的位置，大有 “吃掉一切” 的趋势；而大多数人，都处在 “饿死” 的那一边。 大家都想着别掉队，拼命追赶，但也没找到特别好的办法。初心是星辰大海，可摆在眼前的选择是：要不要先搞数据，先做那些马上能换到钱的东西？很多人都卡在这道坎上，非常 struggle。 在 ICML 的这几天里，每一段超过半小时的对话，都会绕到同一个问题：面对越来越强大的模型，我的身位是什么？ 创业者在问，researcher 在问。说实话，我自己也在问：你在第几条赛道上，领先谁半个身位，又落后谁一个身位？ 模型公司正在 “吃掉一切” 前几天刚到首尔，我就问起几位老朋友的近况，几位做 AI 应用方向的创业者，都不约而同的表达了一个类似的理论： 他们说我知道我的命运，最后会是被模型公司吃掉，只是不知道什么时候。那我现在疯狂创新、做产品、积累用户 context，其实可以理解为一个 long horizon 的数据公司。等模型公司吃过来的那一天来了，我就从产品公司转型成数据公司，把手里的东西一卖，“这可能就是我的宿命”。 还有一些朋友，他们是非常有影响力的开源社区核心贡献者。三四个月前我们见面时，个个热血沸腾，摩拳擦掌准备创业。 但这次得到的回答是，他们都回大厂了。一位朋友说，做着做着发现故事讲不通了，“面对大模型的宿命感太强了”。 热血变凉，前后不过一个季度。当然这一个季度，确实也是模型公司不断扩展边界的时候。 我其实也挺感慨的，在模型越来越强大的今天，很多看似不错的东西，结果证明都不行。大家从最初想颠覆模型公司，慢慢转成了接受这样的宿命。 数据生意，确实是眼下少数确定有商业模式的方向，因为全行业都在为一件事发愁：训练和评估成本，涨到了离谱的地步。 字节内部有一个测模型自进化能力的 benchmark，如今完整跑一次要 1000 小时上下，花费 50-100 万美金。这意味着两件事：能拉开差距的题目已经这么难，说明模型的起点有多高；测得起的玩家，一只手数得过来。 同样的事也发生在模型训练上。今天模型进化的主流方法是强化学习（RL）：让模型做题，做完给一个分数（reward），做对了鼓励，做错了惩罚，循环往复。早期的题目短，答案明确，比如写一段代码，跑一下就知道对不对，训练飞快。 但随着模型越来越强，题目也必须跟着变长、变难、变开放。长到什么程度？就像下两个小时的棋，终局才告诉你赢没赢，中间几百步哪一步下错了，没人知道。OpenAI 的首席研究官 Mark Chen 在 ICML 分享，一年前他们还雇人给模型出题，现在 “如果 PhD 说模型错了，往往是 PhD 错了”。 这种长题目需要一个训练环境来跑，好的环境必须满足三个条件：题目答案是确定的，打分即时回来，试错成本低。 放眼全行业，最优质的两个 “练功房”，一是芯片 EDA 设计（让 AI 设计电路，性能一跑就出结果），和 kernel 算子优化（让 AI 优化底层计算指令，速度一测便知）。大家做模型自进化，上来都喜欢拿这两个场景练手。 但出了这两个 “练功房”，造环境就成了苦活。 在我们首尔办的五源信号站活动上，有朋友分享了一个更实验性的思路：让 AI 自己跟自己对练（self-play），来制造训练环境。比如找一个现成的软件项目，让一个 AI 往里面注入错误代码（出题者），另一个 AI 来修（解题者），再来一个 AI 当裁判打分。修得快就提升问题的难度，修不出来的失败记录，也留着做训练数据。 今年 ICML 上也有一篇不错的论文讲这个，思路和 AlphaZero 一脉相承：自己跟自己下棋，把出题的成本压下来。 这让我想起做自动驾驶那些年。在接管率是 5 公里一次的时候，一辆车一天就能攒出 20 个问题，修都修不过来；到了 1 万公里一次接管，一百辆车跑一整天，才碰上一个问题；再往上，要想测出一个新问题，需要上万辆车，这个测试车队规模比运营车队还大，成本就贵得离谱了。 所以自动驾驶做到某一步，比如比人类司机平均水平要好，迭代就不能主要依赖在测试环境中做了，就要在大几个数量级的运营环境中，去收集反馈了。 但 AI 不一样，如今这件事还像个无底洞，模型永远可以更强，永远有人愿意再花一百万美金测一次。 数据、环境、评测，这条 “卖铲子” 的生意链，就是这样被需求顶起来的。但这些只能成为创业公司的退路，很难是归宿。 以前做数据，很主要的能力是做人力外包，看的是运营普通人做高质量标注的能力。今天做数据卖给模型公司的 researcher，有点像一级市场里的 FA。 很多 FA 也是投资人出身，做投资未必最顶尖，但他非常清楚投资人想要什么，甚至能引导投资人的偏好和 FOMO 情绪，提前把 “货” 备好等着接 FOMO。 很多数据公司的负责人，本人往往就是很有品味的 researcher，他能预判下一代模型缺什么能力，先造出让现有模型刷不好的 benchmark，再把补课的数据卖给他们。 等所有模型都刷上来，这批 “货” 就过期了，一切从头再来，永远活在 day one。做数据，短周期谈积累，长周期谈品味。 模型取代这些环节的速度还在加快。Mark Chen 的同事 Noam Brown 给创业者的提醒更直接：要搭 harness 可以，别投入太多，三个月后多半就过时了。 护城河蒸发的速度，正快过挖掘的速度。 会场人潮汹涌，根本没有能拍全这个 Welcome 牌子的时候 学术顶会，也是 AI 竞赛的战场前线 一位国内的朋友这趟来首尔，想找机会聊一聊 OpenAI 或 Anthropic 的人，探讨几个预训练的问题。 虽然大家都在说中文，但每当聊到任何具体的地方，对面就不出意料的笑着打起了哈哈。 这是一场只有两个选手的比赛。一位大厂朋友的判断很直接，他认为 AGI 不能只掌握在美国公司手里。 而放眼全球，中美之外没有第三个有资格的玩家，“无论是算力、电力还是资金，这都是超级大国的竞赛。” 人才，被一堵隐形墙挡在两边。 这届首尔 ICML，北美前沿实验室来的华人面孔其实不多，一位研究员替缺席的同事解释：很多在 OpenAI、Anthropic 工作的中国研究员，还没拿到绿卡，由于签证问题，如果出一次境，可能就回不去了：“他们可以合法地待在 ‘屋子’ 里，但没有钥匙。如果你出去了，门就自动关了，你可能就回不来了。” 美国那边，钱的闸门正在打开。OpenAI、Anthropic 一旦上市，融资额可能是几百亿甚至上千亿美元，这些钱可以直接换成算力。 对于国内来说，一直以更低的成本和算力规模奋力追赶，虽然保持着落后半年的身位，但追赶的窗口明确存在。 不过令人焦虑的是，一位朋友掰着指头给我数，海外前沿实验室这几年的卡量（GPU）：从 1 万张、5 万张，到 25 万张、100 万张，差不多是一年翻五倍的速度。 到今年年底，头部实验室的算力，预计到 5-6 百万张等效 H100（新一代卡，一张顶过去几张，实际卡数没这么多，但换算成算力是这个量级）。 往后就算保守，只按每年翻两倍算，2 年后就是 2000 万张等效 H100。 国内要维持和海外 “只差十倍” 的水平，十倍已经是一个挺大的差距，但至少还在同一个赛道上，还能用效率和工程创新弥补一部分。要想匹配竞争速度，倒推下来，今年年底就需要有 100 万张，而这个数字并不容易。 更紧张的是，今天看起来还很接近的游戏，明后年这个追赶的窗口，也许正在关上。今天花 3-6 个月就能追上，因为前沿还没快到完全追不上。 但差距一旦拉大到一定程度，追赶所需的时间会急剧膨胀：今天中美算力差距大约 10 倍，如果两边保持各自现在的增速，两年后可能又是另一个数量级的差距，那时再想追，就不是以月计，而是以年计了。 但美国也有自己的短板：电。虽然 GPU 产能在加大，但实际部署能力跟不上产能，堵点就在电力（以及和电力相关的政策）跟不上。 卡在市场上依然紧俏，但买到卡，不等于马上能开机，当下美国电网只够部署其中一半到三分之二，剩下的要排队等电。微软 CEO 纳德拉去年 11 月就公开承认：“我手里有一堆芯片躺在库存里，插不上电。” 在这场竞赛的两头，缺口正好相反。 我还听到一个更激进的说法：到某个时点，中国将可以拿电力优势补算力劣势，也就是说如果有足够多的卡（哪怕落后一代），但中国的电力是富余的，可以全部跑满，把多余的电变成额外的 token 输出；而美国即便有更多更新的卡，也会被电力卡住，不能全部部署。 不管缺卡还是缺电，有一样东西所有人都缺。OpenAI 的 Mark Chen 被问到存储，他确认 HBM 是供应链的关键瓶颈，还说 Sam 早在五六年前就看到了，提前锁了合作，SK 海力士和三星正在拼命扩产。 而他说的那两家公司，就在这座城市里。 两家公司，一个国家 在中国这样供应链门类非常齐全的国家生活久了，可能很难想象一个国家的命运，正在被两家公司重新定价。 JP Morgan 算了一笔账：未来三年，SK 海力士和三星的预期净利润，是韩国全部政府债务的 1.4 倍，也就是说这两家公司的预期利润，就能完全覆盖全部政府债务还有余。即便只看这两家公司三年预计缴的税，也已覆盖政府债务的四成，接近韩国全部外汇储备的八成。 一个行业，两家公司，三年的盈利，就把一个发达经济体的主权债务，整个装了进去，这本身就足够震撼。 JP Morgan：未来三年，三星与 SK 海力士为韩国政府贡献的直接税收规模，有望轻松突破 3500 亿美元；若再叠加员工奖金对应的个人所得税，税收总额将更高。作为参照：韩国外汇储备总额为 4270 亿美元，政府全部债务规模约 1 万亿美元 存储芯片这个行业，四十年来一直被同一个剧本支配：涨两年，崩一次。繁荣期赚到的每一分钱，都会变成新产线，等新产能落地，需求的峰值往往已经过去，价格就又应声跳水。 过去三十年，这样的循环大约四年一轮，每一轮都淘汰一批玩家：九十年代，全球做 DRAM 的公司还有二十多家；好几轮周期下来，牌桌上只剩三个名字：三星、SK 海力士、美光。 存储行业多年来遵循四年一轮的周期，周而复始。看多的人认为——这次不一样！存储已经从曾经的周期性行业，因为 AI 而变成了一个结构性增长的行业。 而在这一轮存储行业 “超级周期” 中，有一个最核心的问题悬在所有厂商和投资人头上：周期还在不在？ 看多的人认为：这次不一样！因为 AI，这个曾经的周期性行业，正在变成一个结构性增长的行业，它就不再是个周期了。 这个逻辑，是支持存储行业近 1 年暴涨的核心，三星、SK 海力士、美光、闪迪这些公司的估值框架，从 “周期股” 切换到 “成长股”，哪怕是利润不增长，股价也能翻几倍，PE 从个位数切换到双位数。 SemiAnalysis 把这轮短缺定义为 “四十年一遇”。而扩产本身的时间尺度，就决定了短缺不会很快结束：建一座新的晶圆厂需要三年，HBM 比普通 DRAM 多占两倍产能，扩产反而在加剧短缺。 一位 SemiAnalysis 的存储分析师还告诉我，即便算上在建产能，2027 年的短缺反而会比今年更严重，“更缺两倍”。因为明年大量 AI 新芯片上线，原本给手机和笔记本的内存产能会被大规模抽走。业内的判断是：27 年是最紧张的一年，28 年才可能缓解。 韩国是这场短缺的最大赢家。HBM 的主要产能握在 SK 海力士和三星手里。即便最近韩国股市动荡，但它依然是今年全球表现最好的股市，而这轮涨幅的大半，就是这两家抬起来的。 股市的亢奋渗透到了生活的每一个角落。在首尔，我有一次约人，约在了金融中心汝矣岛。 周六中午，整个汝矣岛现代百货的奢侈品店，从 LV、Chanel 到 Bulgari，进店都要排队一个小时以上。 我从朋友口中，也听到了很多神奇现象：SK 海力士的员工，在相亲时都不敢说自己在海力士工作，如果发现对方不拜金，才敢说真话。确实，SK 海力士在 2025 年的人均年终奖高达 9 万美元，创历史纪录，而 2026 年利润比 2025 年还高，奖金只会更多。 韩国几乎全民都在炒股。散户今年在股市上的净买入，接近 83% 流向了三星或 SK 海力士。不少老人兑现人寿保单、动用退休储蓄买芯片股。韩国社会里有一种 FOMO 情绪，也许你什么都没做错，工资照发，存款还在，只因为没买这两支股票，结果身边人全富了，你就成了穷人。这种 FOMO 情绪产生于上一轮房价疯涨，如今在 AI 行情里又重新出现。 赢了的人在狂欢，但狂欢背后社会在撕裂。 芯片之外的韩国其实很难，石化、钢铁、电池、汽车零部件，被需求疲软和中国竞争两头夹击。 经济学家管这叫 K 型分化：一条腿飞上天，一条腿往下坠。韩国人均月薪不到 3000 美元，芯片部门一个人的奖金，顶普通人十年工资。有政府官员提议，拿 AI 受益企业的税收，来发 “国民红利”，把一部分超额利润分给其他劳动者，“这是维护整个体系稳定的必要成本”。帖子后来删了，但话题留下了。 可即便是 K 型分化飞上天的那部分，最近也在剧烈颠簸。ICML 结束后的周一早上，一份券商报告预测 SK 海力士二季度营业利润同比暴增 556%。这是一个惊人的数字，放在任何行业都是。 但股价当天跌了超过 10%。原因很简单：市场原本的预期比这个数字还要高，对于存储行业，利润具体涨了多少已经没人在乎，只问有没有超过预期。 Morgan Stanley 提醒，这已是 ChatGPT 问世以来，存储股的第三次大回调，前两次都没打断周期。随着行业转向三到五年的长约结构，券商们开始重新思考估值框架：从 “这个季度价格又涨了多少”，换成 “这样的利润率能扛几年”。短期的暴涨暴跌，可能只是长周期里的噪声。我也有朋友今年重仓了芯片股，这周的暴跌没吓倒他：“周期还没有结束。” 这轮 AI 变革肯定远没有结束，但这场超级周期里，走着三个时钟：模型按月迭代，资本按季重估，晶圆厂按年建设，最终市场会被走得最慢的那只时钟校准。 离 COEX 会场不远，就是有名的 “黄仁勋炸鸡店”，店里多数顾客都挂着 ICML 的胸牌，AI 浓度实在太高了。 AI 学术与工业界的分野 今年 ICML 的 2 篇 best paper，都给了 diffusion 方向。 一篇 MIT 的 Fan Chen 做得偏理论，讲 diffusion 的采样率提升（速度变快）的方法论，这篇我没太读懂。另一篇出自清华黄高团队，标题里的重点是 The Flexibility Trap（灵活性陷阱）。 Diffusion LLM 是一类和主流大模型路线不同的生成方法。主流模型从左往右一个字一个字写，diffusion LLM 可以打乱顺序，哪里有把握先写哪里，听上去自由度更高。 这篇论文用实验证明：在数学和代码这类需要严格推理的任务上，diffusion 引以为傲的那份自由，反而是个坑。 推理需要在关键节点做选择，自由的模型，倾向于绕开最难的选择、先填简单的部分，等回头再补时，发现已经没有选择余地了。 当然在工业界，diffusion LLM 并不主流。ICML 毕竟是学术顶会，喜欢有思辨性的想法。但学术上的巧思，和商业上的可用，是两回事。 在五源信号站活动上，我们正好聊到了一个老话题：Richard Sutton 的 Bitter Lesson，这是 AI 领域一条被反复验证的规律。 简单说就是，长期来看，最有效的方法永远是最通用、最粗暴的那一个：通过更大规模的 search + learning 的方法，打败一切靠人类知识 hardcode 进去的方法。行业有时候会简单粗暴地简化成 scaling vs 雕花技巧。那些针对具体问题的精巧技巧，短期管用，一旦 scaling 重启，就会被扔掉。 五源信号站 Happy Hour ICML 2026，大家交流的热情太浓了，首尔的餐厅晚上关门太早了 但我那天在想的，是这条教训的另一面：如果 scaling 真的一路畅通，Bitter Lesson 为什么还需要被反复提起？因为 scaling 每隔一阵就会撞墙。 Scaling 不是一种完整的解决方案，而是一种复利机制。它会淘汰不能复利的人工技巧，却永远依赖新的算法创新，来重新定义什么东西可以复利。 AI 的历史不是 scaling 战胜 insight，而是 insight 不断创造新的 scaling regime，再被 scaling 放大和商品化。 The Bitter Lesson is that human insight does not scale. The Bitter Lesson of that lesson is that scaling does not invent itself. 每次撞墙，正是那些 “没用的” insight 和技巧，把我们从死胡同里救出来。等 scaling 找到突破口重新跑起来，这些救命的东西又被抛弃，直到下一次撞墙，周而复始。 Diffusion LLM 获奖，可能正处在这个循环的某一个节点上：学术界在打磨它，工业界暂时不需要它，但没人知道下一次 scaling 撞墙的时候，会不会正好需要它。 当然，这是方法论层面的老问题。但这届大会，还有一个更现实的新问题让我不安：学术界证明 “有效” 的成果，放到工业界的尺度上，往往不再成立。 以前，学术界在 7B 这种 “小” 模型上做实验，看到一个 idea 有效果，哪怕只是初步的苗头，就够发一篇论文了。工业界也买账：你在小模型上看到了信号，我愿意花更大的代价，试试能不能放大。 但现在不行了，学术界已经咬着牙，把验证规模推到了 20B、30B，训练一次花掉小一千万人民币。 可工业界的门槛已经扩张到了 100B，并且把你在 100B 以下看到的效果不当回事，因为太多 idea 在小模型上管用，放大了就失效。 一位核心算法工程师说得很干脆：你做 research，和你真的在工业级上操盘过上千张卡，是完全不一样的。 1000 个 idea 在 7B 模型上能跑通，但扩大到 100B，可能只剩十个。这个淘汰率，对投资是致命的。我们看过很多项目，严格说是在投资一篇论文，idea 很漂亮，但还没到能长成商业的程度。 所以在 ICML 结束的那晚，我从 COEX 会场走回酒店的路上，认真怀疑了一下自己：这些年，我是不是犯过一类错误，过度喜欢一件事的新奇，喜欢它的巧。 但做投资的人，得时刻提醒自己：别活成一个审稿人。审稿人评价 paper，看的是它新不新、好不好、能不能被很多人引用；投资人要判断的是另一件事：这个东西在真实世界里能不能长大，能不能变成商业。 这两套标准，在今天正渐行渐远。会场里遍地是好 idea，但真正能收敛成一门生意的很少。 全球已经进入 AI 工业大迈进的阶段，而 “小清新” 创新的窗口，可能也会被暂时关上。 AI 论文大爆炸，如何颠覆 arXiv 这一届 ICML 用了一个雷霆手段，来维护审稿纪律。 组委会在投稿论文的 PDF 里，埋了人类看不见的提示词，充当诱饵。审稿人如果偷懒，把论文直接丢给 AI 写审稿意见，AI 就会把那段暗语，原样带进评语里。 ICML 的处罚很重。这些审稿人，很大一部分本来就是投稿论文的作者。一旦你作为评委，被抓到用 AI 写评语，那你自己投的那篇论文，也会跟着被拒。最终，506 名审稿人被识别出违规，其中 398 人同时也是投稿作者，他们的 497 篇论文被当场拒稿，约占全部投稿量的 2%。 当然这也引起了一些审稿人的抗议，凭什么要求他们花大量时间精力，免费写那么多认真的评语？ 这起争议也揭示了，在 AI 论文数量大爆炸的今天，这套运转了几十年的同行评审系统，完全过载了。 在 ICML 会场里泡了几天，突然觉得这个会本身，很像一个巨大的 Transformer。每篇论文是一个 token，每个人也是一个 token，两万多个 token 挤在同一个 context 里，互相争夺 attention。 今年投稿数量几乎翻倍，明年大概率还会继续增长。模型可以不断扩展 context window，人类的 attention budget 却基本是固定的。再这样下去，ICML 最先遇到的可能不是算力瓶颈，而是人类版的 KV cache overflow。 对作者来说，规则在某种程度上也变了：以前把研究做好就行，现在还得学会吸引注意力，要想办法把别人的 attention 诱导到自己身上。 过载的症状随处可见。一位常年参会的 researcher 说，今年他连门票都没抢到；猎头和 HR 在走廊里扫楼，他收到的私信大多来自对冲基金。 在论文数量大爆炸的时代，今天大家怎么找值得看的论文？大多数 researcher 都回归了最原始的方法：先识别厉害的人，直接看他们写的东西，而不是盯着 arXiv（全球最大的学术论文网站）。 今天的学术体系，每一个环节都是为人的能力而量身定制的。研究的主体是人，人靠读论文吸收前人经验，因为人需要用文字来总结知识的结晶；试错过程保密，最后只把走通的那条路写成论文公开；评价交给同行评审。 但如果把这个过程 AI 化，AI 不需要读论文，论文只是给人看的界面，AI 要的是界面背后的一切：思维链、试错轨迹、失败路径、原始数据、能直接跑起来的实验环境。 研究的基本单元，会从一篇论文，变成一个可运行的文件夹。 未来分享学术知识的方式也会变。今天你在 arXiv 上看中一篇论文，得自己搭环境、从头复现实验。 但为什么不直接设计成 vibe coding 社区那样（比如 arXiv、GitHub 和 Hugging Face 的合体）：科研在上面发生，实验在上面跑，评价也在上面完成。 今天如果你想把 A 论文的方法，和 B 论文的方法结合在一起，得靠人去读懂两篇，再手动设计缝合。AI 时代应该是模块化拼插，前提是所有研究成果都留好接口，可组合、可排列。 评审也需要变化。今天的人类审稿人，只能跑一套标准：要么看学术价值，要么看工业价值，两者很难兼顾。 换成 AI 做评审，权重可以随便配，你想要学术新颖性，就给新颖性加权；想要工业可用性，就给可用性加权。两套价值第一次有可能在同一个体系里合流。 论文产量注定还会继续爆炸，评价也必须跟着变：从人读、人评，变成可运行的自动化测试，像跑 benchmark 一样。 这可能是我在首尔这几天里，想得最清楚的一个瞬间。“颠覆 arXiv” 这件事太有意义了，如果你读到这里也有同感，欢迎联系我，一起来做。 尾声 回程的航班上，我翻了翻这几天的笔记。 四天，几十场对话，聊的内容跨度很大，算力、论文、股价、签证问题……表面上每一段都是在讲不同的故事，但底层都是在回答同一个问题：在这场越来越快、越来越贵、越来越拥挤的竞赛里，什么才是属于自己的身位？ 连 ICML 的议程，都在映射这种迷茫。有一场普林斯顿大学教授 Narayanan 的演讲，叫 “What will be left for us to work on?（留给我们的工作还剩什么？）”。一位 AI 领域非常有影响力的学者，站在全球 AI 顶会上，问的也是这个问题。 当然，我也没有找到答案。 但我记住了一个高中生。这几天，见的几乎全是大厂研究员、拿了几亿融资的创业者、管着千卡集群的工程师。但在一个叫 RLxF 的 workshop 里，我看到一个高中生站上了讲台，他来自加州圣何塞的 Lynbrook High School，即将升高三。 独立作者，背后没有团队、没有机构，一个人写了一篇论文投进来，拿到了 oral，也就是被选中上台做正式演讲，这在学术会议里是挺高的认可，绝大多数论文只能贴在墙上展示。 他研究的是给农民做农作物推荐。以前的推荐系统只管哪种作物长得好，他往系统里加了一个变量：农民会不会真的采纳。买不买得起种子、会不会用新工具，都算进推荐里。 在这个动不动上千张卡、百万美金跑 benchmark 的行业里，一个高中生拿着一台电脑，研究的是农民如何用上一个 AI 推荐系统，全场都在找身位，他可能是唯一不需要找的人，他把一件想做的事做完了。 这大概是这几天我最受触动的时刻：这个行业正在同时把天花板抬到史无前例的高度，也把地板降到史无前例的低。 焦虑和兴奋，取决于你看的是哪一头。 月底我会再去一趟硅谷。上个季度去的时候，全员都在 token-maxxing，所有人拼命堆算力、堆规模，停不下来。几个月过去，风向又变了：token-maxxing 的势头大幅放缓；出现了对算力缺口到底有多大的微妙讨论；应用进入低谷周期，数据进入高峰周期……欢迎交流。 晚点专栏作者孟醒：五源资本合伙人、前滴滴自动驾驶 COO。这是他 AI 投资观察的第二篇，此后他会在晚点上持续更新他的投资观察。 题图来源：ICML 特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。 Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services. var loadMessageError2 = function () { // message加载失败降级到nginx,产品可以在load事件重新初始化 var cdnPath = 'https://dl.reg.163.com/webzj/ngx/message.js'; var script = document.createElement('script'); script.src = cdnPath; document.body.appendChild(script); } var loadMessageError1 = function () { // message加载失败降级备份cdn域名,产品可以在load事件重新初始化 var cdnPath = 'https://webzj.netstatic.net/webzj_cdn101/message4.js'; var script = document.createElement('script'); script.src = cdnPath; script.onerror = loadMessageError2 document.body.appendChild(script); } //初始化反作弊 var wm = null; // 只需初始化一次 initWatchman({ productNumber: 'YD00157343455660', onload: function (instance) { wm = instance } }); var isShowComments = true, tieChannel = ""; (function () { if (window.isShowComments === undefined) { window.isShowComments = true; } var config = { "productKey": "a2869674571f77b5a0867c3d71db5856", "docId": "L203QN6I0531M1CO", //"data.article.postid", "FNMG85GQ0514HDQI" "target": document.getElementById("tie"), "operators": ["up", "down", "reply", "share"], "isShowComments": isShowComments, //是否显示帖子列表 "hotSize": 3, //热门跟贴列表展示3 条 "newSize": 2, //最新跟贴列表展示 10 条 "showPaging": false, //显示分页栏 "submitType": "commentPage" //新发帖子的展现形式：停留在当前页面(currentPage) | 跳转到跟贴详情页(commentPage) }; Tie.init(config, function(data) {}); })(); /阅读下一篇/ 返回网易首页 下载网易新闻客户端

Site key	latepost
Policy area	人工智能
Category	report
CMS	媒体报道
AI score	0.26

Seoul ICML Four Days: Models Devour Everything Faster Than Anyone Can Find Their Position | Wu Yuan Meng Xing

首尔 ICML 四天：模型吃掉一切的速度，快过所有人找身位的速度丨五源孟醒