Full text · 原文
5,220 字
Fable 5 的订阅体验迎来最后一次延期：原定几天前结束的使用期限，被延长到了今天。<br>
今天过后，订阅用户无法再通过套餐限额来体验这个 Mythos 级的公开模型。<br>
这短短的几天，已经让许多人爱上却又要失去。不禁让人畅想，这种级别的模型，什么时候能跑在我们自己的设备上？<br>
曾经人们讨论前沿模型时，话题通常是「它有多强」「它比竞品快多少」「它能取代什么工作」。但这一次，有人开始问它能不能跑在端侧。<br>
不过说实话，这个想法目前放在 Fable 5 身上，还是太乐观了，这毕竟是 Anthropic 第一个 Mythos 级的公开模型，100 万 token 上下文窗口，专为长时间异步任务设计，跑在 AWS 和 Google Cloud 的数据中心里。它离端侧设备之间隔着的不是一代芯片，是好几个数量级的算力、功耗和模型压缩难题。<br>
Fable 5 下线事件本身也在提醒另一件事，正如 Reddit 上所说，如果你不拥有硅和权重，高可用性就是个幻觉。这个问题的出现，更多是一种信号：说明端侧 AI 这件事已经从行业术语变成了大众期待。<br>
从发布参数，到发布架构<br>
如果说过去两年端侧 AI 的主题是「宣布」，今年的主题变成了「重构」。芯片厂商不再满足于在发布会 PPT 上标一个 NPU 算力数字，而是开始围绕本地 AI 推理重新设计整个硬件架构。<br>
6 月 25 日高通给出了一组让华尔街重新评估这家公司的数字：2029 财年非手机业务收入目标上调到 400 亿美元，约为此前目标的两倍。数据中心 AI 基础设施目标超过 150 亿美元，汽车业务 100 亿美元。CFO Akash Palkhiwala 的表述更直接：「到 2029 年，手机将只占我们芯片收入的三分之一。」<br>
支撑这个目标的硬件基础，是已经进入第二代的骁龙 X2 系列。骁龙 X2 Elite 的 Hexagon NPU 做到了 80 TOPS 的 AI 算力，这个数字在 2024 年还属于云端推理芯片。最高 18 核 CPU、228GB/s 内存带宽、128GB 统一内存的配置，已经不再是「能跑 AI 的笔记本」，而是「为 AI 设计的笔记本」。<br>
比芯片本身更值得关注的是高通的系统级布局，6 月 17 日的 AWE 大会上推出的骁龙 START 计划，把芯片、AI 软件栈、合作伙伴网络打包成模块化方案，让品牌和企业能像搭乐高一样推出个人 AI 终端。首批落地的品类是智能眼镜，后续扩展到更多形态。高通管这个愿景叫 The Ecosystem of You」——不是你在不同设备上打开不同的 AI，而是同一个 AI 追着你走。<br>
苹果的牌打得更激进，根据彭博社 Mark Gurman 爆料，苹果正在做出自 2020 年 Apple Silicon 发布以来最大的一次路线图调整，跳过 M6 Pro 和 M6 Max，直接押注 2027 年的 AI-focused M7。<br>
苹果的 M 系列从 2020 年至今，路线图像瑞士铁路一样准时——每年一代，每代三种配置（基础、Pro、Max）。突然跳过整整一个高端代际，意味着苹果内部判断端侧 AI 的需求已经紧迫到等不及按常规节奏迭代了。<br>
M6 基础版的内存带宽预计 200GB/s（M5 是 153GB/s），M7 目标 240GB/s。统一内存架构让 CPU、GPU 和 Neural Engine 共享同一个内存池，天然适合大模型推理。M5 开始在每个 GPU 核心内置了 Neural Accelerator，AI 不再是一个独立的协处理器功能，而是分布在整个芯片的每一处计算单元里。<br>
在 Gurman 看来，这是苹果正在「加速推进」，因为 M7 拥有「支持端侧 AI 和 GPU 密集型软件的技术」——不是「支持 AI 功能」，是「支持端侧 AI」，这是一个芯片设计目标的转向。<br>
当苹果和高通在笔记本和手机上布局时，英伟达从另一个方向杀进来了。售价 4699 美元的桌面设备 DGX Spark，搭载 Grace Blackwell 超级芯片，128GB 统一内存，1 PFLOP 的 FP4 AI 算力。<br>
英伟达把它定位为「个人 AI 超级计算机」。今年 6 月的 GTC 台北上，老黄又发布了 RTX Spark，更轻量的超芯片，目标是把 AI 原生 PC 推向更薄的笔记本形态。这条线跟英伟达的工作站策略也在汇合，RTX PRO Blackwell 系列已经在 Dell、HP、Lenovo 的新款工作站上落地。<br>
NemoClaw 项目让用户可以在本地工作站上运行安全、始终在线的 AI 助手。DGX Spark 负责桌面级重度推理，RTX Spark 负责轻薄本，RTX PRO 负责专业创作，全方位出击，把本地 AI 从极客玩具变成了可量产、可定价的硬件品类。<br>
向设备弯腰<br>
硬件在追 AI，模型也在反过来适应硬件。过去一年，几款关键模型的出现正在改变「端侧 AI 能做什么」的答案。最明显的动作来自于 Google DeepMind，发布了 Gemma 4。<br>
这是来自 Gemini 3 研究、Apache 2.0 许可的开放模型家族。五个参数规格一字排开，从只有 5GB 内存就能跑的 E2B，到对标 70B 级能力的 31B 密集模型，构成了一条从手机到个人电脑的完整产品线。<br>
最让人兴奋的是那几颗「小」模型，E2B 和 E4B 在 4-bit 量化下只需要 4-5GB 内存，可以在没有 GPU 的普通笔记本甚至手机上跑；12B 模型在 8GB 内存设备上就能运行，同时支持文本、图像和音频多模态输入；26B-A4B 是 MoE 架构，30GB 内存就能跑到 30+tokens/s。<br>
Google AI Edge 团队专门写了一篇博客来展示如何把 Gemma 4 12B 部署到日常笔记本上做 agentic 工作流，「Google 免费的 Gemma 4 模型跑在你可能已经拥有的硬件上。」<br>
当「可能已经拥有」成为一篇评测的卖点，说明端侧模型的硬件门槛正在快速塌缩。<br>
作为开源模型的典范，阿里 Qwen3.6 也在想方设法让更大的模型变得对本地更友好。Qwen3.6-27B 是一个 27B 参数的密集模型，100 万 token 上下文窗口，MindStudio 的评测把它评为 2026 年最佳开源 agentic coding 模型。<br>
Reddit 上已经有开发者搭建了「Qwen3.6 35B + llama.cpp + RTX 5090」的本地 agentic coding 方案。Qwen 的策略不是在参数规模上跟云端模型硬拼，是用 MoE 和架构优化，把接近前沿的能力塞进本地可承受的硬件边界里。它不是「小模型」，是「被压缩的前沿模型」。<br>
如果说 Gemma 和 Qwen 是在做模型能力的降维适配，面壁智能的 MiniCPM 系列走得更底层——直接为手机和边缘设备设计模型。MiniCPM-V 4.6 只有 1.3B 参数，专为端侧多模态设计，能处理单图、多图和视频理解，可以在 iPhone、Android 和鸿蒙手机上直接运行，Apache 2.0 开源，支持 Ollama 和 llama.cpp。<br>
1.3B 的参数数字放在云端模型旁边几乎可以忽略，但它在 OCR、文档理解和视觉推理上的表现已经可以跟 7B 级的模型竞争。MiniCPM5-1B 则更激进——1B 级的密集模型，搭配部署和微调 Agent Skills，把目标用户从「AI 开发者」扩展到了「普通消费者」。Nature Communications 上发表的论文给了它一个很重的评价：「迈向在边缘设备上部署 GPT-4V 级多模态能力的关键一步。」<br>
这些模型现在到底有多强，并不是重点，重点是它们正在证明一件事：端侧 AI 不是「云端模型的缩水版」，它是一个独立的模型品类，有自己的设计目标、优化路径和使用场景。而这个品类正在以极快的速度成熟。<br>
代价？不再是订阅费那么简单<br>
如果上面这些让你觉得端侧 AI 的未来一片光明——你是对的，但账单也来了。<br>
本地 AI 不是免费的，可能你省掉了订阅费，但要为高内存带宽、大容量统一内存和高算力 NPU 支付更高的硬件溢价。<br>
M5 Max 从 36GB 到 128GB 内存的差价是数千元人民币，而这条价格曲线在「本地 AI」时代只会更陡。过去买电脑是选 CPU 型号和 SSD 大小，以后要多问一句：「我买的这台，能跑多大的模型？」<br>
端侧推理的功耗墙也远比显存更硬。骁龙 X2 Elite 的 NPU 可以持续跑几十 TOPS，但满负荷 80 TOPS 时，无风扇轻薄本的体验会明显打折。英伟达的 DGX Spark 本身就是一台需要主动散热的桌面设备。未来「能跑大模型」和「续航不崩」之间，大概率是一个二选一。<br>
硬件溢价和功耗之外，厂商已经在用产品和本地模型的绑定，建立壁垒。苹果的 Neural Engine 只能在 macOS 生态内发挥最大效能，Windows AI PC 的 Copilot+ 绑定了骁龙 NPU 和安全芯片，Google 的 AI Edge Gallery 是 Gemma 在安卓上的最佳路径，英伟达的 RTX Spark 跟微软的 Windows agent 生态深度锁定。每一家都在用硬件能力筑自己的围墙。<br>
这是端侧模型必须面对的又一个问题，更新也会比云端慢。云端模型迭代已经是月级，本地部署依赖推理框架适配、量化工具链成熟以及用户主动更新。否则，你买回家的设备跑的可能是上个季度的模型。<br>
还有一条最容易被忽略：本地 AI 意味着一个系统级的模型能读到你的文件、照片、屏幕、日程和邮件，不用上传到云端了，但它在你的设备上，拥有「上帝视角」。当 AI 从云端的匿名请求变成你设备上那个「什么都能看见」的常住程序，「本地 = 安全」这个等式就不再自动成立。权限管理的复杂度，会比隐私本身更早撞上消费者。<br>
AI 的使用成本不会因为端侧模型而消失，它只是从订阅费变成了硬件溢价、生态锁仓、功耗散热和权限管理。过去买手机是在选 App 生态，未来买设备可能是在选你的 AI 记忆住在哪里。<br>
所以，2028 年消费者可能真正得到什么<br>
把上面所有的变量放在一起，我们能做出一组分层预测。<br>
高端电脑本地运行强写作、代码、文档和图片理解模型，将成为常态而不是尝鲜。本地 RAG、会议摘要、文件搜索和私有知识库真正可用，成为日常工具。手机端的多模态助手在相册搜索、语音翻译、智能摘要上明显变强。高端创作者、开发者和敏捷小团队会更愿意部署本地 AI，因为数据不外泄、延迟更低、按需使用边际成本为零。AI PC、Mac 和本地 AI 盒子将形成新的硬件分层，「这台设备能跑什么模型」会成为和「这台设备屏幕多大」一样自然的购机参数。<br>
再往远看一步，接近 GPT-5 或 Claude 4 水平的开放模型，有可能通过量化、MoE 和推理优化，在高端个人设备上达到可用水平。但这取决于推理框架（llama.cpp、MLX、vLLM）的演进、KV cache 压缩技术的成熟，以及模型厂商是否愿意针对本地部署做专门的训练路线优化。本地多模态实时助手有可能在部分设备上达到「日常可用」，但自然度和低延迟离云端旗舰还有一段距离。<br>
至于普通手机或普通笔记本完整运行 Mythos 本体，短期内不可能。万亿级参数的推理即使最激进的量化方案也需要数十 GB 显存，远超消费电子设备的极限。本地 AI 在长程 agent、百万 token 上下文、多模态实时推理和安全能力上全面等价于云端旗舰，2028 年大概率做不到。<br>
但方向是这个方向，纵观苹果、高通、英伟达这些大公司的做法，显然，端侧 AI 不再是一个「会不会来」的问题，是谁先跑通硬件成本、模型能力和用户体验之间那个精确的平衡点。<br>
当这个问题从产业链上游一路烧到消费者的搜索框里，这件事已经比任何参数和路线图都更能说明，端侧 AI 的时代，已经不在远处。<br>
“特别声明：以上作品内容(包括在内的视频、图片或音频)为凤凰网旗下自媒体平台“大风号”用户上传并发布，本平台仅提供信息存储空间服务。<br>
Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”