Full text · 原文
3,674 字
智东西<br>
作者 | 王涵<br>
编辑 | 漠影<br>
Token，如同工业时代的水电煤一样，正演变为AI时代核心的生产要素与价值载体。<br>
然而每一次Token的生成，都依赖底层的算力支撑与上层的模型内核。中国AI产业要在Token时代掌握主动权，就必须在这两个核心环节实现自主可控。<br>
在国芯层面，华为昇腾、海光等国产算力芯片已走向规模化部署，算力底座初具规模，实测性能不断逼近国际主流水平；在国模层面，DeepSeek、GLM、Qwen等国产大模型在文本生成、多模态理解、推理能力上比肩乃至超越国际主流水平，智能水平日益强大。<br>
国芯与国模均已就位，但它们之间有一个长期被忽视的关键环节：推理引擎。这个决定着Token生产效率和质量的关键环节，主流方式还以国外框架为主。<br>
清程极智始终致力于此环节的建设。在去年的WAIC大会上，清程极智具象化展示了其赤兔大模型推理引擎对降低推理硬件门槛的作用。<br>
今年，随着Token的需求暴增以及新产品AI Ping的诞生，清程极智正式完整发布国产Token「前店后厂」一体化产品体系，以自研赤兔推理引擎为“后厂”生产核心底座，以AI Ping一站式Token服务平台为“前店”流通调度枢纽，以八卦炉系列软件为终端落地工具。<br>
清程极智想要用实践向产业证明：“国产芯片+国产推理框架+国产大模型”的全链路，不仅可行，而且成本更低、效率更高、自主可控。<br>
就国产Token「前店后厂」模式、国产芯片的困局和突破等议题，智东西与清程极智联合创始人师天麾博士以及联合创始人、赤兔推理引擎负责人唐适之博士展开了一场深度对话。<br>
一、从第一行代码自研，赤兔在国产芯和国产模中建桥<br>
国产算力落地当下最核心的痛点，是缺少一套能把芯片硬件算力高效转化为Token生成效率的适配体系。<br>
现有大模型推理运算逻辑与国产芯片底层架构天然存在适配鸿沟：<br>
海外主流推理引擎均基于英伟达芯片定制开发，相当于专属配套软件，而国产芯片架构设计思路、硬件特性差异显著，即使可以兼容适配海外方案，也无法发挥出国产算力的真正性能。<br>
清程极智联合创始人、赤兔推理引擎负责人唐适之在采访中举例：<br>
“当前国内绝大多数国产加速芯片硬件层面均不具备FP4、FP8低位宽浮点原生计算单元，而DeepSeek等主流新一代大模型原生采用FP4精度训练。若直接在国产卡上运行，行业传统方案仅有两条路径：一是强制转换为BF16高位宽浮点格式，显存占用直接翻倍；二是降级为INT8整数量化，会永久性损失模型推理精度。两种方案都存在明显短板。”<br>
这意味着，需要一套专门为国产芯片量身定制的高性能转化中枢，才能真正释放算力、高效产出Token。这个转化中枢，就是推理引擎。<br>
赤兔Chitu生产级推理引擎作为Token生产的根基，没有简单挪用海外的现成技术，而是针对国产芯片的硬件特性进行了原生深度优化。<br>
其核心价值，就在于可以将国产算力高效转化为Token生产能力。赤兔推理引擎自研两套核心技术体系实现破局：<br>
其一，自研软件浮点模拟计算架构，无需依赖芯片硬件原生FP4/FP8单元，通过底层算子、编译层协同优化，在国产芯片内部完整复现低位宽浮点计算逻辑，彻底规避BF16转换带来的显存开销，同时完整保留模型原生精度。<br>
其二，基于国产芯片硬件架构、存储带宽、卡间通信特征定制专属混合量化方案，针对性优化权重加载、KV Cache缓存调度、多卡分布式并行全链路，平衡显存占用、推理吞吐与输出精度，适配私有化小规模部署与智算中心大规模集群两类主流国产算力场景。<br>
这一技术路径带来的Token生产效率提升是指数级的。在硬件成本方面，传统通用开源推理框架部署DeepSeek满血版至少需要4台国产8卡服务器，搭载赤兔后仅需单台即可完整跑通，硬件综合成本直降75%。<br>
此外，该方案还兼顾存量算力盘活的价值，大量企业存量国产加速卡仅支持BF16、INT8，此前无法高效运行FP4原生大模型，接入赤兔后无需更换硬件即可原生兼容，避免硬件淘汰重置的大额支出。<br>
赤兔推理引擎完全基于自研代码构建，从底层打通国产芯片、国产推理引擎、国产大模型的全栈自主闭环。<br>
为什么从第一行代码开始自研？唐适之在采访中用“烤箱蒸馒头”的比喻解释了这一选择：海外推理引擎是为英伟达设计的，强行适配国产芯片如同把烤箱改造成蒸锅，能用，但性价比不行。清程极智选择自研，就是要“造一座真正适合做馒头的蒸锅”，让Token生产真正高效、自主、可控。<br>
目前赤兔推理引擎采用开源+商业双版本布局。开源版解决国产算力上产Token“能不能产起来”、“性价比高不高”的问题；商业版则解决企业的个性化问题。<br>
二、Token服务不稳定，AI Ping转起“飞轮”<br>
Token生产出来之后，需要高效的流通网络才能触达终端应用——这正是算力智能调度的核心舞台。<br>
师天麾在采访中直言，Token火了，但服务质量却越发参差不齐。更棘手的是服务质量的不稳定：“3、5秒该返回的请求，有时候飙到上百秒才返回，非常常见。”<br>
在Token行业陷入“乱、贵、慢、选型难”的混乱时，如何帮助用户拥有更适合自己并且更优的服务？这就是AI Ping要解决的问题。<br>
AI Ping是清程极智旗下的一站式Token调度与服务平台，定位为Token流通分发的“智能门店”。它一方面承接“后厂”生产的国产Token，另一方面同时统一接口接入30余家主流服务商、600余个大模型服务。<br>
企业接入AI Ping后，API调用综合成本降低＞37%，吞吐提升＞90%，延迟降低＞20%。在可用性方面，AI Ping的服务路由功能可以将API服务调用成功率提升到99.99%以上。<br>
目前，AI Ping已经形成“飞轮效应”。师天麾形象地描述了这一飞轮的运转逻辑：“评测做得好，路由就做得好；路由做得好，客户用量大；客户用量大，调用数据多；调用数据多，评测数据更准；评测数据更准，路由效果更好——这个事就转起来了。”<br>
清程极智的AI Ping对几十家主流服务商进行7×24小时实时监测，“用户的每一次调用都是一次新的测试”，知道谁快谁慢、谁当前繁忙谁当前空闲。基于实时评测数据，AI Ping自动把请求发给当前服务质量最好的一家。“把一堆服务质量不太好的服务拼到一块，组成一个服务质量非常高的服务。”<br>
这个飞轮一旦转起来，就形成了难以复制的数据壁垒，这是纯技术评测无法比拟的竞争优势。<br>
三、国产Token如何本地化落地？“前店后厂”已打通三大场景<br>
Token最终的价值，体现在企业级应用中。<br>
随着市场从“训练”向“推理”迁移，清程极智基于八卦炉系列产品，延伸出Agent搭建、部署软件栈等新能力，核心价值在于方便终端部署和应用。<br>
八卦炉系列目前拥有三大产品线：八卦炉智能体面向企业Agent搭建场景，让企业能够基于国产Token快速构建智能体应用；八卦炉智能工作站面向本地化私有化部署，降低企业部署门槛；八卦炉智能软件栈面向算力中心与AI芯片厂商，提供开箱即用的部署体验。<br>
清程极智的Token「前店后厂」整套体系的价值链条清晰可见：<br>
后厂生产Token→前店智能调度分发→应用终端落地交付，一站式解决企业国产化落地的成本、适配、调度三大难题。<br>
在落地场景方面，整套Token前店后厂体系可分层匹配不同客户需求。<br>
算力硬件厂商和算力中心可以搭建专属“后厂”赤兔推理集群，自主批量生产国产Token。AI服务商和千行百业企业可以接入“前店”AI Ping平台，一站式采购、调度低成本国产Token。<br>
政企、高校、芯片企业可以搭配八卦炉工作站/软件栈，将整套体系私有化部署至本地机房。科研机构可以使用赤兔开源版，自研轻量化推理方案，参与国产Token技术生态共建。<br>
结语：国产化全链路的“最后一块拼图”<br>
从“讲算力”到“讲Token”，WAIC两年的叙事之变折射出中国AI产业从基础设施建设到规模化商业落地的跃迁。<br>
国芯在进步，国模在突破，但如果没有国产推理框架这座“桥”，两者始终是孤岛。清程极智以赤兔推理引擎为根基，以前店后厂为模式，用一套完整的国产Token全链路体系，证明了“国芯+国产推理框架+国模”的组合不仅可行，而且成本更低、效率更高。<br>
当Token的生产、调度、交付实现全链路国产化，中国AI产业的底座才算真正扎稳。<br>
“特别声明：以上作品内容(包括在内的视频、图片或音频)为凤凰网旗下自媒体平台“大风号”用户上传并发布，本平台仅提供信息存储空间服务。<br>
Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”