Interview with ShengShu Technology's Zhang Jintao on Vidu S1, Inference Acceleration, and Real-Time Interactive Video

Full text · 原文 11,655 字

0·0**模型越强，推理加速就越重要。这一期，我们聊「推理加速」。** 👦🏻 播客采访：Koji 🥷 整理编辑：十字路口 🧑‍🎨 排版: Zeoooo 🚥 没人喜欢等待。 模型越强，推理加速就越重要。这一期，我们聊「推理加速」。 本周「十字路口」的嘉宾是生数科技的张金涛。月初，他带队发布了 Vidu S1——一个实时交互视频模型：上传一张照片，无论是人物、动漫角色，还是一只宠物，都能变成一个可以和你实时视频通话的 AI 角色。 Vidu S1 很快，快到生成速度超过播放速度，并且支持无限时长。这是怎么做到的？ 金涛在播客中分享了自己这几年一条清晰的技术主线：从 SageAttention（GitHub 3.5K 星标）、TurboDiffusion（GitHub 3.6K 星标），到 TurboServe——一整套系统级方案，为 S1 实时交互提供底层支撑。 此外，金涛也分享了他对整个 AI「推理加速」领域的观察和判断。 其实这期有意思的，不只是技术。 金涛今年 26 岁，还是清华在读博士。真正把他带进「推理加速」的，是一个很朴素的判断——当大家都默认 FlashAttention 已经把 Attention 算子做到极致时，他却发现：显卡上明明还有更快的计算单元没被用起来 ——「这么明显的收益，为什么没人做？」 所以这期节目，你也可以把它当成一份「年轻研究者样本」来听：在变化极快的 AI 领域，怎么找到自己的方向、怎么判断什么才是「最正确的事」，又怎么把它一路做到最前沿。 微信收听播客： 小宇宙收听播客： 🎬 视频播客已同步上线于 @Koji杨远骋的视频号、小红书、哔哩哔哩、Youtube 等平台 👦🏻 Koji 你的年龄？ 👨🏻‍💻 张金涛 26 岁。 👦🏻 Koji 毕业院校？ 👨🏻‍💻 张金涛 清华大学博士在读。 👦🏻 Koji MBTI 和星座？ 👨🏻‍💻 张金涛 INTJ，水瓶座。 👦🏻 Koji 一句话介绍 Vidu S1 到底是什么？ 👨🏻‍💻 张金涛 它是一个实时交互的视频生成模型，可以通过语音实时控制生成的视频内容。 👦🏻 Koji 在生数科技，除了 S1 项目，你还负责哪些工作？ 👨🏻‍💻 张金涛 我负责生数所有模型的推理加速和集群部署。其实我主导的是整个流式视频生成模型的全链路工程，从数据、训练算法，到推理工程化，再到模型的最终评测。 👦🏻 Koji 加入生数之前，你主要在做什么？ 👨🏻‍💻 张金涛 我主要跟着朱军老师读博，做推理加速方向的学术研究。在正式加入生数之前，我还去 UC Berkeley 访问学习了半年。 👦🏻 Koji 你是什么契机开始做推理加速的？很多业内人士知道你，是因为你最早的一个代表作 SageAttention。 👨🏻‍💻 张金涛 硕士二年级时，我选择硕转博，师从朱军老师。朱老师看我之前做过一些系统级的工作，就安排陈键飞老师带我。陈老师非常直接地告诉我：推理加速是未来至关重要的方向。 他安排我去做 Attention 的底层加速。SageAttention 就是我当时做出的第一个成果。它是一个即插即用的、更快的 Attention 算子实现，能直接用来替换大模型中的 Attention 计算。 👦🏻 Koji 即插即用？ 👨🏻‍💻 张金涛 对。当时我和陈键飞老师发现，虽然 FlashAttention 影响力巨大，行业也基本认为它已经把 Attention 算子做到了极致。但在硬件底层，明明还有更快的计算单元未被发掘。 大模型的核心运算主要有两类：线性层计算和 Attention 计算。 那些更快的硬件计算单元在线性层加速中早已被广泛应用。但当时 FlashAttention 出来后，竟然没有任何一个工作能调用 GPU 上那些更快的计算单元去加速 Attention。 我们当时很困惑：为什么没人做？这背后的性能收益是非常明显的。既然没人做，我们就决定把它做出来。 👦🏻 Koji 所以当时为什么没人做？ 👨🏻‍💻 张金涛 因为做低比特加速的 Attention 计算，挑战非常大。 第一，传统的语言模型在 Attention 计算上往往是 Memory Bound。在这种情况下，单纯加速 Attention 的计算单元并不会带来太大的端到端收益，因此大家缺乏去做的 Motivation。 但后来多模态模型和视频生成模型兴起。我们发现，它们的 Attention 范式属于严重的 Compute Bound。计算速度直接决定了 Attention 的耗时，计算加速的收益变得非常高。但在 2024 年初之前，行业还没意识到这一点。 第二， Attention 的低比特加速本身存在极高的工程门槛。它不像普通的线性层，用 PyTorch 写几行代码、调个量化 API 就能解决。 Attention 的计算特性逼着你必须深入到底层，手写 GPU 的 Kernel 代码。在 2024 年初之前，大家在手写 CUDA 或底层 GPU 编程上的门槛还是蛮高的。 👦🏻 Koji 需要手写？ 👨🏻‍💻 张金涛 对，基本上手写。 第三， Attention 计算的精度对低比特量化的精度极其敏感。如果直接把 Attention 的所有计算量化到 8 比特，用到语言模型或视频生成模型里，输出的内容质量会一塌糊涂。 而我们攻克了后面的两项工程和算法挑战，才成功把 SageAttention 做了出来。 👦🏻 Koji 从当时的 SageAttention 到现在发布 Vidu S1，其背后核心也是因为推理加速技术走到了这一步，才支撑起流式生成的流畅度。从 SageAttention 到 S1，中间经历了哪几个关键的里程碑？ 👨🏻‍💻 张金涛 Vidu S1 已经向全球开放了体验网站和 API 平台。 我想强调的第一点是， Vidu S1 并不是一个单点的算子加速，它是"模型 + 集群部署"的全栈优化。推理加速在其中只占一部分。 如果把这个演进拆开，它确实经历了三个阶段： 第一阶段是算子层的加速。研究如何让线性层、非线性层以及 Attention 算子在特定硬件上跑得更快，尽可能榨干 GPU 的极限。 第二阶段是模型层面的复杂度优化。不单要让算子跑得快，还要让模型的计算量变小。我们通过"步数蒸馏"，把 Diffusion 模型的去噪步数从 50 步压缩到了 4 步，计算复杂度直接下降十几倍。同时引入稀疏 Attention，在降低计算复杂度的同时维持模型效果。 第三阶段是工程化的集群部署。当单个模型在单卡或多卡上跑通后，如何把它部署到庞大的服务器集群上，支撑全球海量用户实时发起请求？这涉及到多卡并行、模型并行以及请求调度。在这方面我们做了极其繁重的工程优化，核心是如何做并发和调度。 👦🏻 Koji 在 SageAttention 之后，你们还做过一个开源项目 TurboDiffusion。能聊聊它在其中扮演了什么角色吗？ 👨🏻‍💻 张金涛 TurboDiffusion 恰好对应了我刚才提到的第二阶段：当我们手握极快的 SageAttention 算子后，如何让任意一个 Diffusion 模型在单卡或单机上跑得飞起？ 在这个模型层面上，我们不仅塞入了更快的线性层和 Attention 算子，还做了一套通用的模型蒸馏和稀疏 Attention 算法。 这些算法和算子优化不同，它是需要通过模型训练和微调去实现的。比如通过微调稀疏 Attention 或蒸馏训练，在降低模型复杂度的同时确保画面质量。 另外在工程层面，当多卡并行时，如何把卡间的通信耗时与单卡上的计算耗时完美地 overlap 起来。 总体来说， TurboDiffusion 是一次模型架构和微调层面的优化，同时叠加了部分的工程优化。 👦🏻 Koji 在学校做这些研究时，数据和算力资源应该很有限吧？ 👨🏻‍💻 张金涛 对。做 TurboDiffusion 时，我们手头的计算资源确实相对受限。不过 TurboDiffusion 本身不需要太庞大的训练资源。 我们基于开源的视频生成模型，用了很少量的微调数据就把它跑通了。 👦🏻 Koji 目前它在 GitHub 上拿到了多少 Star？ 👨🏻‍💻 张金涛 3600 多个 Star。 👦🏻 Koji 在这个领域，这算是一个什么样的成绩？ 👨🏻‍💻 张金涛 算是一个还不错的表现。 👦🏻 Koji 在行业里，有哪些公司或模型采纳了 SageAttention 或 TurboDiffusion 吗？ 👨🏻‍💻 张金涛 SageAttention 让我比较自豪的是，它已经成为了行业事实上的标准。 不仅 NVIDIA、AMD 官方在用，国内的华为昇腾、摩尔线程、沐曦等硬件厂商也都在显卡底层实现了自己的 SageAttention 部署。在算法公司方面，几乎所有的多模态大厂，像字节、腾讯、生数，甚至 Google 都在使用。 Vidu S1 不只是快 "生成速度需要大于播放速度，它才能做到实时生成。" 👦🏻 Koji 回到 Vidu S1，大家看到流式视频生成的第一反应都是"快"。 这种"快"的背后，到底沉淀了怎样的技术突破？ 👨🏻‍💻 张金涛 其实我们不能单纯用"快"来概括流式视频模型。 传统的视频生成模型是"离线"的：输入一段 Prompt，包装好发送出去，耐心等上一阵子，它会吐出一段 5 秒或 10 秒的视频。 但流式、实时视频生成的交互范式是完全不同的。它是你在"实时"地和它对话，每一帧都是根据你的输入当场计算、当场渲染出来的。它的生成速度必须大于播放速度，用户才不会觉得卡顿。 所以它不是一个简单的"提速问题"，它重塑了整个生成的链路。 👦🏻 Koji 那这之中最大的挑战是什么？ 👨🏻‍💻 张金涛 最大的挑战是：如何在确保高画质的前提下，实现超长甚至无限时长的流畅生成。 目前的离线视频生成模型，最长一次性也就生成 30 秒左右。但实时交互不可能只聊 30 秒，我们往往需要它持续生成几十分钟甚至数小时，且画面不能发生漂移或崩溃。这对模型的稳定性提出了极苛刻的要求。 👦🏻 Koji 听说 Vidu S1 可以跟用户聊上几天几夜，你们是怎么解决画面不漂移、不崩溃的？ 👨🏻‍💻 张金涛 这依赖于我们在 Diffusion 训练上做的一些非常底层的探索。 特别是在 Attention 的计算架构设计，以及噪声强度的控制上，我们摸索出了一套很先进的机制，成功解决了长视频生成中的画质衰减和内容漂移问题。 在推理优化上，Vidu S1 可以做到 540P 的分辨率，这在目前的实时生成模型里是极少见的。同时，它的帧率可以稳定在 25 到 42 FPS。 最关键的是，普通用户在消费级显卡上就能直接跑出这个效果。 👦🏻 Koji 要在速度、画质以及长时一致性上同时做到极致，必然需要做一些取舍。在这个过程中，Vidu S1 牺牲了什么？ 👨🏻‍💻 张金涛 trade off 肯定有。 因为我们把"实时交互"作为第一优先级，所以必须首先确保响应的实时性。在这个红线之上，我们再去尽最大可能优化画质和生成的一致性。 👦🏻 Koji 所以快是第一目标？ 👨🏻‍💻 张金涛 对，"快"是绝对的前提。 👦🏻 Koji 在画质、成本和一致性的优先级排布里，目前哪一个是排在最后的？ 👨🏻‍💻 张金涛 现阶段，如果非要排一个末位，我们只能选择让画质稍微做一点妥协。 👦🏻 Koji 目前体验平台已经对公众开放，它的商业化和收费模式是怎样的？ 👨🏻‍💻 张金涛 我们面向大众开放的网页端和 App 端体验是完全免费的。对于 API 平台，我们采取按时计费，大约每分钟两三块钱，没有时长限制。 "未来我们的视觉娱乐信号，会被 AI 生成的内容充斥掉。" 👦🏻 Koji 流式、实时的在线交互视频，未来会成为一个巨大的趋势吗？ 👨🏻‍💻 张金涛 视频模型本质上是为了满足人类的视觉娱乐需求。 这种需求可以分成两类： 一类是离线、预制好的视频，比如电影或短视频； 另一类是实时的、在线交互。 比如你我今天的对话，就是典型的实时在线交互。 👦🏻 Koji 我们的在线，是指能够接收对方的实时反馈？ 👨🏻‍💻 张金涛 对。我说什么你当即就能知道，并根据我的状态做出相应的动作和言语回馈。 在恋爱、游戏，甚至几乎所有的日常社交场景里，这种"实时交互"才是人类最大、最本能的视觉娱乐需求。在数字革命之前，人类所有的视觉娱乐基本都是实时在线交互的。 离线预制视频有"播放量"的上限，但实时交互视频的奇妙之处在于：每个人都拥有独一无二的 Session，你看到的画面只属于你。 👦🏻 Koji 每个人都拥有一个独立的 Session。这也是 Elon Musk 那个计算模型的底层逻辑。 👨🏻‍💻 张金涛 是的。未来所有的视觉信号可能都会被 AI 实时生成的内容所填满。 从技术路径上来看，这没有任何瓶颈和不可能。这种实时交互式的视频生成，必然是未来最核心、需求量最大的赛道，大势所趋。 一只狗和一个游戏搭子 👦🏻 Koji 发布到现在，有看到用户用 Vidu S1 玩出什么有意思的场景吗？ 👨🏻‍💻 张金涛 虽然才发布了不到一天，但社区里的反馈已经非常疯狂。 因为在此之前，全球没有任何一个模型能让用户通过语音实时控制视频的生成，更无法做到无限时长的交互，同时还支持自定义角色。 我看到了很多爆款案例。比如有人上传了自己家小狗的照片，然后直接和 AI 化的小狗实时聊天，小狗会根据他说的话做出各种活灵活现的反应。 还有 Vidu S1 具备视频理解能力，支持输入视频信号。我在 B 站上看到一个玩家，把屏幕的 3/4 留给游戏画面，另外 1/4 上传了一个二次元女孩。 👦🏻 Koji 把游戏画面当做实时视频流喂给模型？ 👨🏻‍💻 张金涛 对。他一边玩游戏，右边的二次元女孩一边实时看着他的游戏画面陪他聊天。女孩能看懂游戏里发生的一切，并当场做出反应。 👦🏻 Koji 那理论上，我每天写代码的 Coding 界面也能当做视频流传给它，让它扮演一个"程序员鼓励师"？ 👨🏻‍💻 张金涛 当然可以。 👦🏻 Koji 它能看到我是在微信聊天，还是在 Notion 里写文档，并随时给我各种语音和动作反馈？ 👨🏻‍💻 张金涛 完全可以。它能看懂你写的每一个字和画面，它具有极强的多模态视频理解能力。 未来两周，社区里一定会冒出极多好玩的玩法。还有个同学把博主"峰哥"的照片和转圈舞人设传了上去，让峰哥在屏幕里实时给他送生日祝福、跳转圈舞，体验非常魔性。 推理加速不只是算子 👦🏻 Koji 我们再回到推理加速。你做的大多是多模态模型的推理加速，但其实大语言模型的推理加速也极其重要。在过去一年，我们看到了许多芯片层面的创新，比如 Cerebras、Taalas 等。 能为我们介绍一下，目前在推理加速领域，有哪些比较重要、值得关注的工作或方向吗？ 👨🏻‍💻 张金涛 推理加速，字面意思就是让模型推理得更快。 如果不考虑芯片设计层面，我认为主要有两个维度的核心工作： 第一，在算子层。我们要让模型的计算在特定硬件上跑得非常快，尽可能逼近硬件的极致水平。但大家容易有一个误解，认为推理加速仅仅是做这件事。 👦🏻 Koji 就是让模型在特定硬件上计算到理论最大值？ 👨🏻‍💻 张金涛 对，让某个算子计算得更快。这当然非常重要。 但推理加速另一个极其关键的地方，是如何把模型的计算复杂度降下来。 我们希望实现端到端推理的加速——输入一个请求，它能够迅速输出。 AI 模型本身像一个黑盒，在这个黑盒里实际上存在大量的冗余计算。我们能否把这些冗余省去？ 比如通过稀疏 Attention，或者优化模型架构（如 MoE 架构），亦或是采用蒸馏技术（不管是模型大小的蒸馏，还是采样步数的蒸馏）。对于推理加速，我认为应该这样去定义。 当然，关于芯片设计我了解得并不是非常多。如果再拆开一层，像 NVIDIA 他们做的硬件迭代，提高硬件本身的计算速度，也可以算作广义的推理加速。 目前行业内比较好的推理加速工作，比如在 Diffusion 模型或多模态模型上，开源项目中的 vLLM 涉及到了我前面提到的几层优化，不过它更侧重于调度和管理层面的工作。 我们之前做的 SageAttention，以及后来结合工程优化的 SLA（Sparse Linear Attention），主要是针对算子本身以及模型复杂度降低的探索。 在 Diffusion 模型上，传统的离线生成相对简单，因为它只有一条用户请求，不需要做 Batching 和 KV Cache 调度。 但是最近，由于流式交互的需求增加，Diffusion 生成的过程变成了一个类似自回归（Auto Regressive）的过程，这就涉及到 KV Cache 和复杂的请求调度。比如有用户接入、退出、或是中途中断。 所以，我认为未来会出现很多关于 Diffusion 模型如何做集群部署和调度的研究。我们在生数做的一篇工作叫《TurboServe》，就是针对流式视频生成模型在集群上如何调度和部署的。 在语言模型领域，DeepSeek 提出的 DSA（DeepSeek Sparse Attention）是非常不错的。 👦🏻 Koji 大家基于开源 DFlash 框架所做的 UltraSpeed（如 DSpark、小米 Mimo），效果都非常显著。 👨🏻‍💻 张金涛 在多模态和 Diffusion 领域，我们开源的 Sparse Linear Attention 用来做稀疏 Attention 加速，也得到了腾讯和字节跳动多模态负责人的认可，他们都在使用，认为这是一个非常好的工作。 当然，我们开源的这一版 SLA 在 Linear Attention 的选型上还存在一些微小的缺陷。我提到过的这些只是我接触并认可的工作，并不代表全部，行业内依然存在大量非常优秀的推理加速研究。 推理加速的未来，属于更底层和更上层 "推理加速的未来，还是属于更底层和更上层。" 👦🏻 Koji 关于推理加速的未来，你提到会属于两个极端：更底层和更上层。可以展开讲讲吗？ 👨🏻‍💻 张金涛 好的。 首先，单个算子在硬件上如何物理收敛运行，这个方向未来会逐渐定型。大家都掌握了非常先进的代码编写方法，也更了解硬件架构，所以单纯算子优化在未来不会有太高壁垒。 我所谓的"更底层"，是指直接去造通用性极强且计算速度极快的硬件（就像 NVIDIA 所做的工作），或者针对特定的模型（比如实时交互视频生成模型）量身定制专用芯片。 👦🏻 Koji 就像 Taalas 一样，把一个特定的模型写死到芯片里？ 👨🏻‍💻 张金涛 这是一种思路，但可能有些过于昂贵。一旦模型更新，芯片就废弃了。 我认为更可行的底层思路是，芯片保持定制化的同时，留有一定的通用性。 比如，语言模型的 Attention 计算通常是 Memory Bound（受限于显存传输速度，而非计算速度）；而视频生成模型大多是 Compute Bound。通过动态调整计算与传输的比例、显存大小、各种精度的计算单元数量等，在通用和专用之间取得平衡。这需要非常强的芯片设计与算法协同能力。 而我所谓的"更上层"，则是在算法和模型层面进行优化，核心是如何大幅降低模型的计算复杂度。比如人类的大脑仅有 25 瓦的功耗，却可以解决极其复杂的任务。从理论上讲，我们完全有可能降低模型的计算复杂度。 这同样分为通用和专用： 通用的方向是降低模型在处理各项任务时的复杂度； 专用的方向是让模型针对不同的用户请求，可以用非常简化的计算去满足，而不需要让每一个 Token、每一次请求都走一遍完整的 Layer。 我认为这一上一下的两个方向，在未来会变得越来越重要。 👦🏻 Koji 在底层是不是更容易诞生创业公司？因为在顶层似乎很难独立支撑起一个商业帝国。 👨🏻‍💻 张金涛 一个真正优秀的推理加速产品，核心一定需要硬件和算法的 Co-Design。所以从创业公司的角度，其实这两方面的能力都需要兼备。 不过你说的也有道理，如果创业公司只专注于硬件底层，或者走 Co-Design 路线，都有可能成功。但如果仅仅局限于算法层，确实不容易形成壁垒，因为单纯的算法研究很难在最底层得到深度的硬件验证。 中国视频模型的领先原因 👦🏻 Koji 我们来聊聊整个 AI 视频行业。最近几个月，我发现中美两边正在发生分化。中国的视频模型表现越来越亮眼，已经稳稳站住了全球第一梯队。 在你看来，国内视频模型能形成这种优势的原因是什么？ 👨🏻‍💻 张金涛 AI 的本质是对特定问题进行建模，建完模之后通过训练数据去学习，学的是输入数据与输出数据之间的映射关系。 自 Transformer 诞生以来，如今在建模架构上"雕花"，已经很难带来本质性的突破了。 所以，现在的核心竞争点在于数据。 这就跟人类的学习一样，一个人能否学好，第一取决于他的智商（相当于大脑建模），第二则取决于他接受的教育。好的讲解方式和糟糕的讲解方式，学习效果天差地别。 比如一个复杂的物理规律，遇到好的讲解， 10 分钟就能让人豁然开朗；像苏剑林在《科学空间》里整理的内容就非常通透，看 10 分钟甚至比看那些垃圾博客或受污染的数据 3 个小时收获还要多。 既然在建模上已经相对收敛，那么关键就在于，你能不能把数据清洗并构造成高品质、符合人类偏好、具备极强可学习性的内容。就像 Reasoning，如果让模型直接跨越问题 A 强行去学答案 Z，它会学不会。但如果把数据构造成思维链，循序渐进地学习，它就能掌握。 据我观察，美国的视频生成公司在数据量、数据质量、偏好对齐以及数据的构造方式上，目前做得确实不如国内的头部视频生成公司。 具体原因，每个人可能都有不同的思考，比如在数据获取的合规政策等方面存在一些客观差异。这是第一点。 第二点在于中美文化的差异以及市场环境的不同。我们国内对短视频、直播、电商（如抖音、小红书）的需求极大，这些行业发展更迅速。 因此，我们不仅能积累更丰富的视频数据，也拥有更强的动力去探索如何通过视频生成满足用户的视觉娱乐需求。 👦🏻 Koji 这很有意思。 👨🏻‍💻 张金涛 我觉得主要就是这两点。 👦🏻 Koji 感觉 2026 年有一个非常大的趋势，就是许多高校教授和 PhD 都在大量投身创业。早几年，像智谱 AI 的唐杰老师、生数科技的朱军老师，都是非常优秀的学者创业代表，但在当时还没有形成像今天这样的全民热潮。 作为身处其中的一员，你对此有什么切身感受？ 👨🏻‍💻 张金涛 首先，我认为 AI 并非泡沫，它确实能够解决并满足人类极大的现实需求，无论是硬件还是模型层面的发展，大方向是极其笃定。 所以这波创业热潮非常合理，并且能够持续很长时间，并没有太多泡沫。 第二，因为需求体量太庞大，没有任何一家公司能够垄断所有场景。未来会有许多不同的创业公司脱颖而出。 不过我也发现，创业并不是适合每个人的。在生数科技这一段时间，坦诚、或者说有些不谦虚地讲，我觉得自己蛮适合做管理的。我能够凝聚起一个团队，能敏锐地察觉到每个人的诉求，知道把对的人放在对的位置上，并做好复杂的资源协调。 相比之下，有些技术水平极高的优秀人才，其实并不适合做管理。 如何让大家工作得既开心，又始终保持高昂的斗志去做世界上最领先的技术，这其实是一门很深的学问。 世界领先，是把每个环节都做对 "知道世界上最正确、最领先的方法是什么，然后把它正确实现出来。" 👦🏻 Koji 那你可以在这方面分享一下你的管理实践吗？比如，具体怎么让大家在开心中高标准地工作，如何激励大家勇于追求世界最领先的水平？ 👨🏻‍💻 张金涛 这方面我受朱军老师的影响极深。 当初 OpenAI 刚发布 GPT-3 时，朱老师就告诉我们：不要觉得 GPT-3 遥不可及。它并不是在模型架构、数据或者训练方法上做出了多么颠覆的创新，它只是找准了最正确、最科学的方法，并在每一个环节上都做到了极致。 看清最正确的方向，然后用绝对正确的执行力在每一个细节上死磕，这就是世界领先的秘诀。我把这个逻辑贯彻到了我们推理组的每一行代码中。 很多项目没做好，不是因为不知道前沿方向，可能只是因为他们的代码库里藏着几行没有排查出来的 Bug。 至于如何让大家开心，我认为核心在于"敏感度"。 Leader 必须能敏锐地读懂每个人。有的人需要更好的薪酬，有的人在乎 Credit，而有的人纯粹追求技术突破的爽感。你必须精准满足他们的核心动力。 同时，你要帮团队树立威信。在跨部门协调资源和利益冲突时， Leader 必须展现出强大的决断力和基于本质思考的沟通方式。这也是许多单纯做学术的技术大牛容易缺失的特质。 ** 一行代码，速度快一倍** "视频生成得跟之前像素级一模一样，但端到端推理速度快了一倍多。" 👦🏻 Koji 能聊聊你个人的成长经历吗？你一路上是如何磨炼出这种综合特质的？ 👨🏻‍💻 张金涛 我小时候挺贪玩，严重偏科，数学极好但语文很差。但现在我越来越觉得，沟通、表达和对他人情绪的敏感度至关重要，这些软实力其实和"语文"高度相关。 到了大学，我的自学和表达能力开始显现。当时竞争不算太激烈，我稍微花点心思就能拿到很好的绩点，也借此兼顾了科研。 在实验室里做 Paper 汇报时，我发现自己能极快地拆解出论文最核心的本质。我很享受把 PPT 的逻辑、文字和配图雕琢得非常 Sharp 的过程，让听众能瞬间抓住最核心的本质。 我认为写作是反映一个人思维深度的最好工具。 👦🏻 Koji 智能的边界有时就是语言的边界。能把复杂的问题讲得通俗、简单，恰恰证明你把它彻底想明白了？ 👨🏻‍💻 张金涛 确实。把事情讲清楚不难，难的是把一个极其复杂的系统讲得极度简单。 我很享受这种"提炼"的过程：在写论文时，我会花非常多的精力去凝练我的 Motivation，把 Limitation、 Challenge 以及你的 Core Contribution 像雕刻一样凝练出来。每一句话、每一个词都要有强逻辑支撑。 硕转博之后，我迎来了科研和创业生涯中最快乐的一段时光。 做 SageAttention 时，我常常一个人待在清华的自强科技楼里。那会儿楼里很静，我沉浸在代码里，跟陈键飞老师讨论、跟朱老师汇报。一个线程一个线程地模拟，去排查微小的精度 Bug。当底层的 C++ 和 CUDA 代码一行行成型时，那种充实感无法言喻。 24 年 5 月，生数成立了 Vidu 推理组，负责全球上线的推理保障，朱老师直接把这担子交给了我。 我是直接在 Vidu 模型的生产环境里手写的 SageAttention。这是全球首个在实际业务里跑通的低比特 Attention 加速工作。 当代码替换掉原本的 FlashAttention，最终精度对上的那一刻，我发现视频生成的质量像素级一致，但端到端的推理速度直接翻了一倍。 那一刻我兴奋到了极点，迫不及待地把视频发给陈老师和朱老师看。后来我们把论文开源，发布了 Sparse Linear Attention 这篇工作，并在《TurboServe》里探索了集群调度。这种能帮业界解决实际痛点、带来开创性突破的快乐，是任何事情都无法替代的。 第二段开心的事是，我现在也在带领一个团队。朱老师非常信任我，把这一摊子事情交给我来负责，这也让我提前体验了创业的状态。 刚加入实验室时，我就发现朱军老师在学术、产业上的段位和眼界都极高。 具体体现在几个方面： 第一是认知极度前瞻，对前沿方向的研判和直觉非常敏锐。他的许多学生，比如翁家翌、路橙、庞天宇、宋飏等，都是行业里极度优秀的人才。 第二是朱老师能够为实验室争取并提供极其充足的计算与开发资源。 第三是实验室的学术氛围。我在 UC Berkeley 访问过半年，朱老师因为有 CMU 任教的背景和海外经历，把我们实验室的氛围建设得和伯克利十分像。我非常认可，也极其感谢朱老师的信任和培养。 👦🏻 Koji 听到你描述那种纯粹的技术突破和创造力带来的快乐，真的很让人振奋。 希望你在接下来的研发和创业旅程中，能收获更多这样美妙的时刻。非常感谢你今天的分享，期待未来有机会再来做客。 👨🏻‍💻 张金涛 谢谢 Koji，我也很开心能有这个机会和大家深度交流。 👦🏻 Koji 好的，拜拜。 👨🏻‍💻 张金涛 拜拜。

Site key	elsewhere
Policy area	人工智能
Category	report

Interview with ShengShu Technology's Zhang Jintao on Vidu S1, Inference Acceleration, and Real-Time Interactive Video

快一点！再快一点！快到世界能实时生成｜和生数科技张金涛聊：Vidu S1、推理加速、实时交互视频