华为:昇腾超节点系列产品全面支持DeepSeek V4

凤凰网科技 ifeng
Document Text 906 characters
IT之家 4 月 24 日消息,今天上午,DeepSeek-V4 模型预览版正式上线并同步开源。<br> 华为官方随后宣布,通过双方芯模技术紧密协同,实现昇腾超节点全系列产品支持 DeepSeek V4 系列模型。<br> 官方表示,昇腾 950 通过融合 kernel 和多流并行技术降低 Attention 计算和访存开销,大幅提升推理性能,结合多种量化算法,实现了高吞吐、低时延的 DeepSeek V4 。昇腾 A3 超节点系列产品也全面适配,同时为便于用户快速微调,提供了基于昇腾 A3 超节点的。<br> IT之家获悉,基于 DeepSeek V4-Pro 模型,在 8K 输入场景,昇腾 950 超节点可实现 TPOT 约 20ms 时单卡 Decode 吞吐 4700TPS。DeepSeek V4-Flash 模型,8K 长序列输入场景下可实现 TPOT 约 10ms 时单卡 Decode 吞吐 1600TPS(上述 Benchmark 数据均基于 Offine 推理模式采集,不包含 Serving 调度和框架负载均衡影响)。<br> 基于昇腾 A3 64 卡超节点结合大 EP 模式部署,DeepSeek V4-Flash 模型,8K/1K 输入输出场景,基于 vLLM 推理引擎可实现 2000+TPS 的单卡 Decode 吞吐,单卡吞吐持续提升。官方表示,针对 DeepSeek V4-Pro 模型,昇腾 A3 同步支持推理部署,性能持续优化中。<br> “特别声明:以上作品内容(包括在内的视频、图片或音频)为凤凰网旗下自媒体平台“大风号”用户上传并发布,本平台仅提供信息存储空间服务。<br> Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”
Metadata
Publisher 凤凰网科技
Site ifeng
Date N/A
CMS Category 媒体报道
Keywords 节点 部署 场景 系列产品 全面 开源 模型 官方 上线 芯模 消息 用户 调度 技术 双方 今天上午 微调 框架 协同 预览版 华为 序列 输入输出 模式 性能 产品 卡超