Full text · 原文
3,737 字
以往大家习惯将 AI 能力依赖于公有云服务，而随着 OpenClaw 等智能体工具的快速普及，不管是个人开发者还是企业更需要一个 7×24 小时运行在本地、可直接响应指令的 “数字员工”。但云端方案存在的数据隐私风险与持续高昂的 API、Token 成本，让工业级智能体在规模化落地时面临瓶颈，独立部署大模型服务已成为企业构建自主可控 AI 能力的必然选择。<br>
众智FlagOS 是一款完全开源的 AI 系统软件栈，支持多款异构 AI 芯片，可让 AI 模型与智能体轻松实现快速部署。本次 FlagOS 联合腾讯云 HAI（面向AI和科学计算的容器镜像中心），将 Qwen3-4B-hygon-flagos 模型镜像正式上线腾讯云 HAI 社区，开发者可直接拉取使用。基于该镜像，可快速在加速卡上运行FlagOS + OpenClaw，实现小模型驱动智能体执行，为企业和开发者从公有云 API 转向自建本地 AI 服务提供了可落地的实践方案。<br>
安装及测试过程<br>
基于 FlagOS 系统软件栈的跨芯能力，众智 FlagOS 社区把 Qwen3-4B 适配至多款GPU硬件。以下内容重点介绍如何部署与配置 FlagOS 版 Qwen3-4B的过程，仅用于复现实验结果，不影响对 Agent 能力的判断。<br>
安装Qwen3-4B-hygon-flagos<br>
首先，从 HAI 社区平台找到 Qwen3-4B-hygon-FlagOS，根据README.md拉取模型并启动服务。<br>
以 ModelScope为例，下载模型权重<br>
Plain Text<br>
pip install modelscope<br>
modelscope download –model Qwen/Qwen3-4B –local_dir /share/Qwen3-4B<br>
点击【部署当前镜像】获取镜像拉取命令，从 HAI 社区拉取镜像<br>
Plain Text<br>
docker pull haihub.cn/baai/flagrelease_hygon_qwen3:v1.0.0<br>
通过下面的代码，启动容器。<br>
这段代码可直接复制使用，也可以根据需要修改容器名，即在第4行–name=flagos对 name 进行修改。<br>
SQL<br>
#Container Startup<br>
docker run -it \<br>
–name=flagos \<br>
–network=host \<br>
–privileged \<br>
–ipc=host \<br>
–shm-size=16G \<br>
–memory=”512g” \<br>
–ulimit stack=-1:-1 \<br>
–ulimit memlock=-1:-1 \<br>
–cap-add=SYS_PTRACE \<br>
–security-opt seccomp=unconfined \<br>
–device=/dev/kfd \<br>
–device=/dev/dri \<br>
–group-add video \<br>
-u root \<br>
-v /opt/hyhal:/opt/hyhal \<br>
-v /share:/share \<br>
haihub.cn/baai/flagrelease_hygon_qwen3:v1.0.0 \<br>
/bin/bash<br>
进入容器（如果上一步修改了容器名，这里要将flagos对 name 进行修改。<br>
Plain Text<br>
docker exec -it flagos bash<br>
启动服务<br>
Plain Text<br>
flagscale serve qwen3<br>
安装配置OpenClaw<br>
安装过程: 参见:https://github.com/openclaw/openclaw?spm=5176.28103460.0.0.696675514ZMILC , 通过源码方式，安装 OpenClaw。<br>
Python<br>
git clone https://github.com/openclaw/openclaw.git<br>
cd openclaw<br>
pnpm install<br>
pnpm ui:build # auto-installs UI deps on first run<br>
pnpm build<br>
pnpm openclaw onboard –install-daemon<br>
# Dev loop (auto-reload on TS changes)<br>
pnpm gateway:watch<br>
配置过程:<br>
访问链接以下链接：https://cloud.tencent.com/developer/article/2625144，文中有给出通用的”模型配置“文件格式，可以直接套用，套用后命令如下。<br>
需要注意的是，配置本地模型时，厂商一定是加速推理工具如vllm。<br>
SQL<br>
pnpm openclaw config set ‘models.providers.vllm_local’ –json ‘{<br>
“baseUrl”: “http://1.15.51.106:9033/v1”,<br>
“apiKey”: “anykey”, #key不可为空，如果原来模型没有配置key，任意填写即可<br>
“api”: “openai-completions”,<br>
“models”: [<br>
{ “id”: “Qwen3-4B-hygon-flagos”, “name”: “远程模型” }<br>
]<br>
}’<br>
执行之后出现如下信息提示：<br>
启用并设置为默认模型<br>
Plain Text<br>
合并配置模型<br>
pnpm openclaw config set models.mode merge<br>
Plain Text<br>
切换为当前模式<br>
pnpm openclaw models set vllm_local/Qwen3-4B-hygon-flagos<br>
可以看到当前默认模型已经切换为 Qwen3-4B-hygon-flagos。<br>
执行下面代码，可以看到模型已经切换完成。<br>
Plain Text<br>
pnpm openclaw configure<br>
可以看到模型已经切换完成。<br>
配置 channel 为QQ<br>
参考文档： https://cloud.tencent.com/developer/article/2626045，这部分需要替换为自己的ID和secret。配置完成后，进行以下操作：<br>
启动openclaw网关, 命令如下：<br>
Plain Text<br>
pnpm openclaw gateway<br>
启动成功后，您可以在QQ软件中尝试和已经打通OpenClaw的QQ机器人进行单独聊天，或者在群里与QQ机器人进行对话。如果QQ机器人能够以AI的方式对话，则说明您已经成功完成OpenClaw应用接入QQ机器人。<br>
接下来您就可以开始进一步探索OpenClaw接入QQ机器人之后的更多使用场景。<br>
趋势展望<br>
这次在 OpenClaw 连接QQ的场景中对 Qwen3-4B-hygon-flagos 进行了测试，发现Agent 的能力边界正在发生转移。<br>
关键信号：<br>
小模型开始进入 Agent 执行层<br>
Qwen3-4B-hygon-flagos 已经可以在 OpenClaw 中稳定承担指令理解、工具调用、本地文件操作和协作入口控制等任务。这意味着，小模型第一次从“对话组件”走进了 Agent 的执行中枢。<br>
真正的瓶颈不在模型，而在系统<br>
无论 4B 还是更大的模型，在文档写入等能力上同样受限，说明 Agent 的上限越来越多地由平台权限、接口设计和工程抽象决定，而不是模型本身。<br>
如果你要的是一个能在本地跑、能调工具、能接企业系统的 Agent 内核，<br>
4B 级模型，已经开始成为一个现实且合理的默认选项。<br>
Less is More, FlagOS is the Key！<br>
关于众智 FlagOS 社区<br>
众智FlagOS是一款专为异构AI芯片打造的开源、统一系统软件栈，支持 AI 模型一次开发即可无缝移植至各类硬件平台，大幅降低迁移与适配成本。它包括大型算子库、统一AI编译器、并行训推框架、统一通信库等核心开源项目，致力于构建「模型-系统-芯片」三层贯通的开放技术生态，通过“一次开发跨芯迁移”释放硬件计算潜力，打破不同芯片软件栈之间生态隔离。<br>
社区官网：https://flagos.io<br>
GitHub地址：https://github.com/flagos-ai<br>
GitCode地址：https://gitcode.com/flagos-ai<br>
关于HAI<br>
高性能应用服务（Hyper Application Inventor，HAI）是一款面向 AI 、科学计算的 GPU 应用服务产品，提供即插即用的澎湃算力与常见环境，助力中小企业及开发者快速部署 LLM。<br>
而HAI社区是一款面向AI和科学计算等GPU环境的容器镜像中心，提供丰富的官方与社区维护的开发资源。助力企业和开发者快速部署AIGC大模型、计算机视觉、自然语言处理、数据科学等容器，原生集成开发工具与组件。<br>
社区官网：https://haihub.cloud.tencent.com/index<br>
本文系量子位授权转载自智源研究院，观点为原作者所有。