Full text · 原文
2,015 字
闻乐 发自 凹非寺<br>
量子位 | 公众号 QbitAI<br>
让OpenClaw帮干活还不够，现在，程序员们正想方设法让龙虾自己变强。<br>
注意注意！还不是某个任务上的单点提升，这次有人直接给整个智能体套一层在线强化学习系统MetaClaw——<br>
不用自己维护GPU集群、不用数据集也无需人工微调，让AI跟你聊着聊着就能自己变聪明。<br>
这种新的学习模式就是把用户和AI的日常对话直接变成训练数据，整个学习循环全在后台完成，也不耽误正常使用。<br>
咱平时跟AI该聊啥聊啥，MetaClaw会默默拦截OpenClaw的交互过程，给每一轮对话打分，再通过在线微调优化AI的决策策略。<br>
而且它还吃一堑长一智，要是AI哪句话翻车了，MetaClaw会自动扒完整的交互轨迹，分析问题出在哪，然后自动生成一个新技能存进技能库。<br>
下次再遇到类似的坑，相关技能会被精准搜索出来注入系统提示，同款错误直接拜拜。<br>
技能注入+技能进化<br>
模型底座基于Kimi-2.5构建，同时也准备了Qwen3-4B这个轻量级替代方案，低配设备也能跑。<br>
核心机制是自研的SkillRL技能增强强化学习框架，说白了就是技能注入+技能进化的组合拳。<br>
技能注入<br>
每轮对话里精准匹配相关技能指令，不用等训练结束，AI当场就能优化表现；<br>
技能进化<br>
让AI从被动接收指令变成主动生成技能，技能库越用越丰富，能力水涨船高。<br>
而最吸引人的，是不依赖本地GPU集群，不用自己维护这个设定。<br>
MetaClaw把所有训练任务全甩给了Tinker云平台，训练和部署彻底分家。<br>
只要你的设备能连上网，就能跑通整个系统，不用操心算力，也不用专门的工程团队盯着维护。<br>
这波直接把AI持续学习的门槛干到了地板级，普通人也能养出会进化的龙虾了。<br>
除此之外，MetaClaw的细节设计也很懂开发者的痛点。<br>
异步架构+双学习模式，把服务、奖励建模和训练彻底解耦，AI一边给用户实时响应，后台一边做打分和优化，“工作学习”两不耽误。<br>
学习模式也给足了选择，想轻量化就用强化学习，从用户隐式反馈里优化；想深度提升就用在线策略蒸馏，结合高质量文本反馈进阶。<br>
主打一个你想怎么训就怎么训。<br>
三步上手<br>
用起来还贼简单，就3步。<br>
第一步先安装依赖，前面的是常规服务和大模型相关库，跑API、发请求、接大模型都用得上。<br>
后面的tinker和tinker-cookbook是关键，这是云端LoRA训练的SDK。<br>
– pip install fastapi uvicorn httpx openai transformers<br>
– pip install tinker tinker-cookbook<br>
第二步运行配置脚本将OpenClaw网关指向MetaClaw的代理，比较推荐的是Kimi2.5.<br>
– bash openclaw_model_kimi.sh<br>
第三步是设置Tinker API密钥，直接跑训练脚本。<br>
– export TINKER_API_KEY=”xxx”<br>
– cd /path/to/metaclaw<br>
– python examples/run_conversation_rl.py<br>
搞定，之后你只需要像平常一样和Agent聊天，MetaClaw会自动收集对话轮次、评分、训练模型。<br>
每攒够一批样本就热替换一次权重，全程无需人工干预。<br>
如果想启用技能注入，只需在配置中设置：<br>
– config = MetaClawConfig(use_skills=True)<br>
想开始技能进化，可以设置（以GPT5.2为例）：<br>
– config = MetaClawConfig(<br>
use_skills=True,<br>
enable_skill_evolution=True,<br>
azure_openai_deployment=”gpt-5.2”,<br>
)<br>
然后配好密钥：<br>
– export AZURE_OPENAI_API_KEY=”xxx”<br>
– export AZURE_OPENAI_ENDPOINT=”https://your-endpoint.openai.azure.com/“<br>
所有配置项都集中在MetaClawConfig中，包括模型选择、LoRA参数、批次大小、训练步数、损失函数类型等，一目了然。<br>
好好好，这下变成真·养虾了（doge）。<br>
MetaClaw这项工作由姚骅修领导，他是电子科技大学校友，现任UNC计算机科学系的助理教授，曾在Stanford AI Lab做博士后，专注于Agent和具身AI。<br>
项目地址：https://github.com/aiming-lab/MetaClaw<br>
参考链接：<br>
[1]https://x.com/BoWang87/status/2031094971630235941<br>
[2]https://x.com/HuaxiuYaoML/status/2031069599651729905<br>
— 完 —