Full text · 原文
1,891 字
鱼羊 发自 凹非寺<br>
量子位 | 公众号 QbitAI<br>
传统语义分割好无趣好无聊，技能语义分割加入概念提示，好好玩，要爆了。（doge）<br>
SAM 3——第三代“分割一切”模型刚刚被发现，已经悄然投稿ICLR 2026。<br>
论文还在双盲评审阶段，作者匿名中，但标题暴露一切。<br>
简单来说，就是在这个官方新版中，分割模型终于能听懂人话了：只要说出想要的东西，SAM 3就能在图像/视频中分割出对应实例。<br>
比如，输入“条纹猫”，SAM 3自己就能找出并分割图中所有带条纹的猫猫：<br>
值得一提的是，SAM 3处理一张含100多个物体的图片仅需30ms，对视频也有近实时处理能力。<br>
能听懂人话的SAM<br>
SAM 1引入了基于点、框、掩码等视觉提示的交互式分割任务，开辟了分割模型的新范式；SAM 2则在此基础之上，加入了对视频和记忆的支持。<br>
这一次，SAM 3让这种交互式分割更进一步：支持基于短语、图像示例等概念提示的多实例分割任务——对，捎带手突破了前代只能处理单个实例的局限。<br>
论文中，SAM 3的研究团队将这种新任务范式命名为PCS（Promptable Concept Segmentation）。<br>
PCS：可提示概念分割<br>
PCS的定义是，给定图像或视频，模型能够基于短语、图像示例，或者两者结合的方式，分割其中所有匹配提示概念的实例。<br>
相比于传统分割任务，PCS强调：<br>
开放性词汇：不局限于预定义的固定类别，支持用户输入任意名词短语作为分割目标；<br>
全实例分割：找到并分割所有符合提示的实例，在视频中，还能保持不同帧之间的身份一致性；<br>
多模态提示：支持多种提示输入，包括文本提示、视觉提示，以及两者结合的方式；<br>
用户交互：允许用户通过交互进行分割结果的精细优化。<br>
新架构设计<br>
SAM 3为实现PCS设计了新的架构。<br>
主要是在检测与分割模块上，SAM 3的检测器基于DETR（Deformable Transformer）架构，能够根据语言和视觉提示生成实例级的检测结果。<br>
同时，引入了Presence Head模块，解耦物体的识别（是什么）和定位（在哪里）任务——<br>
在传统对象检测框架中，模型往往需要同时判断目标是否存在、位置在哪里，这可能导致冲突，尤其是在多实例分割任务中容易出问题。<br>
Presence Head将两者分开处理，从而进一步提升了模型的检测精度。<br>
大规模数据引擎<br>
为了改进PCS，研究团队还专门构建了一个可扩展的数据引擎，生成覆盖400万独特概念标签、5200万经过验证的掩码的训练数据集。<br>
数据引擎由多阶段构成，能够逐步提升数据的多样性和难度。<br>
整个构建过程中人类和大语言模型会相互检查彼此的工作，保证高质量的同时提升了标注的效率。<br>
SA-Co基准<br>
为了评估模型在开放词汇分割任务中的性能，论文还提出了SA-Co（Segment Anything with Concepts）基准。<br>
SA-Co包含214K独特概念、124K图像和1.7K视频，概念覆盖范围能达到现有基准的50倍以上。<br>
不过需要说明的是，SAM 3对语言的处理还局限于简单的短语提示，不支持复杂的语言表达，并不具备多模态大模型的语言生成、复杂语言理解和推理能力。<br>
实验结果<br>
实验结果表明，SAM 3在可提示分割任务中刷新了SOTA。<br>
在LVIS数据集的零样本分割任务中，SAM 3的准确率达到了47.0，比此前的SOTA 38.5提升不少。<br>
在新的SA-Co基准测试中，SAM 3的表现至少比基线方法强2倍。<br>
另外，在针对视频的PVS（Promptable Visual Segmentation）任务中，SAM 3的性能也优于SAM 2。<br>
研究人员还把SAM 3和多模态大模型（MLLM）相结合，探索解决更复杂的任务需求。<br>
比如分割图片中“坐着但没拿礼物盒的人”。<br>
大模型会先拆解需求，比如先找坐着的人，再排除拿礼物盒的人，然后给SAM 3发指令。<br>
结果显示，SAM 3+MLLM的组合比专门做推理分割的模型效果还要好，并且无需专门的数据做训练。<br>
在H200 GPU上，SAM 3处理含100多个实体的单张图像只需要30ms的时间。在视频任务中，推理延迟随着目标数量线性增加，能在约5个并发目标的情况下维持接近实时的性能。<br>
不过，论文也指出，SAM 3难以通过零样本的方式，将能力泛化到如医疗图像、热成像之类的细分领域。<br>
视频分割任务中，遇到多目标场景，模型的实时性能会下降，需要多GPU并行处理。<br>
论文地址：https://openreview.net/forum?id=r35clVtGzw<br>
— 完 —