CapRL密集图像描述模型简介
CapRL 用可核验奖励训练密集图像描述：字幕好不好，看纯文本模型只读字幕能不能答对关于这张图的选择题。3B 在 Prism 上接近 Qwen2.5-VL-72B。推理提示词是详细描述这张图，接口与 Qwen2.5-VL 相同。
CapRL密集图像描述模型简介
CapRL（Captioning Reinforcement Learning）是上海人工智能实验室等机构开源的密集图像描述模型，仓库 InternLM/CapRL，论文被 ICLR 2026 接收（arXiv:2509.22647），许可证 Apache-2.0。它不靠背一条标准字幕，而用「只看字幕能否答对视觉题」当奖励。轻量的 CapRL-3B 在描述信息量上被论文写成接近 Qwen2.5-VL-72B。下文按仓库 README 与论文摘要整理，评测数字以原文设定为准。
参考与延伸阅读：
- 仓库：https://github.com/InternLM/CapRL
- 论文：https://arxiv.org/abs/2509.22647
- CapRL-3B：https://huggingface.co/internlm/CapRL-3B
- CapRL-Qwen3VL-4B：https://huggingface.co/internlm/CapRL-Qwen3VL-4B
- 在线试用：https://huggingface.co/spaces/internlm/CapRL-Qwen3VL-4B
目录
1. 它在做什么
普通图像字幕往往一句带过。密集描述要写下物体、属性、图中文字、相对关系和事件，图表、信息图和文档页尤其吃这一层。监督微调通常对着一条人工或闭源模型写好的字幕学，模型容易记那一种说法，换种问法就漏细节。
CapRL 把字幕质量定义成有没有用：字幕写全了，一个看不见图的纯文本模型，只读这段字，也应能答对关于该图的选择题。答对的比例就是可核验奖励，再用 GRPO 更新看图的策略模型。论文称这是把 RLVR 用到开放式图像描述上的一次尝试。
发布权重按基座分成几档，推理时仍是视觉语言模型，不是单独的检测器。
| 系列 | 代表权重 | 基座 | 定位 |
|---|---|---|---|
| 1.0 | CapRL-3B（亦称 CapRL-Qwen2.5VL-3B） | Qwen2.5-VL-3B | 论文主结果；图表、信息图、文档与自然图像的长描述 |
| 1.0 | CapRL-InternVL3.5-8B | InternVL3.5-8B | 同一套配方，README 写其描述能力超过 Qwen2.5-VL-72B |
| 2.0 | CapRL-Qwen3VL-2B / 4B | Qwen3-VL | 参数更小；仓库称 2B 在描述任务上超过 1.0 的 3B 和 Qwen2.5-VL-72B，4B 再高一档 |
| 3.0（CapRL++） | CapRL-Video-4B | Qwen3-VL-4B | 图像配方延伸到带时间戳的密集视频描述 |
1.0 的 3B 另有 GGUF 量化。训练用问答集 CapRL-QA-75K 已公开；CapRL-2M 是用 CapRL-3B 重写过字幕的图文，来自 ShareGPT-1M 与 DenseFusion-1M，图要另下。
2. 奖励怎么算
训练分成两段，和推理时「看图直接说话」不是同一次调用。
1
2
3
4
5
6
图像 +「请详细描述」
→ 看图模型采样多条字幕
→ 每条字幕配上该图的选择题，打乱选项
→ 纯文本模型只读字幕作答（默认 Qwen2.5-3B-Instruct）
→ 与标准答案精确匹配，多次抽样取平均准确率
→ 作为该字幕的奖励，回传给看图模型
选择题事先滤过：用视觉模型作答时准确率高于 0.75，不给图、只给文字时准确率低于 0.25。这样题目必须靠画面才能答，避免字幕里抄到题干就能蒙对。选项每次打乱，减轻模型偏爱某个字母。同一张图的题目多次抽样再平均，避免只答一次的随机性。
论文把这种奖励和「让另一个大模型凭感觉打分」对照：后者容易被写得很长或写得很短钻空子。CapRL 的奖励是选择题对错，不另加格式分。CapRL++ 在视频上额外加时间戳格式分和长度惩罚，避免用重复长文刷分。
问答构造在仓库 QA_data_curation：先用 Qwen2.5-VL-72B 为每张图出约 5 道题，再按上面的有图 / 无图准确率过滤。图像训练脚本在 CapRL_Training，基于改过的 OpenRLHF；奖励服务建议单独环境（README 举例 vllm==0.10.1），训练侧为了 Qwen3-VL 需要更高版本 vLLM。视频训练在 CapRL++，用 verl。
3. 密集描述强在哪
论文在 Prism 描述质量评测里给出：CapRL-3B 与 Qwen2.5-VL-72B 相当，相对其 3B 基线平均高 8.4 个百分点。用 CapRL-3B 标出的约 500 万条字幕去做视觉语言预训练，12 个基准有提升。README 把 3B 的强项写成三类：图表、信息图和文档上的感知与信息覆盖接近 72B；输出分块、较易读；自然图像尽量覆盖可见信息、幻觉更少。这些对比发生在各自论文和仓库的评测协议下，不能当成任意截图上的绝对准确率。
2.0 的说明更直接：Qwen3-VL-2B 这一档在描述任务上超过 CapRL 的 Qwen2.5-VL-3B，也超过 Qwen2.5-VL-72B；4B 高于 2B。若只要密集看图、不看视频，仓库建议在速度和描述完整度之间选 2B 或 4B，而不是默认回到最早的 3B。
密集是指字幕里要能支撑后续提问：颜色、文字、谁在谁左边、图里的数字。它不输出检测框，也不替代专门的 OCR 引擎。字幕漏掉的细节，下游纯文本模型一样答不出。
4. 怎么调用
CapRL-3B 的推理方式与 Qwen2.5-VL 相同。训练和评测用的提示词是：
1
Please describe this image in detail.
仓库推荐用 vLLM 起 OpenAI 兼容服务，模型名可设为 caprl，再把图片做成 data URL 放进 image_url。示例里温度为 1.0、top_p 为 1.0。2.0 权重换 Qwen3-VL 的加载方式；视频模型用 Qwen3-VL 的视频接口，提示词可以要求按时间顺序写，并用 [mm:ss] 标出动作。在线试用可走 Hugging Face 上的 CapRL-Qwen3VL-4B Space，不必先在本机拉起服务。
5. 后续版本
CapRL++ 把同一条原则用到视频：字幕好不好，仍看纯文本模型能否凭字幕做对选择题。视频奖励是准确率、时间戳是否按顺序、以及长度惩罚三项相加。训练分两段：先在静图上把空间、OCR 和关系写全，再在视频上补事件顺序。CapRL-Video-4B 从 Qwen3-VL-4B 训出；CapRL-Video-178K 是用该模型给 LLaVA-Video-178K 重写的带时间戳描述。图像密集描述不必上这一档。
6. 适用边界
适合。 需要一张图的长描述再交给别的文本模型用：报表、海报、文档页、信息图，或自然场景里「把看见的都写上」。3B 到 4B 的体积适合单卡服务；GGUF 适合再压一档部署。
不适合当成通用视觉问答。 模型优化的是描述是否足以答题，不是直接输出选择题答案。检测框、像素级分割、需要法条或业务规则的判断，都不在这个配方里。Prism 上接近 72B 的说法限定在描述信息量评测，不是所有视觉任务。奖励模型若和部署提示词差太远，描述风格也会变。
7. 小结
| 要点 | 结论 |
|---|---|
| 是什么 | InternLM 的密集图像描述模型，ICLR 2026，Apache-2.0 |
| 训练 | 看图模型写字幕，纯文本模型只读字幕答选择题，准确率当奖励 |
| 效果 | CapRL-3B 在 Prism 上接近 Qwen2.5-VL-72B，比 3B 基线平均高 8.4 个百分点 |
| 调用 | 提示词为详细描述该图；3B 走 Qwen2.5-VL 推理，可用 vLLM |
| 选型 | 要更新的描述用 Qwen3-VL 2B/4B；要时间戳视频用 CapRL-Video-4B |
| 注意 | 强项是描述覆盖，不是检测或开放域问答 |
先用官方那句英文提示词看一张图表或文档页的输出是否写全数字和版式，再决定用 2B 还是 4B。