OmniJev视觉判断模型简介
OmniJev 在 Qwen3.5 上用 LoRA 和决策头做类型化视觉判断，一次前向返回校准概率、不生成回答文本。v1.1 的高分集中在手势、短视频事件、网页与手机操作等自建题集；象棋落子、机械臂 jog 和马里奥下一步并不准。
OmniJev视觉判断模型简介
OmniJev 是面向图像、视频、屏幕和机器人画面的类型化判断模型：给定画面和一组事先写好的问题，一次前向返回每个问题的概率，生成 token 数为 0。v1.1 在 Qwen3.5（0.8B / 2B / 4B）上用 LoRA、决策头和有序回归头微调。下面的「哪些判断比较准」只复述仓库 README 与 逐数据集审计，不是官方榜单，也不能外推到没测过的画面。
参考与延伸阅读：
- 仓库：https://github.com/tinnel123666888/OmniJev
- 中文说明：https://github.com/tinnel123666888/OmniJev/blob/main/README_zh.md
- v1.1 数据集审计：https://github.com/tinnel123666888/OmniJev/blob/main/docs/dataset_scores_v11.md
- 权重：https://huggingface.co/tinnel123/OmniJev
- 项目页：https://omnijev.net/
目录
1. 它判断什么
OmniJev 不写长回答。调用方先声明问题类型，模型对同一张图或同一段视频上的多道题一起打分。仓库写明：同一张截图上大约 12 道题的开销接近 1 道题。
| 类型 | 问法 | 返回 |
|---|---|---|
choice | 哪一个选项（或都不是） | 每个选项的概率、abstain（以上都不是）、选中的 key |
noul | 这句陈述对当前画面是否成立 | 一个校准后的概率 |
score | 在有序刻度上到了哪一档 | 档位及其概率 |
选项也可以是画面上的框：box: [x1, y1, x2, y2]，坐标 0–1000。于是「点哪个按钮、危险在哪一块」仍是一道选择题。视频被抽成 16 帧拼成一张图，模型看到的就是这张图，不是逐帧重编码的长视频。
发布权重三档，代码都走 mso.infer.MSO1，协议 Apache-2.0；骨干 Qwen3.5 沿用其自身许可证，不打进权重包。
| 模型 | 骨干 | 权重 |
|---|---|---|
| OmniJev-4B | Qwen3.5-4B | tinnel123/OmniJev，revision v1.1 |
| OmniJev-2B | Qwen3.5-2B | tinnel123/OmniJev-2B |
| OmniJev-0.8B | Qwen3.5-0.8B | tinnel123/OmniJev-0.8B |
另有 OmniJev-SFT-0.8B：那是生成式对照，会吐文本，没有决策头，不能用 MSO1。下文准确率指决策头版本，并以 4B 为主。
演示片是离线回放。仓库写明：可靠的闭环玩游戏、闭环控机器人尚未建立。
2. 微调覆盖的数据
v1.1 的训练说明是：三档骨干、LoRA rank 32、决策头与有序头、多图拼板；0.8B / 2B / 4B 这次分别再训 5000 / 4000 / 3000 step，步数不相等，不能当成同一训练预算。损失是概率评分规则，再在独立留出集上做温度校准。4B 的检查点里还有一个很小的 noul 偏置，会挪动是否边界。
题面来自把公开数据改写成 choice / noul / score，而不是模型在原始榜单协议上重训出来的分数。README 列出的任务族包括：网页与手机操作、机器人画面、短视频、游戏与棋类、声谱图、长文本。旧文里的「约 27 万条」仓库已声明不是本版的确切条数；新冻结的 272561 题上，多图重训和评测还没做完。
评测还有几条读数限制，写进审计页：
- 30 个任务族的宏平均不是逐数据集官方分。4B 在冻结题池的 96 个来源分层里，实际只评到 41 个，其余标为未评测。
- 多数族是自定义行级留出，不是情节级隔离。Charades-STA 事件题用的是该数据集训练集里的视频。
- POPE、LongVideoBench 未进训练；Mind2Web 使用官方切分。
- 主表是原始评测报告，不是校准服务路径上的新跑分。
30 族宏平均准确率：4B 基座约 40.12%，v1.1 4B 约 70.00%（41975 题）。这是族间等权，不能当成「看什么都有七成」。
3. 哪些判断相对更稳
下面只列审计页里 4B、题量大约一千五百、且仓库没有撤回 的来源。数字是该题集 top-1，括号外为准确率。
| 场景 | 题集（仓库写法） | 4B | 怎么用这一个数 |
|---|---|---|---|
| 手势是否出现 | HaGRID 手势子集 | 99.53%（1500） | 只覆盖手势。同族里的监控烟火、刀具图未评测，不能把 99% 说成安防已测准 |
| 短视频里事件是否发生、发生在何时 | Charades-STA 自定义事件题 | 89.13%（1500） | 视频来自该数据集训练集；适合「这段里有没有这个动作」这类改写题 |
| 简单合成游戏的下一状态 | Synthetic Catch、Synthetic Snake | 90.36%、84.47% | 规则简单的自建轨迹，不是主机游戏通关率 |
| 机械臂长程画面问答 | LIBERO-10 长程帧问题 | 85.04%（1504） | 问的是子任务、是否抓住等帧级判断 |
| 手机操作下一步 | AndroidControl | 77.30%（1502） | 操作类型、是否出错一类选择 |
| 网页任务下一步 | Mind2Web 官方 test-task | 77.40%（1500） | 只评了 test-task；test-website、test-domain 未评测 |
| 网页上点哪一格 | 自定义 8×12 网格 point_web | 约 75.8% | 选项是格子或框，不是开放式检测框 |
| 多选视觉问答 | OK-VQA，六个给定答案里含金标，再加弃权 | 93.47%（1500） | 不是官方开放式 VQA。金标已经在选项里 |
同一张图上同时问「下一步操作、是否不可逆、是否弹出错误框」，或问「视频里事件是否发生、进行到哪一档」，和上述题型最接近。mso/templates.py 里为浏览器、手机、机器人、游戏和网格准备了现成问题组。
4. 哪些判断不能当成已经测准
这些行同样来自审计页。低分或未覆盖，比高分更能说明边界。
| 场景 | 仓库结论 |
|---|---|
| 象棋、中国象棋的落子区域 | Lichess 区域题 chess3 仅 22.67%；中国象棋自定义题 23.67%。棋盘「该走哪」不要当可用能力 |
| 机械臂下一步方向（jog） | Bridge jog 45.97%，LIBERO-10 jog 51.56%。和上一节 85% 的长程帧问答不是同一类题 |
| 马里奥下一动作 | 旧表 56.05% 把是非题和动作题混在一起。下一动作只有 43.52%（193 题），平衡准确率 20.20%。演示里 24/28 对上录像，但录像本身大量是 right_B，总预测这一类也能对上同样多 |
| 听声音 | ESC-50 声谱图改写题约 53%。音乐体裁子集整表未评测。模型是在看频谱图，不是听波形 |
| 长视频 | LongVideoBench 被排除在训练外。15 秒桶 66.40%，约 1 小时桶降到 48.80%（各 125 题） |
| 物体是否在图中（POPE） | 4B 随机子集 84.73%，低于同协议基座 86.42%。对抗子集和 popular 子集未进入该封顶报告 |
| 安防烟火、刀具 | 与 HaGRID 写在同一族，但这两类标为未评测 |
| Atari 全游戏 | 评测只覆盖到 Alien、Bank Heist；JAT 轨迹只覆盖 Enduro。不能写成「Atari 都会」 |
A-OKVQA 旧的是非标签有生成错误，理解分已撤回。留下的多选题在项目自己的弃权协议下，4B 为 77.07%（750 题），也不能当成官方 A-OKVQA。
5. 调用方式
权重和骨干要各下一份。4B 示例：
1
2
3
4
5
git clone https://github.com/tinnel123666888/OmniJev && cd OmniJev
python -m venv venv && ./venv/bin/pip install -r requirements.txt
hf download tinnel123/OmniJev --revision v1.1 --local-dir ckpt
hf download Qwen/Qwen3.5-4B --local-dir base
1
2
3
4
5
6
7
8
9
10
11
from mso.infer import MSO1
m = MSO1("ckpt", "base")
answers = m.system_one(
{"images": ["screen.png"]},
{
"op": {"type": "choice", "instructions": "Which operation comes next?",
"criteria": {"click": "tap an element", "type text": "", "scroll": ""}},
"err": {"type": "noul", "instructions": "This screen shows an error dialog."},
},
)
视频要本机有 ffmpeg 和 ffprobe。video_state("clip.mp4") 抽 16 帧写成旁边的 clip.mosaic.jpg，再交给同一次 system_one。任务说明写在 instructions 前面，和画面一起读。可选 pip install fla-core 开启线性注意力内核。
v1.1 默认把多张静图编成带编号的拼板。设 MSO_NO_PANELS=1 会退回只看第一张，仅用于和旧评测对照。缺图会直接报错。
6. 适用边界
适合。 画面类型落在已测题集附近，而且问题能写成有限选项或是否句：手机或网页的下一步操作、格子级指向、短视频里某个动作是否出现、简单规则游戏的帧级状态、LIBERO 风格的帧级子任务判断。需要的是概率和弃权，不是一段解释。
不适合。 象棋着法、机械臂 jog 方向、马里奥闭环、开放式看图说话、长视频理解、未评测的烟火与刀具、音乐体裁。这些要么分数接近随机，要么仓库明确写了未评测或标签作废。演示里的实时玩游戏、手势控设备和危险报警条，是界面回放，不是闭环指标。
机构署名是北京中关村学院、中国科学院自动化研究所与智进化（Zevo）。命名里的 Jev 指这种「类型化问题 + 校准概率」的接口，权重是在 Qwen3.5 上另训的适配器。
7. 小结
| 要点 | 结论 |
|---|---|
| 是什么 | Qwen3.5 上的视觉决策头：choice / noul / score，一次前向、零生成 token |
| 数据 | 公开集改写成类型化题；v1.1 步数与覆盖以仓库审计为准 |
| 相对更稳 | HaGRID 手势、Charades 事件题、Catch/Snake、LIBERO 长程帧问答、AndroidControl、Mind2Web 的 test-task |
| 不要外推 | 棋类落子、jog 方向、马里奥下一动作、长视频、声谱图、未评测的安防子集 |
| 读数 | OK-VQA 的 93% 含金标选项；安全族的 99% 只是手势 |
先把问题收成仓库已有的题型，再用 4B 在同类留出集上看准确率和弃权，不要用族平均 70% 代替某一路画面。