论文题目：When to Think and When to Look: Uncertainty-Guided Lookback
中文题目：什么时候应该思考，什么时候应该重新看图：不确定性引导的视觉回看
作者：Jing Bi 等
会议：CVPR 2026
论文链接：arXiv ｜ CVPR 论文页 ｜ 补充材料

---

摘要

随着推理模型的发展，越来越多的大语言模型和多模态大模型开始提供 Thinking 模式。一个很自然的直觉是：模型生成的思维链越长，推理就越充分，答案也应该越可靠。

但这篇论文发现，多模态推理并不是这样。

模型可能生成几百甚至几千个推理 token，却在最开始误读图片后一直沿着错误方向推导；也可能在推理开始时看过一次图片，后面逐渐脱离视觉证据，只依赖语言先验继续“脑补”。因此，视觉推理真正缺少的往往不是更多语言推理，而是推理过程中持续、按需地重新访问图片。

为此，论文提出 Uncertainty-Guided Lookback：当模型生成“wait”“let me check”等不确定性短语时，自动插入一条“重新查看图片”的提示，让模型回到视觉证据上继续推理。该方法不需要更新模型参数，在 Qwen3-VL Thinking 模型上将 MMMU-val 准确率提高了 2.7～6.4 个百分点，同时减少约 30%～43% 的输出 token。

这篇论文最重要的结论不是某几条提示词，而是：

多模态推理需要优化的不是“思考得更长”，而是“在需要的时候重新 Ground 到图片”。

---

一、问题背景：Thinking 模式真的总是更好吗？

在纯文本任务中，Chain-of-Thought 会让模型先生成中间推理步骤，再给出最终答案。对于需要多步计算的问题，可以将其理解为：

$$\text{问题}\to \text{中间推理}\to \text{答案}$$

每生成一个新的推理 token，模型都会进行一次新的自回归前向计算。因此，长思维链确实给模型提供了更多串行计算步骤。

但是，多模态任务比纯文本任务多了一个条件：推理过程必须持续建立在正确的视觉信息上。

如果模型第一步就把图表读错了，后续再生成一千个 token，也可能只是把错误解释得越来越完整：

$$\text{视觉理解错误}\to \text{长时间语言推导}\to \text{错误被不断强化}$$

因此，作者提出了三个问题：

1. Thinking 在什么视觉任务中有效？
2. 增加单条思维链的深度，与增加采样分支的广度，应该如何取舍？
3. 能否在模型发生视觉漂移时，让它主动重新查看图片？

---

二、实验设置：深度思考与广度搜索

论文主要在 MMMU-val 上进行分析。MMMU 包含数学、物理、工程、医学、艺术、历史、社会学等 30 个学科，既有多步推理题，也有识别与知识检索题，适合观察 Thinking 在不同任务中的作用。

作者比较了 10 个模型变体：

模型家族	参数规模	对比模式
InternVL3.5	4B、8B	Instruct、CoT
Qwen3-VL	4B、8B、32B	Instruct、Thinking

每道题采样 10 条推理轨迹。为了尽量排除输出长度截断的影响，作者设置了较大的 token 上限：

模式	最大输出 token
Instruct	16,384
Thinking	32,768

作者还补充了 Thinking 与 Instruct 都限制为 16,384 token 的预算对齐实验，主要结论没有发生改变。

2.1 Thinking in Depth：增加推理深度

Depth 指开启模型原生的 Thinking 或 CoT 模式，让一条轨迹包含更多显式推理步骤。

它优化的是：

单条推理轨迹的质量。

2.2 Thinking in Breadth：增加搜索广度

Breadth 指对同一道题多次采样，得到多条不同的推理路径，并使用 Pass@k 衡量前 $k$ 条轨迹中是否至少出现一次正确答案。

如果把每次独立采样的正确概率近似记为 $p$，那么至少一次答对的概率可以直观写成：

$$Pass@k\approx 1-(1-p{)}^k$$

需要注意，Pass@10 只表示：

10 条候选轨迹中至少出现过一个正确答案。

它不代表真实系统已经知道哪一条是正确的。因此，Pass@k 更像模型在多次搜索下的能力上限，而不是直接可用的最终准确率。

论文发现：

• 增加采样次数可以提高所有模型的 Pass@k；
• 前几次采样的收益最大，随后逐渐饱和；
• 小模型从多采样中获得的相对收益更明显；
• Thinking 会整体抬高 Pass@k 曲线，但不能消除多采样的价值；
• 在部分预算下，小型 Thinking 模型可以接近甚至超过更大的 Instruct 模型。

所以，深度推理和广度搜索不是完全替代关系：

$$\text{更好的单条轨迹}+\text{足够的候选分支}\to \text{更高的搜索上限}$$

---

三、Thinking 整体有效，但不是所有问题都适合长推理

从总体结果看，Thinking 模式通常比对应的 Instruct 模式更强。但当作者把结果拆到不同学科后，情况变得非常不均匀。

3.1 多步推理型任务更适合 Thinking

Thinking 的收益主要集中在：

• 数学；
• 物理；
• 化学；
• 工程；
• 生物与临床诊断；
• 需要图表计算的金融问题。

这类题目通常需要：

$$\text{读取图片}\to \text{提取数值或关系}\to \text{多步计算}\to \text{得到答案}$$

只要视觉信息读取正确，更多中间计算步骤确实可以帮助模型降低一步到位回答的难度。

3.2 识别型任务可能更适合简洁回答

在以下类别中，Thinking 并没有稳定优势，部分模型的 Instruct 模式甚至更强：

• 文学；
• 历史；
• 艺术与艺术理论；
• 音乐；
• 社会学；
• 公共卫生；
• 心理学。

这些问题往往更依赖识别、事实检索或直接读取明显视觉信息。模型原本已经得到正确判断，却可能在长推理中：

• 引入无关知识；
• 在多个选项之间反复摇摆；
• 用语言先验推翻视觉证据；
• 为一个简单答案编造复杂解释。

因此：

$$\text{Thinking 模式}\ne \text{所有任务上的稳定增益}$$

即使将采样次数增加到 10 次，也不能稳定弥补 Thinking 在部分识别型学科上的退化。

---

四、推理长度不等于推理质量

Figure 5 按照四个维度统计输出长度：

• Instruct 与 Thinking；
• 4B、8B、32B；
• Easy、Medium、Hard；
• Correct 与 Wrong。

4.1 Thinking 在简单题上的额外开销最不划算

对于 4B 和 8B 模型，Thinking 在 Easy 问题上大约会让中位输出 token 翻倍。

但 Easy 问题恰恰是 Thinking 准确率收益较小的区域。这意味着小模型可能花费两倍 token 去解决一个本来可以直接回答的问题，甚至在过度推理后把正确答案改错。

对于 Hard 问题，额外 token 更可能用于：

• 多步计算；
• 检查中间结果；
• 比较候选选项；
• 重新读取图表关系。

因此，同样是增加推理长度，难题上的额外开销更可能产生价值。

4.2 答错的轨迹并不比答对的轨迹短

论文观察到，在不少设置中：

$$T_{\text{wrong}}\ge T_{\text{correct}}$$

错误轨迹可能生成与正确轨迹一样多，甚至更多的 token。这说明：

输出越长，不代表推理越充分，更不代表答案越可靠。

模型可能只是在不断重复、犹豫、自我修正，或者基于错误前提继续生成看似严谨的解释。

4.3 Long-wrong：想了很久，仍然答错

Long-wrong 可以概括为：

$$\text{长 CoT}+\text{弱视觉 Grounding}+\text{错误答案}$$

例如，图中最高的柱子明显是 C，但模型在最开始误读图例后，不断讨论横轴、颜色和选项含义，最终生成几百个 token 并选择 B。

问题不在于它缺少“思考时间”，而在于它没有重新确认最关键的视觉事实。

4.4 Quiet-wrong：快速、自信地答错

Quiet-wrong 则是：

$$\text{短回答}+\text{没有表现出犹豫}+\text{错误答案}$$

这种错误更难处理，因为模型可能没有生成：

• wait；
• let me check；
• I should verify。

如果控制器只能通过这些词法信号触发，它就无法发现模型“安静但自信”的错误。

4.5 为什么大模型反而生成得更短？

Figure 5 中还有一个很稳定的趋势：

$$4B\to 8B\to 32B$$

参数规模越大，输出 token 通常越少，长度分布也更加集中。作者将其称为 capacity-driven concision，即由语言模型容量带来的简洁性。

一种合理解释是，大模型更容易：

• 快速确定解题方向；
• 减少在错误选项之间摇摆；
• 稳定完成中间计算；
• 组织更紧凑的语言；
• 避免反复自我纠正。

但这只是实验相关性，不能说明大模型内部存在一套没有显示出来的独立推理循环。

同时，输出 token 更少也不等于总计算量更少。假设：

• 4B 模型生成 1000 个 token；
• 32B 模型生成 300 个 token。

只做非常粗略的“参数量 × 输出长度”估算：

$$C_{\text{4B}}\propto 4\times 1000=4000$$

$$C_{\text{32B}}\propto 32\times 300=9600$$

即使 32B 模型的回答更短，总计算量仍可能更高。真实成本还与视觉 token、Attention、KV Cache、显存带宽、视觉编码器和并行采样有关。

因此，论文中的 token economy 更准确地表示：

模型为了得到答案使用了多少可见输出 token，而不是完整的 GPU FLOPs 或实际费用。

---

五、论文最关键的分析：模型什么时候真的在看图？

前面的实验说明：

$$\text{CoT 长度}\ne \text{推理质量}$$

但作者还需要回答一个更关键的问题：

正确轨迹和错误轨迹的区别，是否真的与视觉依赖有关？

为此，论文提出了 Token-Level Visual Sensitivity Probe，即逐 token 视觉敏感度探针。

5.1 三种视觉条件

设问题为 $x$，原始图片为 $I$，模型已经生成的推理轨迹为：

$$y_{1:S}=(y_1,y_2,\dots ,y_S)$$

作者为同一条轨迹构造三种视觉条件：

条件	记号	输入
真实图	$R$	原始图片 $I$
噪声图	$N$	与原图分辨率一致的高斯噪声图
无图	$\varnothing$	完全移除视觉 token

需要强调的是，作者没有让三种条件分别重新生成三条不同的 CoT，而是固定同一段 $y_{1:S}$，通过 Teacher Forcing 重新计算每个已知 token 的概率。

对于第 $s$ 个 token：

$${\mathrm{PPL}}_c(s)=\exp \left(-\log p_{\theta }\left(y_s\mid x,I_c,y_{<s}\right)\right)$$

如果只看单个 token，它可以简化为：

$${\mathrm{PPL}}_c(s)=\frac{1}{p_{\theta }(y_s\mid x,I_c,y_{<s})}$$

因此：

• token 概率越高，PPL 越低；
• token 概率越低，PPL 越高。

整个过程只需要前向计算，不需要重新训练模型。

5.2 为什么不能只比较真实图和无图？

如果直接计算：

$${\mathrm{PPL}}_R-{\mathrm{PPL}}_{\varnothing }$$

其中会同时混合两个因素：

1. 图片具体语义内容的影响；
2. 是否存在视觉 token 的结构性影响。

无图不仅删除了图片内容，也改变了输入长度、视觉位置和多模态 Attention 结构。

因此，作者加入同分辨率的高斯噪声图。噪声图保留了视觉 token 的存在和大致结构，却不包含与问题有关的语义，从而构造两个相对独立的对比轴。

5.3 真实视觉内容差异

$${\Delta }_{\text{content}}(s)={\mathrm{PPL}}_R(s)-{\mathrm{PPL}}_N(s)$$

它回答的是：

与没有有效语义的噪声图相比，真实图片是否让当前 token 更容易预测？

假设模型要生成：

The blue curve peaks at x = 4.

对于 token “4”，三种条件下的概率与 PPL 为：

条件	“4”的概率	PPL
真实图 $R$	0.80	1.25
噪声图 $N$	0.20	5.00
无图 $\varnothing$	0.25	4.00

那么：

$${\Delta }_{\text{content}}=1.25-5.00=-3.75$$

负值说明真实图片明显提高了 token “4”的概率。也就是说：

${\Delta }_{\text{content}}$	含义
明显小于 0	真实视觉内容显著帮助当前 token
接近 0	当前 token 对真实图和噪声图不敏感
大于 0	真实图使当前 token 更难预测，可能与文字推断发生冲突

因此，Figure 6 中向下的尖峰代表较强的直接视觉依赖。

5.4 视觉 token 存在敏感度

第二个差异为：

$${\Delta }_{\text{presence}}(s)={\mathrm{PPL}}_N(s)-{\mathrm{PPL}}_{\varnothing }(s)$$

它衡量的是：

即使图片没有有效语义，仅仅加入视觉 token，是否也会明显改变当前 token 的预测？

这里最重要的是绝对值：

$$\left|{\Delta }_{\text{presence}}(s)\right|$$

它更适合被理解为“视觉存在敏感度”，而不是“视觉帮助分数”。

作者联合使用两个差异：

$$\left|{\Delta }_{\text{presence}}\right|\text{较大}$$

同时：

$$\left|{\Delta }_{\text{content}}\right|\text{较小}$$

其直观含义是：

模型意识到当前问题与图片有关，但尚未从图片的具体内容中获得可靠证据。

作者将其视为一种 visually uncertain regime，即视觉不确定状态。

---

六、Figure 6：正确推理不是开头看一次图，而是反复回看

Figure 6 的上排将不同长度的推理轨迹归一化到 $0\%\sim 100\%$，用于观察视觉依赖在整段推理中的相对位置；下排保留真实 step index，用于观察局部尖峰。

图中最关键的现象是：

1. 正确与错误轨迹都可能出现负向视觉依赖，说明答错的模型也可能认真看过图片；
2. 正确轨迹中，真实图相对噪声图的 PPL 下降通常更频繁、更明显；
3. 这些下降并不只出现在推理开头，而是分散在整段推理中；
4. 错误轨迹中的视觉依赖通常更少、更浅，后续更容易转向纯语言推断。

成功的视觉推理更接近：

$$\text{查看图片}\to \text{文字推理}\to \text{重新访问视觉证据}\to \text{继续推理}\to \text{再次访问视觉证据}$$

而不是：

$$\text{开头看一次图片}\to \text{后面一直进行纯文本推理}$$

论文将这种现象称为 repeated localized lookbacks，即多次、局部的视觉回看。

这里也需要避免过度解读：

• 视觉依赖强，不代表视觉理解一定正确；
• 模型可能看到了图片，却看错颜色、数错目标或关注了错误区域；
• PPL 差异建立的是统计关联，不是充分的因果证明。

---

七、Uncertainty-Guided Lookback：在不确定时重新看图

基于视觉敏感度分析，作者挖掘了两类文本集合：

集合	作用	来源
暂停短语集合 $P$	决定什么时候触发	视觉存在敏感，但具体内容依赖较弱的位置
Lookback 模板集合 $L$	决定触发后插入什么	正确轨迹中真实图依赖很强的位置

7.1 暂停短语集合 $P$

补充材料中使用的经验条件是：

$$\left|{\Delta }_{\text{presence}}\right|>5$$

并且：

$$\left|{\Delta }_{\text{content}}\right|<2$$

作者在这些位置附近抽取长度为 2～5 的 n-gram，例如：

• I need to check；
• wait, let me；
• I should verify；
• let me reconsider；
• hold on。

再经过频率过滤、特异性过滤、已有不确定性标记补充和人工检查，最终得到：

$$|P|=55$$

7.2 Lookback 模板集合 $L$

作者在正确轨迹中寻找：

$${\Delta }_{\text{content}}<-8$$

即真实图片显著降低 token PPL 的位置，再抽取对应句子并模板化：

• 将 diagram、chart、image 等替换为统一视觉引用；
• 将具体对象替换为通用实体；
• 使用编辑距离合并相似句式；
• 最后进行人工语法调整。

最终得到：

$$|L|=23$$

典型模板包括：

• Looking back at the image...
• Let me re-examine the figure...
• Returning to the diagram...
• Checking the image again...

这些阈值是在 MMMU-val 的保留数据上经验调节的，计算前还使用了三步移动平均和轨迹内标准化。因此，它们不是可以直接迁移到所有模型和任务上的理论常数。

7.3 在线推理流程

离线阶段完成短语和模板挖掘后，在线推理不再需要逐 token 计算三种 PPL，而只需要执行 n-gram 匹配：

$$\text{正常生成 CoT}\to \text{检测暂停短语}\to \text{插入 Lookback 模板}\to \text{继续生成}$$

为了避免控制器频繁打断推理，作者设置了两个限制：

• 同一个思考窗口内最多触发一次；
• 模型进入最终答案阶段后停止触发。

这一步的本质，是用一句自然语言提示改变后续 token 的生成条件：

模型本来可能继续沿着纯文本推理，现在被显式要求重新参考图片。

但是，它并没有修改模型内部结构，也没有强制指定模型应该关注哪个视觉区域。

---

八、Parallel Lookback Sampling：同时探索多个视觉分支

普通 Lookback 只生成一条后续轨迹。为了提高找到正确视觉路径的概率，作者又提出 Parallel Lookback Sampling。

当 Lookback 被触发时：

1. 插入一条 Lookback 模板；
2. 并行采样多个短分支；
3. 分别在真实图与噪声图条件下计算分支损失；
4. 选择更依赖真实图片的分支；
5. 从该分支继续生成最终答案。

如果用 ${\ell }_R$ 和 ${\ell }_N$ 表示真实图、噪声图条件下的 token 负对数似然，那么视觉帮助分数可以直观理解为：

$$S_b=\frac{1}{H}\sum _{s=t}^{t+H}\left({\ell }_N^{(b)}(s)-{\ell }_R^{(b)}(s)\right)$$

当 $S_b$ 较大时，说明真实图相对噪声图更明显地降低了该分支的预测损失。

但这里选择的是：

视觉依赖更强的分支。

它并不等价于：

一定正确的分支。

模型可能高度依赖图片，却依然选择了错误区域、读错数字或使用了错误公式。

---

九、实验结果：准确率提高，输出 token 反而减少

论文在 Qwen3-VL Thinking 模型上的 MMMU-val 总体结果如下。表中 token 使用量以原始 Thinking 模式为 100%。

模型	原始 Thinking	Lookback	Lookback + Sampling
Qwen3-VL-4B	67.0 / 100%	69.7 / 57.2%	73.0 / 59.5%
Qwen3-VL-8B	70.3 / 100%	73.0 / 62.1%	74.2 / 63.0%
Qwen3-VL-32B	75.3 / 100%	81.7 / 66.2%	79.2 / 70.3%

表中格式为：

$$\text{准确率}/\text{相对输出 token 使用量}$$

可以看到：

• 普通 Lookback 提高 2.7～6.4 个百分点；
• 输出 token 减少约 33.8%～42.8%；
• 4B 与 8B 模型可以进一步从并行采样中获益；
• 32B 上普通 Lookback 比 Lookback + Sampling 更强；
• 更多分支并不必然带来更好的最终答案；
• 单个专业类别的最高增益达到 9.3 个百分点。

为什么插入额外提示后，输出 token 反而减少？

一种合理解释是，Lookback 在关键位置帮助模型重新获得视觉证据，减少了后续无效的摇摆、自我纠正和错误展开。它增加了少量提示 token，却可能截断一大段 Long-wrong 推理。

9.1 跨数据集结果

作者还在五个额外基准上验证了 Qwen3-VL Thinking。下表列出原始模型与表现最好的 Lookback 变体：

模型	MMBench	MMStar	MathVista	MathVision	MathVerse
4B Original	86.7	73.2	79.5	60.0	75.2
4B Best Lookback	89.5	75.7	85.0	65.5	78.7
8B Original	87.5	75.3	77.2	62.7	77.7
8B Best Lookback	89.8	79.6	79.7	68.3	79.9
32B Original	90.8	79.4	83.8	70.2	82.6
32B Best Lookback	93.9	82.5	85.9	73.3	84.7

Lookback 在通用多模态基准和视觉数学基准上都保持正向收益，其中数学与多步视觉推理任务的提升通常更加明显。

9.2 固定周期插入为什么会下降？

消融实验表明，固定间隔强行插入 Lookback 的效果明显弱于不确定性触发，部分设置甚至低于原始 Thinking。

原因是，模型并不是每隔固定数量的 token 就需要看一次图片。错误时机的提示可能：

• 打断本来正确的计算过程；
• 破坏推理语义连续性；
• 让模型重复读取已经确认的信息；
• 引入新的视觉误读。

因此，论文验证的不是：

多看图片一定更好。

而是：

在正确的位置重新看图片，才可能真正改善推理。

---

十、如何准确理解“training-free”？

论文将方法称为 training-free，因为它：

• 不更新 LVLM 参数；
• 不进行 SFT；
• 不训练 Reward Model；
• 不训练新的神经网络控制器。

但它仍然需要：

• 使用 200 道 MMMU-val 问题挖掘短语；
• 使用额外数据调节阈值；
• 计算真实图、噪声图和无图条件下的 PPL；
• 对短语和模板进行人工筛选与修改。

所以更准确的表述是：

这是一个无参数训练、但需要离线数据分析与校准的解码控制方法。

它的部署成本仍然远低于重新训练模型，但不能理解为对任意新模型都可以零数据、零配置直接使用。

---

十一、方法局限

11.1 词法触发无法识别 Quiet-wrong

如果模型快速、自信地给出错误答案，没有生成任何犹豫词，暂停短语控制器就不会触发。

11.2 插入文字不保证关注正确区域

“Looking back at the image” 只是一条语言提示。模型仍然依赖原有 Attention 自行决定看哪里，并没有显式选择相关 patch 或 region。

11.3 PPL 不是完整的不确定性

论文计算的是已生成 token 的条件概率，而不是完整词表分布的熵，也不能直接等价为模型对答案的置信度。

11.4 ${\Delta }_{\text{content}}\approx 0$ 不代表图片完全没用

因为当前 token 的条件中已经包含 $y_{<s}$。如果前文已经将图片信息写入文本，例如：

The highest bar is the blue bar at 42%.

那么后续生成答案 C 时，即使移除图片也可能几乎不改变 token 概率。此时图片仍然是整条推理的信息来源，只是不再对当前 token 产生额外的直接作用。

11.5 高斯噪声不是完美反事实

噪声图可能属于视觉编码器的分布外输入。因此，真实图与噪声图的差异中，也可能混入正常图片与异常噪声之间的分布差异。

11.6 视觉依赖不等于答案正确

模型可能非常依赖图片，但依然：

• 看错颜色；
• 数错目标；
• 读取错误区域；
• 正确读图后使用错误公式。

11.7 token 节省不等于同等比例的算力节省

Parallel Sampling、真实图与噪声图的额外前向计算都会带来延迟和显存开销。因此，报告“减少 40% token”不能直接理解为 GPU 成本下降 40%。

11.8 对闭源模型的适配受限

离线视觉敏感度探针和分支评分需要 token-level log-probabilities。许多闭源 API 不提供这些信息，因此完整方法更适合可访问内部概率的开源模型。

---

十二、对动态视觉重检索研究的启发

这篇论文与我当前思考的“根据文本状态重新查看原始视觉 token”非常相关。

论文证明了一个重要现象：

$$\text{成功的多模态推理}\ne \text{只在输入阶段融合一次视觉信息}$$

它更可能需要：

$$q_t\to \text{重新访问视觉证据}\to q_{t+1}\to \text{再次访问视觉证据}$$

其中，$q_t$ 表示当前文本推理状态。

12.1 论文的 Lookback 仍然是语言层控制

论文只是插入：

Looking back at the image…

它希望这句话通过普通自回归 Attention 间接改变模型的视觉关注，但没有显式保证：

• 模型真的重新访问了原始视觉 token；
• 模型关注到了与当前问题相关的 patch；
• 回看得到的视觉信息被有效写入当前文本状态。

12.2 将 Lookback 结构化为动态视觉再访问

设原始视觉编码器输出为：

V 0 = { v 1 , v 2 , … , v N } V_0= \{v_1,v_2,\ldots,v_N\} V0​={v1​,v2​,…,vN​}

当前文本推理状态为 $q_t$。可以根据当前文本状态动态构造新的视觉 Query：

$$Q_t=f_q(q_t,V_0)$$

再重新对原始视觉 token 执行 Cross-Attention：

$$A_t=\mathrm{softmax}\left(\frac{Q_t{K}_0^{\top }}{\sqrt{d}}\right)V_0$$

随后使用动态 Gate 控制视觉信息写回文本状态：

$$q_t^{\prime }=q_t+g_t\odot \mathrm{FFN}(A_t)$$

其中：

• $V_0$ 是未被后续语言推理覆盖的原始视觉记忆；
• $Q_t$ 由当前文本状态决定本次需要检索什么；
• $A_t$ 是重新读取到的局部视觉证据；
• $g_t$ 由当前文本状态与视觉证据动态生成，而不是固定参数；
• $g_t$ 决定当前是否需要写入新的视觉信息，以及写入强度。

二者可以形成如下对应：

论文方法	动态视觉再访问方案
暂停短语 $P$	学习得到的动态 Gate
插入 Lookback 文本	使用 $q_t$ 构造新的视觉 Query
原模型自行重新关注图片	显式 Cross-Attention 原始视觉 token
无法保证查看正确区域	Top-K patch、region 或稀疏视觉检索
${\Delta }_{\text{content}}$	检验模块是否真正增强视觉依赖
Parallel Sampling	测试时多分支搜索或 Verifier

12.3 可以怎样设计实验？

如果沿着这一方向继续，可以设置以下基线：

实验组	目的
原始 Qwen-VL Thinking	基础性能
固定间隔视觉回看	验证“多看”是否足够
词法 Lookback	复现论文的解码控制
动态 Gate + 全量视觉 token	验证按需重看机制
动态 Gate + Top-K patch	验证局部视觉检索
Oracle trigger	估计理想触发位置的性能上限

除了准确率，还应该统计：

• 平均输出 token；
• 实际推理时延；
• GPU 显存与 FLOPs；
• 每题触发次数；
• Gate 在 Easy、Medium、Hard 问题上的分布；
• 重看前后的 ${\Delta }_{\text{content}}$ 变化；
• Top-K patch 是否覆盖正确区域；
• Long-wrong 与 Quiet-wrong 的错误占比。

关键消融实验可以包括：

1. 是否使用 Gate；
2. Gate 只依赖文本，还是同时依赖文本与视觉；
3. 回看原始视觉 token，还是回看已经融合过的视觉状态；
4. 使用全部 patch，还是只使用 Top-K patch；
5. 在浅层、中层或深层插入视觉重检索模块；
6. 每道题允许回看一次还是多次；
7. 是否对 Quiet-wrong 增加非词法不确定性检测。

这篇论文因此可以作为该方向的重要现象依据：

长视觉推理失败的关键原因，可能不是思维链不够长，而是推理过程中没有持续、按需地重新访问原始视觉证据。

---

十三、总结

这篇论文围绕“Thinking 是否真的改善视觉推理”进行了系统分析，得到四个重要结论：

1. Thinking 整体有效，但收益强烈依赖任务类型、模型容量和采样预算；
2. 思维链更长不等于推理更可靠，错误轨迹可能比正确轨迹还长；
3. 正确视觉推理往往需要在推理过程中多次、局部地重新依赖图片；
4. 与固定周期回看相比，在不确定位置触发 Lookback 才更有效。

Uncertainty-Guided Lookback 使用暂停短语检测推理漂移，再插入视觉回看提示。它不修改模型参数，却能同时提升准确率并减少无效输出 token。

不过，论文的方法仍然停留在语言提示层面。它告诉模型“重新看图”，却没有从模型结构上保证它重新访问了正确的视觉区域。

因此，这篇论文真正留下的研究空间是：

$$\text{文本提示式 Lookback}\to \text{模型内部的动态视觉重检索}$$

也就是说，不只是让模型说一句“我再看一下图片”，而是根据当前文本推理状态，显式构造新的视觉 Query，重新访问原始视觉 token，并只将当前真正需要的视觉证据写回推理状态。

这可能比单纯延长 CoT 更接近多模态推理的核心：

不是想得越久越好，而是在正确的时刻，重新看向正确的地方。

---

参考资料

1. When to Think and When to Look: Uncertainty-Guided Lookback（arXiv）
2. CVPR 2026 Open Access 论文页
3. 论文 PDF
4. Supplementary Material