CVPR新作Anomize技术解析：如何用大语言模型提升视频异常检测的智能水平

想象一下，当你走在深夜的街道上，监控摄像头如何判断身后的人是正常同行还是可疑尾随？又或者，高速公路上的摄像头如何区分一个人在应急车道上奔跑还是正常行走？这些看似简单的场景背后，隐藏着计算机视觉领域最具挑战性的问题之一——视频异常检测。

传统方法往往受限于预定义的异常类别，而现实世界中异常行为千变万化。CVPR 2025的最新研究Anomize提出了一种开放词汇的视频异常检测框架，巧妙结合了GPT-4的语言理解能力和CLIP的跨模态对齐特性，让系统能够理解并检测从未见过的异常行为。本文将深入浅出地解析这项技术的核心创新与实现细节。

1. 双流机制：理解视频中的时间与空间线索

视频分析的核心挑战在于同时捕捉时间动态和空间静态信息。Anomize的创新之处在于设计了并行的双流处理架构，分别针对这两种不同类型的视觉线索。

1.1 动态流：捕捉行为的时间模式

动态流专注于分析视频中的时序变化，适合检测那些需要通过多帧观察才能识别的异常行为。例如：

• 尾随行为：需要观察两个人是否长时间保持相同运动轨迹
• 徘徊行为：需要判断一个人是否在特定区域反复移动
• 突然加速：需要对比前后帧的运动速度变化

技术实现上，动态流采用轻量级LSTM网络处理CLIP提取的帧特征。与传统的3D卷积相比，LSTM具有以下优势：

方法	参数量	计算成本	时序建模能力
3D卷积	高	高	中等
LSTM	低	低	强

提示：轻量化的时序模块设计避免了在小规模异常检测数据集上的过拟合问题，这对开放词汇场景尤为重要。

1.2 静态流：分析场景的环境上下文

静态流则专注于单帧内的视觉元素，适合检测那些主要依赖场景信息的异常。典型例子包括：

• 高速公路上的奔跑者：异常点在于"奔跑"与"高速公路"场景的不匹配
• 商场里的滑板运动：异常来自"滑板"与"室内"环境的冲突
• 银行内的面具佩戴：异常体现在面部遮挡与金融场所的组合

静态流直接使用CLIP提取的单帧特征，无需额外的时序处理模块。这种设计基于一个重要观察：许多异常行为的识别不需要复杂的时间分析，仅凭单帧的场景-行为矛盾即可判断。

2. 文本增强：大语言模型如何赋能视觉理解

Anomize最具突破性的创新是引入GPT-4生成的文本描述来增强视觉特征。这种方法的核心思想是：用语言模型对异常行为的知识来弥补视觉模型在少见类别上的不足。

2.1 动态流的文本增强策略

对于依赖时序的异常行为，系统需要生成详细的文本描述来捕捉时间维度上的异常特征。具体实现分为三步：

1. 类别分组：使用GPT-4将异常标签按视觉相似性聚类

   # 示例Prompt
   "将以下异常行为按视觉相似性分组：\
   1. 尾随 2. 徘徊 3. 打砸抢 4. 跌倒 5. 打架\
   输出分组结果及每组的共同特征"
   

2. 描述生成：为每个类别生成50-70词的详细描述

   # 示例Prompt
   "为'尾随行为'生成一段详细的视觉描述，\
   重点刻画两人之间的时空关系特征，约60词"
   

3. 特征提取：将描述文本输入CLIP获取文本嵌入

这种方法产生的文本特征能够捕捉到异常行为的动态本质。例如，对"尾随"生成的描述可能包含： "两个人保持固定距离移动，后者刻意模仿前者的路径变化，这种运动模式在非熟人关系中显得可疑..."

2.2 静态流的概念库构建

对于场景相关的异常，系统采用短语级的概念库而非长文本描述。构建过程如下：

1. 短语生成：用GPT-4为每个异常类别生成相关名词短语

   # 示例输出
   "高速公路奔跑" → ["紧急车道","高速移动","危险行为","违规行人"]
   

2. 特征库构建：将所有短语通过CLIP编码并存储为可检索的概念库

这种设计背后的直觉是：静态异常往往由场景与行为的简单冲突构成，不需要复杂的时间描述。短语库提供了更灵活、更细粒度的场景特征匹配。

3. 特征融合与异常评分

双流架构产生的视觉特征需要与文本特征有效融合，才能实现准确的异常检测和分类。Anomize在这方面提出了创新性的解决方案。

3.1 多头注意力融合机制

系统使用多头注意力(MHA)让文本特征"注意"相关的视觉特征。具体操作流程：

1. 将视觉特征作为Query，文本特征作为Key和Value
2. 计算注意力权重并生成增强后的特征
3. 将原始视觉特征与增强特征拼接后通过MLP融合

# 伪代码示例
class FeatureAugmenter(nn.Module):
    def __init__(self):
        self.mha = MultiHeadAttention(d_model=512, n_heads=8)
        self.mlp = nn.Sequential(
            nn.Linear(1024, 512),
            nn.ReLU()
        )
    
    def forward(self, visual_feat, text_feat):
        attended = self.mha(visual_feat, text_feat, text_feat)
        combined = torch.cat([visual_feat, attended], dim=-1)
        return self.mlp(combined)

这种设计允许模型自适应地选择最相关的文本信息来增强视觉特征，对于开放词汇场景尤为重要。

3.2 异常评分与分类

Anomize采用两阶段策略进行异常判断：

异常检测阶段：

• 动态流分数：测量时序特征与异常描述的匹配度
• 静态流分数：评估场景特征与异常概念的冲突程度
• 综合分数：加权结合双流分数

异常分类阶段：

1. 计算增强特征与各类别文本描述的余弦相似度
2. 采用Top-M策略聚合帧级预测为视频级分类
   • 对每类选取相似度最高的M帧
   • 计算平均相似度并通过sigmoid激活
   • 取最高得分作为最终类别

下表对比了传统方法与Anomize的分类策略差异：

方法	类别灵活性	新类别适应性	解释性
传统softmax	固定类别	需重新训练	弱
Anomize文本匹配	开放词汇	即时适应	强

4. 训练策略与实战效果

Anomize采用分阶段训练策略，确保双任务（检测与分类）的协同优化。

4.1 两阶段训练流程

第一阶段 - 分类任务训练：

• 冻结检测相关参数
• 使用三元组损失+交叉熵损失

  loss = triplet_loss(anchor, positive, negative) + CE_loss(logits, labels)
  

第二阶段 - 检测任务训练：

• 冻结分类相关参数
• 使用改进的MIL损失（X-MIL）

  # 动态流与静态流损失加权和
  loss = alpha * D_MIL + (1-alpha) * S_MIL
  

这种交替训练策略避免了多任务学习的优化冲突，实验显示比联合训练提升约15%的准确率。

4.2 实际应用中的技巧

基于论文结果和计算机视觉最佳实践，我们总结了几点实用建议：

1. Prompt工程：

   • 为GPT-4提供明确的视觉描述要求
   • 示例："描述应聚焦可观察的视觉特征，避免主观推断"

2. 概念库优化：

   • 平衡短语的覆盖率和特异性
   • 定期用新异常案例更新短语库

3. 阈值调优：

   • 根据应用场景调整异常分数阈值
   • 高安全需求场景可使用动态阈值

4. 计算效率：

   • 对静态流采用近似最近邻搜索加速概念检索
   • 对动态流使用缓存机制避免重复文本编码

在实际部署中，Anomize相比传统方法展现出显著优势。例如，在某商场安防测试中，它对新型异常行为（如"伪装清洁工行窃"）的检测率达到82%，而传统方法仅为47%。这种提升主要来自文本增强带来的语义理解能力。