1. 机器学习表示分析的新维度：几何稳定性深度解析

在深度学习模型的表示空间中，我们常常关注两个关键问题：模型学到了什么（相似性），以及学到的结构有多可靠（稳定性）。传统表示分析主要聚焦于相似性度量，如CKA（Centered Kernel Alignment）和RSA（Representational Similarity Analysis），它们通过比较不同模型表示之间的对齐程度来评估模型性能。然而，这种相似性分析存在一个根本性盲点——它只能告诉我们模型表示了什么，却无法揭示这些表示在扰动下的稳健性。

想象你正在评估两个建筑模型：从外观上看它们可能完全相同（高相似性），但当遭遇地震时，一个可能巍然不动，另一个却轰然倒塌。这种"结构可靠性"的差异正是几何稳定性所要捕捉的本质。几何稳定性量化了表示空间中的内在几何关系在面对输入扰动、特征子集采样或上下文变化时的保持能力，它反映的是表示空间的"抗震性能"而非"外观相似度"。

1.1 相似性与稳定性的本质区别

相似性度量 （如CKA）的核心思想是评估两个表示空间之间的对应关系。它们通过比较模型内部激活模式的相似程度，回答"模型A和模型B是否以相同的方式理解数据"这一问题。这类方法在模型比较、迁移学习评估等场景中表现出色，但其存在三个固有局限：

1. 对外部参考的依赖性：需要另一个模型或基准作为比较对象
2. 对主导子空间的偏重：主要反映前几个主成分的匹配情况
3. 静态视角：无法捕捉表示动态变化时的行为特征

几何稳定性 则采用完全不同的视角。以Shesha框架为例，它通过以下方式量化表示的内部一致性：

1. 特征分割法（Shesha-FS）：将特征随机分为两组，比较两组特征生成的表示相似度矩阵（RDM）的相关性
2. 样本分割法（Shesha-SS）：在不同数据子集上评估表示结构的保持程度
3. 监督稳定性（Shesha-Sup）：当任务标签可用时，评估任务相关几何结构的鲁棒性

关键发现：在大规模实验中（7个领域/2,463种配置），几何稳定性与相似性度量的平均相关系数仅为0.01，证明它们是表征表示空间的两个正交维度。就像血压和体温反映人体健康的不同方面，二者缺一不可。

1.2 为什么传统方法会忽略稳定性？

现有表示分析工具的发展路径导致了这种"稳定性盲区"。早期的神经网络研究主要关注：

• 表示内容（What）：通过探针、可视化等方法理解神经元响应特性
• 迁移性能（Transferability）：评估预训练特征在下游任务的表现
• 架构比较（Architecture Comparison）：分析不同模型学习表示的相似性

这些需求催生了相似性度量工具的繁荣，却鲜有方法系统性地评估表示的动态鲁棒性。直到大模型时代，以下问题才凸显出稳定性的关键价值：

1. 微调灾难：模型在微调后表现大幅波动
2. 提示脆弱性：微小提示词变化导致输出质量剧烈波动
3. 安全监控：需要早期预警表示空间的潜在退化

# 伪代码：传统相似性度量 vs Shesha稳定性评估
def CKA(X, Y):
    # 计算两个表示矩阵的相似性
    HSIC = compute_HSIC(X, Y)
    norm_X = compute_HSIC(X, X)
    norm_Y = compute_HSIC(Y, Y)
    return HSIC / (norm_X * norm_Y)**0.5

def Shesha_FS(X):
    # 单表示矩阵的稳定性评估
    feat1, feat2 = random_split(X.features)
    RDM1 = compute_RDM(X[:, feat1])
    RDM2 = compute_RDM(X[:, feat2])
    return spearman(RDM1, RDM2)

2. Shesha框架的技术实现与验证

2.1 核心算法设计

Shesha框架的命名源自印度教中象征宇宙不变本质的神祇，其算法设计体现了三个关键创新：

2.1.1 自洽性评估架构

不同于比较两个独立系统的相似性，Shesha采用"自我参照"的设计理念：

1. 对同一表示系统生成多个扰动视图（通过特征/样本分割）
2. 为每个视图构建表示相似度矩阵（RDM）
3. 计算这些RDM之间的秩相关系数（Spearman）

这种方法将表示空间的内部一致性作为直接测量对象，避免了对外部参考的依赖。在数学上，给定表示矩阵X∈R^{n×d}：

1. 特征分割：随机划分特征维度d→d₁∪d₂
2. 计算RDM：D₁(i,j)=‖x_i[:d₁]-x_j[:d₁]‖²，D₂同理
3. 稳定性得分：ρ=rank_corr(vec(D₁), vec(D₂))

2.1.2 谱敏感性分析

通过系统性地删除主成分，研究发现：

• CKA等相似性度量在删除前1-3个主成分后迅速崩溃
• Shesha保持稳定直到删除约26个主成分
• 在k=30时，Shesha保留的信号强度是CKA的110倍

这表明传统方法主要捕捉表示空间的"骨架"结构，而Shesha对分布在谱尾部的精细几何特征保持敏感。

2.1.3 监督稳定性扩展

当标签信息可用时，Shesha-Sup通过以下方式增强评估：

1. 类条件分割：确保每个子集包含所有类别的样本
2. 任务相关RDM：使用类间距离而非样本间距离
3. 对齐评估：检查决策边界区域的几何一致性

这在控制性实验中显示出极高的预测力（ρ=0.89-0.96）。

2.2 实证验证结果

跨领域一致性测试 （7个领域/2,463配置）：

领域	模型数量	相关系数ρ	p值
语言	127	+0.03	0.77
视觉	129	-0.03	0.72
音频	64	-0.26	0.04
视频	128	-0.24	0.006
神经科学	846	+0.01	0.67
蛋白质	402	-0.36	<0.001
分子	767	+0.06	0.13

关键发现 ：

1. 蛋白质领域出现中度负相关，源于PCA压缩对小维数序列编码器的特殊影响
2. 神经科学（最大样本量）显示最接近零的相关（ρ=+0.01）
3. 随机投影等保距变换下二者高度相关（ρ≈0.9），证实方法有效性

3. 几何稳定性的实践价值

3.1 安全监控：几何"金丝雀"

在模型部署场景中，Shesha展现出独特的早期预警能力：

• 检测灵敏度 ：在Llama指令微调中，Shesha检测到的几何变化是CKA的5.23倍
• 误报控制 ：在性能下降<1%的稳定状态下，Procrustes的误报率是Shesha的6倍
• 预警时效 ：73%的案例中，Shesha比CKA更早检测到潜在风险

具体机制在于：

1. 指令微调导致表示空间的局部扭曲（如某些语义区域被压缩）
2. 这种扭曲可能暂不影响主导特征（CKA保持稳定）
3. 但精细结构变化已被Shesha捕获，预示未来可能的系统性崩溃

3.2 模型控制：稳定方可驾驭

线性控制（通过添加方向向量调整模型行为）的成功率与监督稳定性呈现惊人相关性：

实验设置	原始ρ	控制分离度后的ρ
合成数据	0.89	0.67
SST-2情感分析	0.96	0.76
MNLI推理	0.96	0.62

这揭示了一个关键洞见：类间可分性只是可控性的必要非充分条件，几何稳定性才是确保控制可靠性的关键。就像驾驶汽车，方向盘灵敏度（可分性）必须配合转向系统的机械稳定性（几何稳定性）才能实现精准控制。

3.3 跨领域应用案例

CRISPR扰动分析 ：

• 在811次基因扰动实验中，Shesha与转录效应大小的相关性达0.746-0.985
• 组合扰动比单基因敲除显示更高稳定性（0.54 vs 0.15）
• 识别出CEBPA（高效应/低稳定）和KLF1（低效应/高稳定）等特殊调控因子

神经表征漂移 ：

• 纹状体稳定性最高（0.44），海马最低（0.19）
• 与行为耦合的相关性达0.18（p=0.005），而时间漂移度量为0
• 揭示感觉区域（视觉皮层0.36）与运动系统的不同编码策略

4. 架构选择与训练启示

4.1 视觉架构的稳定性图谱

对94个视觉模型的系统评估发现：

1. DINOv2悖论 ：在CIFAR-100上迁移性能排名第1（LogME=1.36），稳定性却排第28/29（Shesha=0.27）
2. CLIP优势 ：在4/6数据集上显著优于自监督模型（p<0.05）
3. 层次结构价值 ：Swin等分层Transformer在3/6任务上优于柱状架构

// 典型稳定性模式对比
Model           LogME(rank) Shesha(rank)
------------------------------------------------
DINOv2         1.36 (1)    0.27 (28)
CLIP-ViT       1.20 (3)    0.68 (5)
EVA-02         1.18 (4)    0.72 (2)
Inception-v3   0.95 (12)   0.65 (7)

4.2 训练目标决定几何特性

对比实验显示：

1. 对比学习（如CLIP）比生成式目标（如MAE）产生更稳定的几何
2. 重建CLIP特征的EVA-02比重建像素的MAE稳定性高23%
3. 监督信号的存在将语言模型的操控成功率从0.35提升至0.96

这暗示了一个深层规律：训练目标定义的"相似性概念"直接塑造表示空间的几何形态。当目标与下游任务对齐时（如CLIP的图文匹配），自然产生更可控的几何结构。

5. 实施指南与未来方向

5.1 实践建议

对于不同应用场景：

1. 安全关键系统 ：采用Shesha+CKA双指标，设置3σ预警阈值
2. 模型选择 ：
   • 优先CLIP/EVA（稳定性）
   • 优先DINOv2/ResNet（迁移性）
3. 控制设计 ：检查Shesha-Sup>0.7作为可控性前提

工具链整合：

pip install shesha-geometry
from shesha import compute_stability

stability_score = compute_stability(
    model, 
    dataloader,
    variant='supervised'  # or 'feature_split'
)

5.2 开放问题

1. 谱截断策略：如何平衡计算效率与尾部特征保留
2. 动态监测：实时稳定性评估的轻量化方法
3. 理论连接：与泛化理论、不变性学习的深层联系

几何稳定性概念的引入，标志着机器学习表示分析从"静态相似"迈向"动态可靠"的新阶段。就像材料科学不仅关心成分分析，更要测试疲劳强度，这种多维评估范式将为构建更可靠的AI系统提供关键洞察。