【脑机接口】迁移学习 & 域自适应 & 自监督 & EEG 大模型术语解释(第9弹)
266.迁移学习 TL:迁移学习是把一个场景中学到的知识迁移到另一个相关场景中的方法。在 EEG 中,源域通常是已有被试、已有会话或已有数据集,目标域通常是新被试、新会话或小样本数据。它的核心目的,是减少目标被试需要采集的校准数据。比如先用很多旧被试训练一个模型,再用新被试少量样本微调,这就是典型的 EEG 迁移学习。
267.域自适应:域自适应是迁移学习中的一个重要方向,目标是缩小源域和目标域之间的数据分布差异。在 EEG 中,不同被试、不同采集时间、不同设备状态都会导致信号分布变化。域自适应方法会通过特征对齐、分布匹配、对抗训练等方式,让模型提取到更不受被试差异影响的特征。它通常需要目标域数据,但目标域数据不一定必须有标签。
268.源域 / 目标域:源域是已有数据较多、模型主要学习知识的域。目标域是模型最终要应用的域,通常数据更少,甚至没有标签。在 BCI 中,源域可以是多个旧被试的数据,目标域可以是一个新被试的数据。源域和目标域的任务可以相同,例如都是左右手运动想象分类;也可以相关但不完全相同。
269.域偏移:域偏移是指源域和目标域的数据分布不一致。EEG 中域偏移非常常见,因为不同被试的脑电幅值、节律频率、空间分布、噪声水平都可能不同。同一个被试在不同天采集的数据也可能发生偏移。域偏移会导致模型在训练集上效果好,但换到新被试或新会话后性能下降。
270.域泛化:域泛化是指模型在训练时只使用源域数据,测试时直接应用到从未见过的目标域,不依赖目标域微调。它比普通域自适应更困难,因为训练阶段没有目标域数据可用。在 EEG 中,域泛化希望模型学到跨被试、跨会话都稳定的特征。实际应用中,域泛化对新用户免校准 BCI 很重要,但难度很高。
271.对抗域自适应:对抗域自适应是用对抗训练减少域差异的方法。模型通常包含特征提取器、任务分类器和域判别器。特征提取器一方面要让任务分类器正确识别类别,另一方面要让域判别器分不清样本来自哪个被试或哪个会话。这样训练后得到的特征更接近域无关特征。
272.域判别器:域判别器是用来判断样本属于哪个域的网络模块。域可以是不同被试、不同会话、不同设备或不同数据集。在对抗域自适应中,域判别器越能准确识别域来源,说明源域和目标域差异越明显。特征提取器的目标通常是“欺骗”域判别器,使提取出的特征不再明显携带域信息。
273.特征对齐:特征对齐是让源域和目标域在特征空间中的分布更加接近。它不一定要求原始 EEG 信号完全相似,而是希望经过模型提取后的特征具有可比性。常见做法包括均值对齐、协方差对齐、MMD 距离约束、对抗训练和流形空间对齐。特征对齐可以减轻被试差异对分类器的影响。
274.特征矩匹配:特征矩匹配是通过匹配统计量来减少不同域之间分布差异的方法。最常见的是匹配均值和方差,也可以匹配协方差或更高阶统计量。在 EEG 中,如果源被试和目标被试的特征中心、离散程度差异很大,分类边界就容易失效。特征矩匹配的作用是让不同域的特征分布在统计层面更接近。
275.自监督学习:自监督学习是一种不依赖人工标签的表示学习方法。它通过设计预训练任务,让模型从 EEG 数据本身学习结构信息。比如让模型预测被遮挡的时间片段、判断两个片段是否来自同一个试次、补全缺失通道等。自监督学习适合 EEG,因为 EEG 标注成本高,但无标注数据相对更容易积累。
276.pretext 自监督预训练任务:pretext task 是自监督学习中的预训练任务,也叫代理任务。它不是最终分类任务,而是为了让模型学到有用表示而设计的任务。在 EEG 中,常见 pretext task 包括时序片段排序、未来信号预测、通道补全、掩码重建、频段预测和增强视图匹配。预训练完成后,模型再迁移到 MI、SSVEP、睡眠分期等下游任务。
277.掩码时序建模:掩码时序建模是把 EEG 序列中的一部分时间片段遮挡起来,让模型根据上下文预测或重建被遮挡部分。它的思想类似语言模型中的 masked modeling,但输入变成连续脑电信号。通过这个过程,模型可以学习 EEG 的时间连续性、节律结构和上下文关系。它常用于自监督预训练。
278.通道掩码补全:通道掩码补全是把部分 EEG 电极通道遮挡,让模型根据其他通道的信息恢复被遮挡通道。这个任务可以迫使模型学习通道之间的空间相关性。比如枕叶附近通道之间通常存在一定相关,运动区附近通道在 MI 任务中也有特定关系。通道掩码补全适合训练空间建模能力较强的 EEG 表征模型。
279.对比学习:对比学习是一种通过比较样本相似性来学习特征的方法。它通常会构造正样本对和负样本对,使模型拉近正样本特征距离,拉远负样本特征距离。在 EEG 中,正样本可以来自同一试次的不同增强视图,也可以来自同一类别样本;负样本可以来自不同类别或不同试次。对比学习可以在少标签或无标签条件下学习较稳定的特征表示。
280.动量对比学习:动量对比学习是一类改进的对比学习方法,典型思想是使用一个动量更新的教师编码器来生成稳定特征。教师模型参数不是通过普通反向传播直接更新,而是由学生模型参数按动量方式缓慢更新。这样可以减少表示剧烈变化,提高对比学习稳定性。在 EEG 中,动量对比学习可以用于无标注预训练,但需要合理设计数据增强方式。
281.元学习 / 少样本学习:元学习的目标是让模型学会如何快速适应新任务。少样本学习强调在每类只有少量标注样本时仍能完成分类。在 EEG 中,它常用于新被试适配,因为新被试通常不能采集大量校准数据。元学习会在多个源被试或多个任务上训练模型,使模型遇到新被试时只需要少量样本就能调整分类边界。
282.零样本学习:零样本学习是指目标类别或目标域没有标注样本时,模型仍然尝试完成识别。放在 EEG 中,可以理解为没有新被试标注数据时直接进行解码。严格意义上的 EEG 零样本学习很难,因为脑电个体差异大,而且类别语义不像自然语言或图像那样容易描述。实际论文中如果使用“零样本”,需要看清楚它是否真的没有任何目标域标注或校准信息。
283.原型学习:原型学习是为每个类别学习一个代表性特征中心,也就是类别原型。测试样本会被分到距离最近的原型类别。它适合少样本学习,因为每类只需要少量样本就可以估计原型。在 EEG 中,原型可以表示某类运动想象、某个 SSVEP 目标或某类认知状态的特征中心。原型学习的效果依赖特征空间是否足够可分。
284.类别漂移:类别漂移是指同一个类别在不同被试、不同会话或不同时间中的特征中心发生变化。比如同样是左手运动想象,被试 A 的特征可能集中在一个区域,被试 B 的特征中心可能偏移到另一个区域。类别漂移会让源域训练出的分类边界在目标域失效。迁移学习和域自适应经常需要处理这种问题。
285.知识蒸馏:知识蒸馏是把大模型或复杂模型中的知识迁移到小模型中的方法。大模型通常作为教师模型,小模型作为学生模型。学生模型不仅学习真实标签,还学习教师模型输出的概率分布、特征表示或中间层关系。在 EEG 中,知识蒸馏常用于模型轻量化,使小模型在保持较好精度的同时适合在线 BCI 部署。
286.教师模型 / 学生模型:教师模型是蒸馏过程中性能较强、结构通常更复杂的模型。学生模型是需要部署或压缩的轻量模型。训练时,学生模型会模仿教师模型的输出分布或中间特征。对于 BCI,教师模型可以是多分支网络、Transformer 或集成模型,学生模型可以是更小的 CNN 或轻量化时序网络。
287.软标签 / 硬标签:硬标签是普通分类任务中的离散标签,例如左手类别记为 1,右手类别记为 0。软标签是模型输出的概率分布,例如某个样本属于左手的概率为 0.75,属于右手的概率为 0.25。软标签包含类别间相似性信息,比硬标签提供的信息更细。在知识蒸馏中,学生模型学习软标签可以更接近教师模型的判断方式。
288.模型微调 Fine-tuning:模型微调是指在预训练模型基础上,用目标任务或目标被试的数据继续训练。对于 EEG,常见做法是先用大量源被试数据训练模型,再用新被试少量数据微调。微调可以让模型适应新被试的信号分布。需要注意的是,小样本微调容易过拟合,所以常配合低学习率、冻结部分层或正则化方法。
289.冻结骨干网络:冻结骨干网络是指固定预训练模型中主要特征提取层的参数,只训练后面的分类头或少量新加层。这样可以保留预训练阶段学到的通用特征,同时减少小样本训练中的参数更新量。在 EEG 中,如果目标被试数据很少,冻结骨干网络可以降低过拟合风险。缺点是适应能力有限,无法充分调整底层特征。
290.部分参数微调:部分参数微调是只解冻模型中的一部分参数进行训练。比如只微调最后几层、归一化层、注意力层,或者只训练新增的适配模块。它比完全冻结更灵活,比全参数微调更稳健。对于 EEG 小样本迁移,部分参数微调常用于平衡适配能力和过拟合风险。
291.提示学习 Prompt:提示学习原本来自自然语言处理,是通过加入提示信息来引导预训练模型适配新任务的方法。在 EEG 中,Prompt 通常不是自然语言句子,而是可学习的向量、任务标识、被试标识或条件嵌入。它的作用是让模型在不大幅改变原始参数的情况下适配新任务或新被试。EEG 提示学习仍属于较新的方向,具体形式还没有完全统一。
292.软提示 / 硬提示:硬提示是固定的、人工设计的提示信息。软提示是可学习的连续向量,由模型在训练过程中自动优化。在 EEG 中,硬提示可以是固定任务标记或被试标记,软提示可以是一组可训练的嵌入向量。软提示更灵活,但可解释性通常较弱。硬提示更直观,但表达能力有限。
293.PEFT 参数高效微调:PEFT 是 Parameter-Efficient Fine-Tuning 的缩写,意思是参数高效微调。它不是更新整个大模型,而是只训练少量新增参数或少量指定参数。常见思想包括 Adapter、LoRA、Prefix Tuning、Prompt Tuning 等。在 EEG 大模型或预训练模型中,PEFT 可以减少训练成本,降低小样本过拟合风险,也更适合多被试、多任务快速适配。
294.EEG 基座大模型:EEG 基座大模型是指使用大量、多来源、多范式 EEG 数据预训练得到的通用模型。它的目标是学习较通用的脑电表征,再迁移到 MI、SSVEP、ERP、睡眠分期、情绪识别等下游任务。这个概念还在发展中,不像语言大模型那样已经形成完全统一的标准。EEG 数据存在设备差异、通道差异、任务差异和个体差异,所以构建真正通用的 EEG 基座模型难度很高。
295.通用特征表征:通用特征表征是指在不同被试、不同任务或不同采集条件下仍然有用的底层 EEG 特征。它不应该只记住某一个被试的幅值模式,也不应该只适用于某一次实验。理想的通用表征应包含稳定的时序结构、频率节律、空间相关性和任务相关脑电模式。迁移学习、自监督学习和 EEG 基座模型的共同目标之一,就是获得更可靠的通用特征表征。
================================说明======================================
个人观点仅供参考,请勿抄袭
更多推荐


所有评论(0)