1. 项目概述：合成蚊群音频数据集与深度学习分类研究

蚊子传播的疾病每年导致全球超过70万人死亡，传统的蚊虫监测方法依赖人工诱捕和实验室鉴定，效率低下且成本高昂。2015-2016年寨卡病毒爆发期间，这种滞后性直接加剧了疫情扩散。我们的研究提出了一种基于音频分析的创新解决方案——通过蚊子振翅声进行实时物种识别。

这项工作的核心突破在于开发了一套合成蚊群音频生成系统。与需要逐个录制蚊子的传统方法不同，我们通过算法模拟真实环境中多种蚊子同时出现的复杂声学场景。这种合成方法不仅大幅降低了数据采集的人力成本，还能生成传统手段难以获取的多物种重叠音频样本。

2. 技术方案设计思路

2.1 整体架构设计

系统采用端到端的深度学习架构，主要包含三个关键模块：

1. 音频预处理模块 ：将原始音频信号转换为适合神经网络处理的时频表示
2. 合成数据生成模块 ：通过算法组合单只蚊子录音，构建逼真的蚊群声学场景
3. 分类模型模块 ：轻量级神经网络实现实时物种识别

这种设计特别考虑了边缘设备的部署需求，整个流程可以在树莓派级别的硬件上实时运行。

2.2 关键技术选型考量

时频分析选择log-mel频谱图的原因 ：

• 相比原始波形：保留了关键频域特征，降低数据维度
• 相比普通频谱图：mel刻度更接近人耳听觉特性，对蚊子振翅声（通常在150-1000Hz）的表征更有效
• 相比MFCC：保留更多时域细节，更适合CNN处理

神经网络架构选型对比 ：

模型类型	参数量	优点	缺点
纯CNN (ResNet-18)	11M	计算效率高	忽略时序关系
CNN+RNN	1.2M	捕捉短时依赖	长程依赖弱
CNN+LSTM	1.5M	强时序建模	计算量稍大

最终选择CNN+LSTM混合架构，因其在保持较低参数量的同时，对蚊子振翅的周期性模式捕捉效果最佳。

3. 核心实现细节解析

3.1 合成蚊群音频生成技术

传统数据增强方法（如时移、音高调整）只能产生简单的变体，而我们的合成引擎模拟了真实蚊群的三个关键特征：

1. 密度变化 ：每段5秒音频包含3-7只随机组合的蚊子
2. 空间分布 ：通过增益控制（0.2-1.0）模拟不同距离的蚊子
3. 时间动态 ：随机时间偏移（0-3秒）避免同步振翅

具体生成公式：

def generate_swarm(individual_clips):
    swarm = np.zeros(5*16000) # 5秒@16kHz
    for clip in random.sample(individual_clips, k=random.randint(3,7)):
        gain = random.uniform(0.2, 1.0)
        offset = random.randint(0, 3*16000)
        clip_len = min(len(clip), len(swarm)-offset)
        swarm[offset:offset+clip_len] += gain * clip[:clip_len]
    return add_noise(swarm, SNR=random.randint(20,40))

关键技巧：增益控制在0.2-1.0区间时最接近真实场景，过高的增益会导致合成痕迹明显

3.2 梅尔频谱图计算流程

1. 预加重 ：应用一阶高通滤波器（系数0.97）提升高频分量
2. 分帧 ：25ms窗长，10ms帧移，平衡时间/频率分辨率
3. 加窗 ：使用汉宁窗减少频谱泄漏
4. FFT ：512点变换获取频谱
5. Mel滤波器组 ：128个三角滤波器，覆盖0-8kHz
6. 对数压缩 ：20*log10(amplitude)模拟人耳对数响应

import librosa

def compute_melspectrogram(audio, sr=16000):
    # 预加重
    audio = np.append(audio[0], audio[1:] - 0.97 * audio[:-1])
    # 计算mel频谱
    S = librosa.feature.melspectrogram(
        y=audio, sr=sr,
        n_fft=512, hop_length=160, win_length=400,
        n_mels=128, fmax=8000)
    # 转换为dB尺度
    return librosa.power_to_db(S, ref=np.max)

3.3 轻量级CNN+LSTM模型实现

模型采用双分支设计：

• CNN分支 ：处理频谱图的空域特征
• LSTM分支 ：建模时序动态

具体实现（PyTorch）：

class MosquitoNet(nn.Module):
    def __init__(self, num_classes=6):
        super().__init__()
        # CNN部分（轻量级ResNet变体）
        self.cnn = nn.Sequential(
            nn.Conv2d(1, 16, 3, padding=1),
            nn.BatchNorm2d(16),
            nn.ReLU(),
            nn.MaxPool2d(2),
            ResBlock(16, 32),
            ResBlock(32, 64),
            nn.AdaptiveAvgPool2d((1,1))
        )
        # LSTM部分
        self.lstm = nn.LSTM(
            input_size=128, hidden_size=64,
            num_layers=1, batch_first=True)
        # 分类头
        self.head = nn.Linear(64+64, num_classes)

    def forward(self, x):
        # x: [B, 1, 128, 128] 频谱图
        # CNN路径
        cnn_feat = self.cnn(x).squeeze()
        # 将频谱图切片作为时序输入
        time_slices = x.unfold(2, 16, 8) # [B,1,14,128,16]
        time_slices = time_slices.permute(0,2,1,3,4) # [B,14,1,128,16]
        B,T,C,H,W = time_slices.shape
        lstm_in = time_slices.reshape(B,T,-1) # [B,14,2048]
        lstm_out, _ = self.lstm(lstm_in)
        lstm_feat = lstm_out[:,-1,:]
        # 特征融合
        return torch.sigmoid(self.head(torch.cat([cnn_feat, lstm_feat],1)))

4. 实战部署与优化技巧

4.1 边缘设备部署方案

在树莓派4B上的优化策略：

1. 模型量化 ：FP32→INT8量化，模型大小减少4倍
2. 帧缓冲 ：5秒音频环形缓冲区，实现实时处理
3. 多线程 ：音频采集与模型推理分离

实测性能：

优化手段	延迟(ms)	内存(MB)	准确率
原始模型	420	280	92.1%
量化后	110	70	90.3%
+剪枝	85	50	89.7%

4.2 阈值调优经验

不同应用场景的最佳阈值：

• 疫情监测模式 ：τ=0.3（高召回，宁错勿漏）
• 学术研究模式 ：τ=0.5（平衡精确率与召回率）
• 设备调试模式 ：τ=0.7（低误报，确保阳性样本可靠）

我们发现阈值对少数类（如库蚊）影响更大：

τ=0.3时 Culex召回率：78%
τ=0.5时 Culex召回率：52% 
τ=0.7时 Culex召回率：23%

4.3 常见问题排查指南

问题1 ：模型在真实环境中误报率高

• 检查麦克风频响曲线（需覆盖150-1000Hz）
• 添加环境噪声库进行数据增强
• 验证合成数据SNR是否匹配实际场景（建议20-40dB）

问题2 ：LSTM推理速度慢

• 将多层LSTM改为单层
• 使用CNN-only模式作为fallback
• 尝试GRU替代LSTM

问题3 ：类别不平衡

• 采用focal loss替代BCE loss
• 合成数据中人为增加少数类样本
• 使用class-aware采样策略

5. 创新价值与应用前景

这项工作的核心突破在于：

1. 数据层面 ：首个支持多物种重叠检测的合成蚊群数据集
2. 方法层面 ：CNN+LSTM混合架构在边缘设备上的高效实现
3. 应用层面 ：验证了音频监测在热带病防控中的实用价值

我们在越南头顿市的实地测试表明，系统对埃及伊蚊（登革热主要媒介）的检出率达到83%，误报率低于15%。这种技术特别适合以下场景：

• 城市蚊虫密度实时监测网络
• 边境口岸病媒生物快速筛查
• 气候变化下的蚊媒分布变迁研究

未来改进方向包括：

• 加入注意力机制提升频谱关键区域聚焦
• 开发自适应阈值调整算法
• 探索基于迁移学习的跨地域模型适配

这套系统目前已在GitHub开源（项目地址见原文），包含完整的合成数据生成代码和预训练模型，研究团队计划进一步扩展至20种常见病媒蚊的识别。