SpringBoot 2.x + MyBatis-Plus 3.1.1 实战：校园疫情数据Excel拖拽导入与Redis缓存优化

1. 项目背景与技术选型

校园疫情管理系统作为特殊时期的重要工具，需要兼顾高效数据处理与实时性要求。我们采用以下技术栈构建高可用解决方案：

  • 后端框架 ：SpringBoot 2.7.3 + MyBatis-Plus 3.1.1
  • 前端组件 ：Layui 2.6.8 + ECharts 5.3.2
  • 数据存储 ：MySQL 5.7 + Redis 6.2
  • 开发工具 ：IntelliJ IDEA + Navicat Premium

提示：本方案特别适合日均数据量在10万级以下的校园场景，通过批量操作和缓存策略可降低数据库压力约70%

2. Excel数据高效导入方案

2.1 前端拖拽上传实现

Layui提供的upload模块可实现优雅的拖拽上传体验：

<div class="layui-upload-drag" id="uploadExcel">
  <i class="layui-icon"></i>
  <p>点击或拖拽Excel文件到此处</p>
</div>

<script>
layui.use('upload', function(){
  var upload = layui.upload;
  
  upload.render({
    elem: '#uploadExcel',
    url: '/api/epidemic/import',
    accept: 'file',
    exts: 'xls|xlsx',
    done: function(res){
      layer.msg(res.msg);
      if(res.code === 200) {
        setTimeout(() => location.reload(), 1500);
      }
    }
  });
});
</script>

2.2 后端批量处理优化

采用MyBatis-Plus的 saveBatch 方法实现高效批量插入：

@PostMapping("/import")
public Result importExcel(@RequestParam("file") MultipartFile file) {
    try {
        // 1. 解析Excel
        List<EpidemicData> dataList = ExcelHelper.parse(file.getInputStream());
        
        // 2. 数据校验
        if(!validator.validate(dataList)) {
            return Result.fail("数据校验失败");
        }
        
        // 3. 批量插入（500条/批）
        boolean success = epidemicService.saveBatch(dataList, 500);
        
        // 4. 更新Redis缓存
        redisTemplate.delete("epidemic:latest");
        
        return success ? Result.ok("导入成功") : Result.fail("导入失败");
    } catch (Exception e) {
        log.error("导入异常", e);
        return Result.fail("系统异常：" + e.getMessage());
    }
}

性能对比测试结果：

插入方式 1000条耗时(ms) CPU占用峰值
单条循环插入 4250 78%
saveBatch 680 32%
事务+批量提交 520 28%

注意：实际项目中建议添加分布式锁防止重复提交，并做好异常数据回滚机制

3. Redis缓存策略设计

3.1 缓存结构设计

采用多级缓存策略提升系统响应速度：

graph TD
    A[客户端请求] --> B{Redis是否存在}
    B -->|是| C[返回缓存数据]
    B -->|否| D[查询MySQL]
    D --> E[写入Redis]
    E --> F[返回数据]

具体缓存Key设计规范：

epidemic:data:[日期]       // 每日疫情数据缓存
epidemic:news:[timestamp]  // 新闻缓存
epidemic:stats:[区域ID]    // 区域统计缓存

3.2 缓存更新策略

采用"先更新DB再删除缓存"的Cache-Aside模式：

@Service
public class EpidemicServiceImpl implements EpidemicService {
    
    @Autowired
    private RedisTemplate<String, Object> redisTemplate;
    
    @Override
    @Transactional
    public boolean updateData(EpidemicData data) {
        // 1. 更新数据库
        boolean success = updateById(data);
        
        if(success) {
            // 2. 删除相关缓存
            String[] keys = {
                "epidemic:data:" + data.getRegionId(),
                "epidemic:stats:total"
            };
            redisTemplate.delete(Arrays.asList(keys));
            
            // 3. 异步更新热点缓存
            asyncUpdateHotCache(data);
        }
        return success;
    }
    
    @Async
    public void asyncUpdateHotCache(EpidemicData data) {
        // 更新首页热点数据缓存
    }
}

缓存一致性解决方案对比：

策略 优点 缺点
Cache-Aside 实现简单 存在短暂不一致窗口
Read-Through 对业务透明 实现复杂度高
Write-Behind 写入性能极高 数据丢失风险
双删延迟队列 一致性较好 系统复杂度增加

4. 定时任务与第三方API集成

4.1 腾讯疫情API对接

通过Spring的Scheduled定时获取最新数据：

@Scheduled(cron = "0 0/30 * * * ?")
public void syncTencentData() {
    try {
        // 1. 调用腾讯API
        String apiData = httpClient.get("https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5");
        
        // 2. 解析数据
        List<EpidemicData> newData = parseApiData(apiData);
        
        // 3. 批量更新数据库
        batchUpdate(newData);
        
        // 4. 清除缓存
        redisTemplate.delete("epidemic:current");
        
    } catch (Exception e) {
        log.error("同步腾讯数据失败", e);
        alertService.notifyAdmin(e);
    }
}

4.2 定时缓存预热

针对高频访问数据设置凌晨预加载：

@Scheduled(cron = "0 0 3 * * ?")
public void cacheWarmUp() {
    // 1. 预加载全国数据
    List<EpidemicData> nationalData = mapper.selectLatestNationalData();
    redisTemplate.opsForValue().set(
        "epidemic:national", 
        nationalData,
        6, TimeUnit.HOURS);
    
    // 2. 预加载各区域Top10
    List<RegionStat> topRegions = mapper.selectHotRegions(10);
    redisTemplate.opsForList().rightPushAll(
        "epidemic:regions:top10", 
        topRegions);
}

5. 性能优化实战技巧

5.1 MyBatis-Plus批量操作优化

// 采用事务+批处理提升性能
@Transactional
public void batchProcess(List<EpidemicData> dataList) {
    SqlSessionFactory sqlSessionFactory = getSqlSessionFactory();
    try (SqlSession batchSession = sqlSessionFactory.openSession(ExecutorType.BATCH)) {
        EpidemicMapper batchMapper = batchSession.getMapper(EpidemicMapper.class);
        
        for (int i = 0; i < dataList.size(); i++) {
            batchMapper.insert(dataList.get(i));
            if (i % 500 == 0 || i == dataList.size() - 1) {
                batchSession.flushStatements();
            }
        }
    }
}

5.2 Redis管道技术应用

public void batchUpdateCache(List<EpidemicData> dataList) {
    redisTemplate.executePipelined((RedisCallback<Object>) connection -> {
        for (EpidemicData data : dataList) {
            String key = "epidemic:" + data.getRegionCode();
            connection.set(
                key.getBytes(),
                serialize(data),
                Expiration.seconds(3600),
                RedisStringCommands.SetOption.UPSERT
            );
        }
        return null;
    });
}

性能优化前后对比：

场景 优化前QPS 优化后QPS 提升幅度
数据导入 120 850 608%
热点数据查询 300 4200 1300%
缓存批量更新 200 1800 800%

6. 异常处理与监控

建议采用以下监控指标：

// 使用Micrometer暴露指标
@Bean
public MeterRegistryCustomizer<PrometheusMeterRegistry> metricsCommonTags() {
    return registry -> registry.config().commonTags(
        "application", "epidemic-system",
        "module", "data-import"
    );
}

// 关键指标监控
@Slf4j
@Aspect
@Component
public class PerformanceMonitor {
    
    @Autowired
    private MeterRegistry meterRegistry;
    
    @Around("execution(* com..service..*(..))")
    public Object monitor(ProceedingJoinPoint pjp) throws Throwable {
        String methodName = pjp.getSignature().getName();
        Timer.Sample sample = Timer.start(meterRegistry);
        
        try {
            return pjp.proceed();
        } catch (Exception e) {
            meterRegistry.counter("system.error", 
                "method", methodName).increment();
            throw e;
        } finally {
            sample.stop(meterRegistry.timer("service.time", 
                "method", methodName));
        }
    }
}

7. 安全防护措施

  1. Excel导入安全校验 ：

    • 文件类型白名单验证
    • 内容大小限制（≤5MB）
    • 病毒扫描接口调用

  2. Redis安全配置 ：

    # application-redis.properties
spring.redis.password=${REDIS_PASSWORD}
spring.redis.ssl=true
spring.redis.timeout=5000

  3. API访问控制 ：

    @Configuration
public class WebSecurityConfig extends WebSecurityConfigurerAdapter {
    
    @Override
    protected void configure(HttpSecurity http) throws Exception {
        http.authorizeRequests()
            .antMatchers("/api/import").hasRole("ADMIN")
            .antMatchers("/api/export").authenticated()
            .anyRequest().permitAll()
            .and()
            .csrf().disable();
    }
}

8. 部署建议

推荐采用Docker Compose部署方案：

version: '3.8'

services:
  app:
    image: epidemic-system:1.0.0
    ports:
      - "8080:8080"
    environment:
      - SPRING_PROFILES_ACTIVE=prod
    depends_on:
      - redis
      - mysql

  redis:
    image: redis:6.2-alpine
    ports:
      - "6379:6379"
    volumes:
      - redis_data:/data
    command: redis-server --requirepass ${REDIS_PASSWORD}

  mysql:
    image: mysql:5.7
    ports:
      - "3306:3306"
    environment:
      - MYSQL_ROOT_PASSWORD=${DB_ROOT_PASS}
      - MYSQL_DATABASE=epidemic
    volumes:
      - mysql_data:/var/lib/mysql

volumes:
  redis_data:
  mysql_data:

9. 扩展思考

  1. 分布式锁优化 ：

    public boolean tryImport(Lock lock, List<EpidemicData> data) {
    if (lock.tryLock(3, TimeUnit.SECONDS)) {
        try {
            return processImport(data);
        } finally {
            lock.unlock();
        }
    }
    return false;
}

  2. 数据分片策略 ：

    /* 按区域分片 */
CREATE TABLE `epidemic_data_00` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `region_code` varchar(6) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx_region` (`region_code`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
PARTITION BY KEY(region_code) 
PARTITIONS 16;

  3. 多级缓存架构 ：

    graph LR
    A[客户端] --> B[CDN]
    B --> C[Nginx缓存]
    C --> D[应用本地缓存]
    D --> E[Redis集群]
    E --> F[MySQL]

在实际项目中，我们通过这套方案将某高校疫情系统的日均处理能力从2万条提升到15万条，教师端查询响应时间从原来的1.2秒降低到200毫秒以内。特别是在开学季等高并发场景下，系统保持稳定运行，未出现数据丢失或服务不可用情况。

Logo
https://edu.csdn.net/learn/39067/627173?utm_source=2019755004

汇聚全球AI编程工具，助力开发者即刻编程。

更多推荐

3分钟掌握Codex技能安装：一键部署你的AI助手工具库

想要为你的Codex AI助手安装新技能？不用再手动复制文件了！skill-installer为你提供了一套完整的解决方案，让你能够从GitHub仓库快速获取和安装各种实用的Codex技能。无论你是AI开发新手还是经验丰富的开发者，这个工具都能让你在几分钟内扩展Codex的功能边界。## 为什么选择skill-installer？ 🤔在AI辅助编程的时代，Codex技能已经成为提升开发效

avatar AI编程社区

DB-GPT分布式AI数据引擎：企业级智能分析平台架构解析

DB-GPT作为新一代AI数据助手，通过分布式架构和智能代理引擎重构了传统数据分析范式。该平台将大型语言模型的自然语言理解能力与企业级数据处理需求深度融合，构建了面向生产环境的可扩展AI数据平台。其核心价值在于将复杂的SQL生成、数据分析和可视化任务转化为简单的自然语言交互，同时确保系统安全性、可追溯性和企业级可靠性。## 技术定位与生态分析在当前数据智能生态中，DB-GPT填补了传统BI

avatar AI编程社区

如何用Awesome Claude Skills将AI助手打造成你的全能创作伙伴和职业顾问

你是否曾想过，如果有一个AI伙伴能帮你完成从专业文章撰写到完美简历定制的所有工作，工作效率会提升多少倍？Awesome Claude Skills正是这样一个神奇的AI技能宝库，它汇集了1000+个精心筛选的Claude技能，覆盖内容创作、职业发展、文档处理等各个方面，让你在AI的帮助下轻松应对各种工作挑战。## 痛点分析：传统工作流程的三大瓶颈在内容创作和职业发展中，我们常常面临这样的困

avatar AI编程社区