文章目录

场景

  • 400万Mongo历史数据放入elasticsearch中, 历史数据放入之前要进行一定的过滤,转换操作, 使用默认的游标设置,报找不到游标

分析

  • 游标两次请求之间 如果超过了10分钟 则自动销毁

解决

  • 在生成游标的时候 设置timeout
    • 一般也不这样设置, 一定遇到异常 会操作资源无法自动销毁
  • 在生成游标的时候 设置每次取出的数量
    • 这个数量一定是10分钟内可以执行结束的
  • 一次性取完
    • 不这样设置
  • 加快执行单元的执行速度
    • 单条插入换成批量插入, 速度10倍+
    • 选用
Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐