深度学习训练速度慢，cpu利用率低，修改一个参数，速度猛增20倍

这两天我一直在疑惑为什么同样的代码在我的3080ti上跑却只有2070上的速度的三分之一，今天尝试修改cache参数，结果速度直接起飞。给cache设置一个默认值true。更改过后的速度：暴增到6.67it/s。原来的速度： 3.69s/it。

qq_45640098

1607人浏览 · 2023-11-04 11:36:49

qq_45640098 · 2023-11-04 11:36:49 发布

这两天我一直在疑惑为什么同样的代码在我的3080ti上跑却只有2070上的速度的三分之一，今天尝试修改cache参数，结果速度直接起飞。

给cache设置一个默认值true

原来的速度： 3.69s/it

更改过后的速度：暴增到6.67it/s

AI编程社区

汇聚全球AI编程工具，助力开发者即刻编程。

更多推荐

AI原生应用领域混合推理技术的最新进展

当我们谈论AI原生应用（如ChatGPT、GitHub Copilot、智能诊疗系统）时，“灵活但不可靠”“准确但不智能”的矛盾始终是绕不开的痛点——纯神经模型（如大语言模型）像“凭直觉做题的学生”，擅长处理复杂场景却常犯“幻觉”错误；纯符号系统（如传统专家系统）像“死记硬背的书呆子”，逻辑严谨却无法应对非结构化数据。混合推理技术。