问题来源：

在使用bert进行fine-tune训练模型时，maxlen设置为512时，会遇到该问题。

问题原因

由于bert的模型默认最大长度为512，而在对文本进行处理时，文本的开头和结尾会加入[cls]和[sep]，因此如果我们设置512的最大文本长度，会导致超过默认bert设置的maxlen。

解决方法：

将maxlen的值调小，小于等于510即可。

Logo
https://edu.csdn.net/learn/39067/627173?utm_source=2019755004

汇聚全球AI编程工具，助力开发者即刻编程。

更多推荐

cover

代码生成哪家强？Claude Code、Cursor、TRAE，怎么选？

avatar AI编程社区

AI编程能力边界探索：基于 Claude Code 的 Spec Coding 项目实战｜得物技术

10 天实战、2.5 万行净增代码、36% 研发提效，一场基于 Claude Code 的 Spec Coding 深度实践。通过 “约束 + 示范 + 视觉” 三层规范体系，我们摸清 AI 编程的真实能力边界，拆解结构化工作流如何消除不确定性，重构 AI 时代开发者的核心竞争力。

avatar AI编程社区
cover

从 Spec Coding 到规范驱动 —— AI 编程的确定性边界

avatar AI编程社区