Mistral模型加载报错data did not match any variant of untagged enum PyPreTokenizerTypeWrapper

1、问题背景
今天在加载Mistral-7B模型的时候遇到了一个奇怪的bug:

data did not match any variant of untagged enum PyPreTokenizerTypeWrapper

在这里插入图片描述

2、解决方案
我用的Transformers的版本是:4.28.1,版本太低了
更新Transformers即可解决该问题

pip install transformers==4.46.3

参考资料:https://huggingface.co/mistralai/Mistral-7B-v0.1/discussions/161

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐