【求助】Chatglm cpu 本地部署出错
·
问题:Chatglm cpu 本地部署时编译出错。
本人已经手动编译得到了2个so文件,如图

但是在执行 model = AutoModel.from_pretrained("D:\\LLM\\ChatGLM-6B-main\\model",trust_remote_code=True, revision="").float()时,仍然显示
No compiled kernel found.
详细报错见下图

并且当我直接执行 model = model.quantize(bits=4, kernel_file="D:\\LLM\\ChatGLM-6B-main\\model\\quantization_kernels.so")时,还会出现如下错误。

求求各路大神,有无解决方法。
更多推荐



所有评论(0)