问题:Chatglm cpu 本地部署时编译出错。

本人已经手动编译得到了2个so文件,如图

 但是在执行 model = AutoModel.from_pretrained("D:\\LLM\\ChatGLM-6B-main\\model",trust_remote_code=True, revision="").float()时,仍然显示
No compiled kernel found.

详细报错见下图

 并且当我直接执行 model = model.quantize(bits=4, kernel_file="D:\\LLM\\ChatGLM-6B-main\\model\\quantization_kernels.so")时,还会出现如下错误。

 求求各路大神,有无解决方法。
Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐