使用X inference下载部署小模型（qwen1.5）测试效果
·
我的环境是mac m2 32G ，没办法用GPU。
这是X inference的安装教程。
这里是mac部署7B的教程
一、根据文档来选择合适的模型
二、这里部署一个2B的小模型
点击方框，即可选择部署
这里是下载过程
三、推理效果
效果非常不好。并且速度也不快，可以在截图中看到推理速度
这是2B的推理速度，输出为每秒6个tokens
这是qwen7B的推理速度，输出为每秒3个tokens
四、部署一个qwen1.5B
这个推理效果和推理速度都非常棒了，至少推理的速度和我们正常使用chatgpt的速度一样，甚至更快。回答效果还可以，至少比上边部署的2B的模型效果好的多。
汇聚全球AI编程工具，助力开发者即刻编程。
更多推荐
5
0- 0
已为社区贡献2条内容
所有评论(0)