安装torch
https://blog.csdn.net/AiTanXiing/article/details/129933911

安装 bitsandbytes
pip install https://github.com/jllllll/bitsandbytes-windows-webui/raw/main/bitsandbytes-0.39.0-py3-none-any.whl
aoto-gptq目前好像只支持cuda11.7和11.8。怒…我的cuda11.6重装了(虽然并没有很麻烦)

python -m bitsandbytes验证
有个问题就是
site-packages\bitsandbytes_main_.py 这个包

90行
def print_debug_info() -> None:
    print(
        "\nAbove we output some debug information. Please provide this info when "
        f"creating an issue via {PACKAGE_GITHUB_URL}/issues/new/choose ...\n"
    )


#generate_bug_report_information() 这个方法注释掉,他是校验环境的，但是使用了find （unix环境下面的一个程序指令）来检索文件，所以怎么都会报错，去掉这个就行了


from . import COMPILED_WITH_CUDA, PACKAGE_GITHUB_URL
from .cuda_setup.env_vars import to_be_ignored
from .cuda_setup.main import get_compute_capabilities, get_cuda_lib_handle
102行

我的包
torch 2.0.1+cu118
torchaudio 2.0.2+cu118
torchvision 0.15.2+cu118
auto-gptq 0.2.2+cu117

auto-gptq库下载
https://github.com/PanQiWei/AutoGPTQ/releases/download/v0.2.2/auto_gptq-0.2.2+cu117-cp310-cp310-win_amd64.whl; platform_system == “Windows”

pip install https://github.com/PanQiWei/AutoGPTQ/releases/download/v0.2.2/auto_gptq-0.2.2+cu118-cp39-cp39-win_amd64.whl
最佳方案就是使用text—webui把环境下好