db-gpt基础(0.6.3)
·
官方操作手册:
启动准备
源码下载
不能使用git的clone命令会下载最新的测试包与官网文档操作步骤有出入;
下载代码包
选择版本:

下载代码压缩包:

python版本:大于等于3.10
Windows bitsandbytes-0.41.1-py3-none-win_amd64.whl依赖下载慢
可以在github下载whl文件后使用命令安装
下载地址:
https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.1-py3-none-win_amd64.whl
安装命令:pip install "文件绝对路径"
修改依赖管理文件(setup)

配置模型参数
在项目根目录创建:models文件夹;
在models文件夹路径执行cmd命令;
使用以下命令克隆模型参数:
git clone https://hf-mirror.com/GanymedeNil/text2vec-large-chinese

源码启动
安装依赖包
pip install -e ".[default]"
配置启动参数(环境)
创建.env文件并将将.env.template的内容复制到.env文件
#*******************************************************************#
#** LLM MODELS **#
#*******************************************************************#
LLM_MODEL=ollama_proxyllm
PROXY_SERVER_URL=http://127.0.0.1:11434
PROXYLLM_BACKEND="deepseek-r1:7b"
PROXY_API_KEY=not_used
EMBEDDING_MODEL=proxy_ollama
proxy_ollama_proxy_server_url=127.0.0.1:11434
proxy_ollama_proxy_backend="nomic-embed-text:latest"
MODEL_SERVER=http://127.0.0.1:8000
LIMIT_MODEL_CONCURRENCY=5
MAX_POSITION_EMBEDDINGS=4096
QUANTIZE_QLORA=True
QUANTIZE_8bit=True
#数据库部分
#*******************************************************************#
#** DB-GPT METADATA DATABASE SETTINGS **#
#*******************************************************************#
### SQLite database (Current default database)
#LOCAL_DB_TYPE=sqlite
### MYSQL database
LOCAL_DB_TYPE=mysql
LOCAL_DB_USER=root
LOCAL_DB_PASSWORD=mysql
LOCAL_DB_HOST=127.0.0.1
LOCAL_DB_PORT=3306
LOCAL_DB_NAME=dbgpt
LANGUAGE=zh
启动服务
python dbgpt/app/dbgpt_server.py
注:db-gpt前后端未作分离,前端需要自行设计,api接口参考官方手册API说明
更多推荐



所有评论(0)