官方操作手册:

使用文档 · 语雀

启动准备

源码下载

不能使用git的clone命令会下载最新的测试包与官网文档操作步骤有出入;

下载代码包

选择版本:

下载代码压缩包:

python版本:大于等于3.10

Windows bitsandbytes-0.41.1-py3-none-win_amd64.whl依赖下载慢

可以在github下载whl文件后使用命令安装

下载地址:

https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.1-py3-none-win_amd64.whl

安装命令:pip install "文件绝对路径"

修改依赖管理文件(setup)

配置模型参数

在项目根目录创建:models文件夹;

在models文件夹路径执行cmd命令;

使用以下命令克隆模型参数:

git clone https://hf-mirror.com/GanymedeNil/text2vec-large-chinese

源码启动

安装依赖包

pip install -e ".[default]"

配置启动参数(环境)

创建.env文件并将将.env.template的内容复制到.env文件

#*******************************************************************#
#**                         LLM MODELS                            **#
#*******************************************************************#
LLM_MODEL=ollama_proxyllm
PROXY_SERVER_URL=http://127.0.0.1:11434
PROXYLLM_BACKEND="deepseek-r1:7b"
PROXY_API_KEY=not_used
EMBEDDING_MODEL=proxy_ollama
proxy_ollama_proxy_server_url=127.0.0.1:11434
proxy_ollama_proxy_backend="nomic-embed-text:latest"
​
MODEL_SERVER=http://127.0.0.1:8000
LIMIT_MODEL_CONCURRENCY=5
MAX_POSITION_EMBEDDINGS=4096
QUANTIZE_QLORA=True
QUANTIZE_8bit=True
​
​
#数据库部分
#*******************************************************************#
#**                  DB-GPT METADATA DATABASE SETTINGS            **#
#*******************************************************************#
### SQLite database (Current default database)
#LOCAL_DB_TYPE=sqlite
​
### MYSQL database
LOCAL_DB_TYPE=mysql
LOCAL_DB_USER=root
LOCAL_DB_PASSWORD=mysql
LOCAL_DB_HOST=127.0.0.1
LOCAL_DB_PORT=3306
LOCAL_DB_NAME=dbgpt
​
LANGUAGE=zh

启动服务

python dbgpt/app/dbgpt_server.py

注:db-gpt前后端未作分离,前端需要自行设计,api接口参考官方手册API说明

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐