Ubuntu部署Langchain-Chatchat本地知识库项目

发布于：2024-05-17 ⋅ 阅读:(154) ⋅ 点赞:(0)

Ubuntu部署Langchain-Chatchat本地知识库项目

开源项目：https://github.com/chatchat-space/Langchain-Chatchat

基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开源、可离线部署的检索增强生成(RAG)大模型知识库项目。

1. 环境配置

python版本3.10

1.1 设置python镜像源

pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

#python3 -m pip install --upgrade pip

1.2 安装虚拟环境

cd /home/THUDM/Langchain-Chatchat2

#安装虚拟环境安装包
apt install python3.10-venv
#创建venv的虚拟环境
python3 -m venv venv

#激活虚拟环境
source venv/bin/activate

#退出虚拟环境
deactivate

1.3 安装项目依赖

# 安装全部依赖
#pip install setuptools_scm #有些系统需要先安装这个
pip install -r requirements.txt 
pip install -r requirements_api.txt
pip install -r requirements_webui.txt  

# 默认依赖包括基本运行环境（FAISS向量库）。如果要使用 milvus/pg_vector 等向量库，请将 requirements.txt 中相应依赖取消注释再安装。

2. 模型下载

git lfs install
git clone https://huggingface.co/THUDM/chatglm3-6b
git clone https://www.modelscope.cn/Xorbits/bge-large-zh-v1.5.git

3. 初始化知识库和配置文件

按照下列方式初始化自己的知识库和简单的复制配置文件

3.1复制配置文件

python copy_config_example.py

3.2 修改模型根目录配置

如果模型不在项目根目录需要修改model_config.py的第六行

MODEL_ROOT_PATH = "/home/THUDM"

3.3 修改服务配置和开启gpu配置

#server_config.py第31行增加

LLM_MODELS = [“chatglm3-6b”, “zhipu-api”, “openai-api”]#配置模型手工增加

#开启gpu相关配置

46~91行开启并修改如下配置：

"gpus": 0, # 使用的GPU，以str的格式指定，如"0,1"，如失效请使用CUDA_VISIBLE_DEVICES="0,1"等形式指定
"num_gpus": 1, # 使用GPU的数量
"max_gpu_memory": "16GiB", # 每个GPU占用的最大显存

3.4 初始化默认知识库

python init_database.py --recreate-vs

4. 一键启动

按照以下命令启动项目

python startup.py -a

5. 启动界面示例

如果正常启动，你将能看到以下界面

FastAPI Docs 界面
Web UI 启动界面示例：

Web UI 对话界面：-
Web UI 知识库管理页面：

6. 服务端运行信息

OpenAI API Server: http://127.0.0.1:20000/v1
Chatchat API Server: http://127.0.0.1:7861
Chatchat WEBUI Server: http://127.0.0.1:8511

Ubuntu部署Langchain-Chatchat本地知识库项目