本地部署DeepSeek + Ragflow

发布于:2025-02-10 ⋅ 阅读:(67) ⋅ 点赞:(0)

下载Docker 并启动

Docker Desktop: The #1 Containerization Tool for Developers | Docker

下载安装ollama

Download Ollama on macOS

1. 下载完成后解压运行

2. 终端输入 Ollama --version

 输出对应版本号即为下载成功

如果没有弹出上述图片,浏览器输入http://localhost:11434

即为成功 

安装deepseek

deepseek-r1

自行选择下载哪个版本 

等待下载完成 

下载RAGflow源代码

ragflow/README_zh.md at main · infiniflow/ragflow · GitHub

git clone https://github.com/infiniflow/ragflow.git

1. 更新 docker/.env 文件内的 RAGFLOW_IMAGE 变量

 2. docker compose 启动服务

docker compose -f docker/docker-compose.yml up -d

针对MAC 如果有以下失败信息,请修改 docker/.env 文件内相关内容,再重新启动服务

等待启动完成

构建个人知识库

1. 浏览器输入  localhost:80,自行注册登录

2. 点击头像,添加模型提供商

基础Url : host.docker.internal:11434

点击确定,等待添加成功

3. 系统模型设置-选择对应模型点击确定 

4. 创建知识库并配置知识库

5. 新增文件并解析

6. 添加聊天助理并配置

完成以上步骤,你就可以实现聊天对话了。

说明:

1. Ragflow

  • 是什么:Ragflow 是一个基于检索增强生成(Retrieval-Augmented Generation, RAG)的工具或框架。

  • 作用:它可以帮助你从大量文档或数据中快速检索相关信息,并结合生成模型(如 GPT)生成高质量的答案或内容。

  • 特点:适合处理需要结合外部知识的任务,比如问答系统、文档摘要等。


2. DeepSeek

  • 是什么:DeepSeek 是一个 AI 模型平台,提供多种预训练的大语言模型(如 GPT 类模型)。

  • 作用:它可以用于自然语言处理任务,比如文本生成、对话、翻译、代码生成等。

  • 特点:性能强大,支持定制化训练和部署。


3. Ollama

  • 是什么:Ollama 是一个本地化的大语言模型(LLM)部署工具。

  • 作用:它允许你在本地运行大语言模型(如 LLaMA、GPT 等),而不需要依赖云端服务。

  • 特点:适合需要隐私保护、低延迟或离线使用的场景。


三者的关系

  • Ragflow 和 DeepSeek 是互补的:

    • Ragflow 负责从外部数据源检索信息。

    • DeepSeek 负责生成高质量的文本内容。

    • 结合两者可以实现更智能的问答系统或文档处理工具。

  • Ollama 是部署工具:

    • 它可以将 DeepSeek 或其他大语言模型部署到本地,提供更灵活、私密的使用方式。


组合起来可以做什么?

将 RagflowDeepSeek 和 Ollama 组合起来,可以构建一个强大的本地化智能问答系统或文档处理工具。以下是具体应用场景:

1. 智能问答系统
  • 流程

    1. 用户提出问题。

    2. Ragflow 从本地或外部文档库中检索相关信息。

    3. DeepSeek 根据检索到的信息生成高质量的回答。

    4. Ollama 确保整个过程在本地运行,保护数据隐私。

  • 应用场景

    • 企业内部知识库问答。

    • 学术文献检索与总结。​​​​​​​​​​​​​​


网站公告

今日签到

点亮在社区的每一天
去签到