本地部署 Dify + Ollama 到 D盘,并挂载本地大模型 的完整教程,结合 Docker 运行环境

发布于:2025-05-01 ⋅ 阅读:(58) ⋅ 点赞:(0)

一、环境准备
1. 软件与硬件要求
• 操作系统:Windows 10/11 专业版(需开启 Hyper-V)

• 硬件配置:

• CPU ≥ 4核(推荐 Intel i5 及以上)

• 内存 ≥ 16GB(大模型运行需预留 8GB 以上)

• 硬盘:D 盘预留 50GB 空间(模型与 Docker 存储)

• 必装工具:

• Docker Desktop(需配置镜像源加速)

• Git(用于克隆 Dify 源码)


二、Ollama 部署到 D 盘
1. 安装与路径指定

  1. 创建 D 盘目录:
    • 新建 D:\ollama 文件夹用于存储程序及模型。

  2. 安装 Ollama:
    • 下载 ollamaSetup.exe,以管理员身份运行命令:

    ollamaSetup.exe /dir=D:\ollama
    

    • 安装完成后,验证路径:检查 D:\ollama 下是否存在 ollama.exemodels 子目录。

  3. 配置环境变量:
    • 添加用户变量 OLLAMA_MODELS=D:\ollama\models,确保模型下载至 D 盘。

    • 添加系统变量 OLLAMA_HOST=0.0.0.0 以暴露服务端口。

2. 下载与运行大模型
• 拉取模型(以 deepseek-r1:8b 为例):

ollama run deepseek-r1:8b

模型将自动下载至 D:\ollama\models
• 验证服务:访问 http://localhost:11434,若返回 Ollama is running 则成功。


三、Dify 部署到 D 盘
1. Docker 环境配置

  1. 修改 Docker 存储路径:
    • 在 Docker Desktop 设置中,将镜像存储路径改为 D:\docker,避免占用 C 盘。

  2. 配置镜像加速:
    • 修改 Docker 引擎配置为国内镜像源(如 https://docker.1ms.run),加速依赖下载。

2. 部署 Dify 服务

  1. 克隆 Dify 源码:

    git clone https://github.com/langgenius/dify.git D:\dify
    
  2. 配置环境变量:
    • 复制 D:\dify\docker\.env.example.env,修改以下参数:

    # 数据库存储路径
    POSTGRES_DATA=D:\dify\data\postgres
    # 挂载 Ollama 服务地址
    OLLAMA_API_BASE=http://host.docker.internal:11434
    
  3. 启动 Docker 容器:

    cd D:\dify\docker
    docker compose up -d
    

    • 检查容器状态:docker compose ps,所有服务显示 Up 即正常。


四、Dify 挂载 Ollama 大模型
1. 配置模型供应商

  1. 登录 Dify:访问 http://localhost,注册管理员账号。

  2. 添加 Ollama 模型:
    • 进入 设置 → 模型供应商 → Ollama,填写:

    ◦ 模型名称:deepseek-r1:8b(与 Ollama 中名称一致)

    ◦ 基础 URL:http://host.docker.internal:11434(Docker 容器访问宿主机)

    ◦ 模型类型:对话

    ◦ 上下文长度:4096(与模型默认值一致)

2. 创建应用并测试

  1. 新建空白应用:选择“聊天助手”,输入名称(如 本地知识库助手)。

  2. 绑定模型:在应用编辑页右上角选择 deepseek-r1:8b 作为推理引擎。

  3. 上传知识库:
    • 支持 PDF/Word/TXT 格式,索引方式选择“经济型”(离线向量引擎)。

  4. 对话测试:输入问题验证模型响应及知识库检索是否正常。


五、常见问题与优化
1. 故障排查
• Ollama 服务无法连接:

• 检查 OLLAMA_HOST 是否设置为 0.0.0.0,并重启 Ollama 服务。

• 在 Docker 中执行 curl http://host.docker.internal:11434 验证连通性。

• 模型加载失败:

• 确认 OLLAMA_MODELS 路径权限,避免 Docker 容器无读写权限。

2. 性能优化
• 显存管理:

• 若使用 GPU,在 Ollama 启动时添加 --gpu 参数加速推理(需 NVIDIA 驱动支持)。

• 多模型切换:

• 通过 ollama list 查看已安装模型,动态切换不同规模的模型。


六、扩展功能
1. 公网访问(可选)
• 使用 cpolar 内网穿透:

• 安装 cpolar 并创建 HTTP 隧道,将 Dify 的 80 端口映射至公网。

• 生成随机域名,实现异地设备访问本地 AI 服务。

2. 多模态支持
• 若使用支持图片的模型(如 llava),在 Dify 中勾选 是否支持 Vision 并上传图片测试。


总结
通过以上步骤,可实现 Dify + Ollama 全链路本地化部署,数据安全可控且资源占用优化。此方案特别适合企业内网或对隐私要求高的场景,结合知识库功能可快速构建定制化 AI 应用。


网站公告

今日签到

点亮在社区的每一天
去签到