Ubuntu20.04 本地部署 DeepSeek-R1 及 chatbox可视化

发布于:2025-02-10 ⋅ 阅读:(645) ⋅ 点赞:(0)

一、下载ollama

打开 ollama链接,直接终端运行提供的命令即可。如获取的命令如下:

curl -fsSL https://ollama.com/install.sh | sh

在这里插入图片描述
确保是否安装成功可在终端输入如下命令:

ollama -v

在这里插入图片描述

注意: 如遇到Failed to connect to github.com port 443: Connection timed out ,一种简便方法是:改host sudo vim /etc/hosts ,添加内容如下:

 140.82.112.3 github.com
 199.232.5.194 github.global.ssl.fastly.net
 54.231.114.219 github-cloud.s3.amazonaws.com

其中,ipaddress 可获取目前github.com实际ip
在这里插入图片描述
😂😂😂😂 实在链接不上 !!!,额,参考 本链接

二、下载模型

ollama_search 中查询所需的模型,这里需要下载DeepSeeK-R1模型,所以在搜索框中输入“deepseek-r1”。
在这里插入图片描述

打开第一个链接,在左侧标有7b的选项为模型的版本,数字越大模型越大效果更好,但对应所需要的计算机的性能更强,具体参数可以对应下方表格。因为自己显存较低,所以使用1.5b,大家可以根据自己电脑配置选择。
在这里插入图片描述

模型版本 参数量 内存需求(RAM) 显存需求(训练) 显存需求(推理) 推荐GPU配置 典型应用场景 注意事项
1.5B 1.5B 4-8GB 6-8GB 3-4GB 单卡RTX 3090/4090 移动端应用、嵌入式设备、简单对话 支持低精度量化(4bit/8bit)
7B 7B 16-32GB 24-32GB 12-16GB 单卡A100 40GB 通用对话、文本生成 需启用激活检查点节省显存
8B 8B 20-40GB 28-36GB 14-18GB 单卡A100 40GB 多语言处理、中等复杂度推理 推荐使用FlashAttention优化
14B 14B 32-64GB 48-64GB 24-32GB 2*A100 40GB(张量并行) 复杂对话、知识问答 需张量并行策略
32B 32B 64-128GB 80-120GB 40-60GB 4*A100 80GB(流水线并行) 专业领域分析、长文本生成 推荐使用ZeRO-3优化
70B 70B 128-256GB 160-240GB 80-120GB 8*A100 80GB(混合并行) 复杂代码生成、学术研究 需组合张量+流水线+数据并行
671B 671B 1TB+ 1.5-2TB 800GB-1.2TB 64*A100/H100(多节点分布式) 超大规模预训练、战略级AI系统 需定制化分布式框架支持

在左侧选好版本后,右侧即会显示一条命令,将该命令输入在命令框中即可,因为选择下载1.5b,则命令为:

ollama run deepseek-r1:1.5b

指令执行完后即可使用该模型:
在这里插入图片描述

如果需要关闭模型可使用Ctrl + d 或键盘输入/bye 即可,如需再次启动,那么在命令行中输入ollama run deepseek-r1:1.5b即可。

三、chatbox 可视化

chatbox 官网
在这里插入图片描述
在官网上下载对应版本,下载完后直接可执行文件,即可打开 chatbox

./Chatbox-1.9.8-x86_64.AppImage

1. 支持汉化
请添加图片描述
2. 模型选择

模型选择本地部署的模型,即可开箱享用本地deepseek。
在这里插入图片描述

此为升级链接

四、满血版 deepseek 使用

deepseek 官网 火遍全球的是DeepSeek-R1 671B版本,即大家常说的"满血版"R1。其他版本,1.5B,7B、8B的小模型与真正的满血版 671B R1存在天壤之别。

推荐大家去官网注册登陆账号使用(目前常出现报"服务器繁忙"的问题)。除此之外,不少厂家也在服务器部署了满血版 DeepSeek-R1 671B版本,大家也可以注册使用来解决官网的"服务器繁忙"问题,如: SiliconCloud(硅基流动)秘塔AI搜索

五、vscode 使用 deepseek 插件

1. 获取 API密钥

deepseek 插件需要添加 API密钥 ,大家按需选用,可以在 步骤四 注册 薅羊毛配置。

deepseek platform :注册送10元。
请添加图片描述
SiliconCloud(硅基流动) 注册获得14元,约 2000 万 Tokens。

2. 配置插件

请添加图片描述
请添加图片描述
请添加图片描述


网站公告

今日签到

点亮在社区的每一天
去签到