目录
1.3 初始化 Conda: 安装完成后,初始化 Conda 环境
【详细conda命令】
常用conda命令可看:
▲【Canda】常用命令+虚拟环境创建到选择_使用conda创建虚拟环境的命令-CSDN博客▲▲【Canda】常用命令+虚拟环境创建到选择_使用conda创建虚拟环境的命令-CSDN博客
应用至jupterlab可看:
一、安装 Miniconda
Miniconda 是一个轻量级的 Conda 发行版,适合服务器环境。
1.1 下载 Miniconda 安装脚本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
1.2 运行安装脚本
bash Miniconda3-latest-Linux-x86_64.sh -u
▲回车:进入协议,多点几下
▲输入yes,同意协议条款
▲选择存放路径(推荐放在数据盘),如下:
/mnt/workspace/miniconda
/mnt/workspace是数据盘。
1.3 初始化 Conda: 安装完成后,初始化 Conda 环境
source /mnt/workspace/miniconda/bin/activate
1.4 验证安装
conda --version
输出示例:conda 25.5.1。
二、设置虚拟环境默认存放路径(可选)
conda config --add envs_dirs /mnt/workspace/conda_env
▲/mnt/data/conda_env 表示存放路径
说明:只需设置一次,后面构建的虚拟环境都会默认存放在该路径下。如果需要再次更换存放路径再执行。
三、conda创建虚拟环境
3.1 创建 Conda 环境
1、创建新环境: 指定 Python 版本(如 3.11,兼容 Hugging Face、PEFT 等):
conda create -n download_model python=3.11
▲download_model 表示创建的虚拟环境名称,可以自定义
3.2 激活环境
conda activate download_model
提示符将变为 (llm_env)。
3.3 安装依赖(可选)
说明:以下步骤根据自己项目需求,自主选择安装相应依赖;
1、安装Pytorch 12.6
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
用来 安装 PyTorch 及其相关库(带 CUDA 12.6 GPU 加速支持)
注意:
▲安装pytorch前先确定自己电脑是否有GPU,没有GPU请安装cpu版本的;
pip3 install torch torchvision torchaudio
▲确保CUDA 12.6版本可以兼容
确定是否兼容可参考该文章对应内容:【CUDA&cuDNN安装】深度学习基础环境搭建_cudnn安装教程-CSDN博客
2、安装transformers
pip install transformers==4.53.0
▲Hugging Face 推出的一个非常强大且广泛使用的 预训练模型库,它是 NLP、CV、语音等领域深度学习开发的“瑞士军刀”。
▲
transformers
是一个支持 加载、使用、微调、部署各种大模型 的工具库,比如 BERT、GPT、T5、RoBERTa、ChatGPT、Qwen、LLaMA 等。
3、安装datasets
pip install datasets
数据集加载和处理工具库,主要用于 自然语言处理(NLP) 任务,也可以用于其他机器学习任务。
datasets
就像是一个 “数据集超市”,你只需一行代码,就可以下载并使用成千上万的标准数据集,比如:
情感分类(SST-2、IMDB)
阅读理解(SQuAD)
文本生成(Wikitext、CNN/DailyMail)
机器翻译(WMT)
多语言任务(XNLI)
还有图像、音频、表格等多模态任务!
datasets
就像是一个 “数据集超市”,你只需一行代码,就可以下载并使用成千上万的标准数据集,比如:情感分类(SST-2、IMDB)
阅读理解(SQuAD)
文本生成(Wikitext、CNN/DailyMail)
机器翻译(WMT)
多语言任务(XNLI)
还有图像、音频、表格等多模态任务!
实用扩展命令
1、检查磁盘空间:
df -h
2、监控内存: 微调或推理时,实时监控GPU状态
#安装gpu监控插件
pip install nvitop
#启动监控
nvitop
3、GPU 驱动和 CUDA:若使用 QLoRA 或 GGUF 推理,需确保 NVIDIA 驱动和 CUDA 已安装:
nvidia-smi
4.克隆环境
conda create -n ollama --clone download_model
▲ollama表示新创建的虚拟环境;
▲--clone download_model:表示把旧虚拟环境download_model中的依赖复制到新环境中;
5、删除虚拟环境
conda env remove -n llm_env
▲llm_env:表示需要删除的虚拟环境
6、退出虚拟环境
conda deactivate
7、查看服务器内存
free -h
示例: