LLaMA-Factory安装部署

发布于：2025-07-16 ⋅ 阅读:(15) ⋅ 点赞:(0)

一、环境安装准备

CUDA安装

CUDA 是由 NVIDIA 创建的一个并行计算平台和编程模型，它让开发者可以使用 NVIDIA 的 GPU 进行高性能的并行计算。

首先，在 https://developer.nvidia.com/cuda-gpus 查看您的 GPU 是否支持CUDA

保证当前 Linux 版本支持CUDA.在命令行中输入，应当看到类似的输出：

uname -m  && cat /etc/*release

2、检查是否安装了 gcc.在命令行中输入gcc--version，若没有安装，则使用apt-get install gcc进行安装。

3、在以下网址下载所需的 CUDA，这里我安装12.6版本。（我的显卡是Tesla P40）

从下面地址中选择合适的版本：CUDA Toolkit Archive | NVIDIA Developer

如果您之前安装过 CUDA(例如为12.1版本)，需要先使用 sudo /usr/local/cuda-12.1/bin/cuda-uninstaller 卸载。如果该命令无法运行，可以直接:

sudo rm-r/usr/local/cuda-12.1/   
sudo apt clean && sudo apt autoclean

根据上面的选择下载包：

wget https://developer.download.nvidia.com/compute/cuda/12.6.3/local_installers/cuda_12.6.3_560.35.05_linux.run
sudo sh cuda_12.6.3_560.35.05_linux.run

选择install后进行安装，出现如下图所示，表明安装成功！

设置如下环境变量：

export CUDA_PATH=/usr/local/cuda-12.6
export LD_LIBRARY_PATH=/usr/local/cuda-12.6/lib64
export PATH=$CUDA_PATH/bin:$PATH

执行如下命令：nvcc -V 表明cuda安装成功

执行如下命令：nvidia-smi ，表明驱动是正常的。

Anaconda安装(略)

使用conda 创建虚拟环境

conda create -n llama-factory  python=3.10

切换到llama-factory环境中

source activate llama-factory

二、LLaMA-Factory安装

从源码安装

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]" --no-build-isolation

安装校验

完成安装后，可以通过使用 1lamafactory-cli version 来快速校验安装是否成功

如果您能成功看到类似下面的界面，就说明安装成功了

高级选项

QLoRA

如果您想启用量化 LORA(QLORA)，请根据您的 CUDA 版本选择适当的 bitsandbytes 发行版本。地址如下：https://github.com/jllllll/bitsandbytes-windows-webui/releases/tag/wheels/

FlashAttention-2

如果您要在 Windows 平台上启用 FlashAttention-2，请根据您的 CUDA 版本选择适当的 fash-attention 发行版本。地址如下：https://github.com/kingbri1/flash-attention/releases