模型使用CPU、还是GPU
关于Langchain、LlamaCpp一些执行错误。
1.安装CPU版本：
pip install llama-cpp-python
2.安装GPU版本
需要同时满足两个条件：
1.NVIDIA显卡驱动（通过nvidia-smi验证）
2.CUDA Toolkit（通过nvcc --version验证）
总结：
若只是运行别人开发好的 CUDA 程序（如用 GPU 跑 PyTorch/TensorFlow），“有 CUDA（硬件 + 驱动支持）但无 Toolkit” 是正常且常见的（很多用户为了节省空间，不会安装多余的开发工具）；
若要自己开发 CUDA 程序，则必须安装 CUDA Toolkit，否则无法完成编译和开发工作。
本质上，两者的核心区别是：CUDA Toolkit 是 “开发工具”，而运行 CUDA 程序只需要 “硬件 + 驱动的运行时支持”。
1.nvidia-smi 查看右上角的 “CUDA Version”
选择低于cuda版本的CUDA Toolki。
nvidia-smi
2.安装必要的编译工具
apt install -y build-essential cmake wget
3.安装 cuda-toolkit
对于这一步我失败了。
# 对于Ubuntu系统
sudo apt update
sudo apt install -y cuda-toolkit-<version> # 将<version>替换为nvidia-smi显示的版本
# 例如：nvidia-smi显示CUDA Version: 11.7
sudo apt install -y cuda-toolkit-11-7
4.安装必要的依赖
apt update
apt install -y wget software-properties-common gnupg
5. 添加 NVIDIA CUDA 仓库密钥
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-keyring_1.1-1_all.deb
dpkg -i cuda-keyring_1.1-1_all.deb
6.更新包列表
apt update
7.安装 CUDA Toolkit
apt install -y cuda-toolkit-12-4
8.验证 CUDA 安装是否成功：
nvcc --version
9. 如果 nvcc 不可用，手动设置环境变量：
export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH
nvcc --version
10.安装支持 CUDA 的 llama-cpp-python：
pip uninstall -y llama-cpp-python # (CPU版的)
export LLAMA_CUDA=1
export FORCE_CMAKE=1
export CMAKE_ARGS="-DLLAMA_CUDA=on"
pip install --force-reinstall --no-cache-dir llama-cpp-python
11.测试
from llama_cpp import Llama
llm = Llama(
model_path="models/7B/ggml-model.bin", # 替换为你的模型路径
n_gpu_layers=50,
n_ctx=2048,
verbose=True
)
print("CUDA支持:", llm.params.n_gpu_layers > 0)