环境

系统：Ubuntu 22.04

安装CUDA Linux Ubuntu 22.04 x86_64

查看版本：nvidia-smi

1条1条执行

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda-repo-ubuntu2204-12-4-local_12.4.0-550.54.14-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2204-12-4-local_12.4.0-550.54.14-1_amd64.deb
sudo cp /var/cuda-repo-ubuntu2204-12-4-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda-toolkit-12-4

安装Anaconda3

anaconda3 版本 ：23.7.4

下载命令：

wget https://repo.anaconda.com/archive/Anaconda3-2023.09-0-Linux-x86_64.sh

下载完成执行下面的命令

chmod +x Anaconda3-2023.09-0-Linux-x86_64.sh

执行安装命令

./Anaconda3-2023.09-0-Linux-x86_64.sh

激活 Conda 环境

source ~/.bashrc

验证安装是否成功

conda --version

卸载 Conda（如果需要）

rm -rf ~/anaconda3  # 或 ~/miniconda3，取决于您的安装目录

rm -rf ~/anaconda3

本机测试的安装版本

CUDA Version: 12.4

Python 3.11.5

本文使用conda虚拟python环境

# 创建一个环境

conda create -n Xinference python=3.11.5

# 激活环境

conda activate Xinference

安装Xinference环境

 配置清华源

目的是为了快一点，如果你要是能直接练到魔法网络，那也可以不用配置！

ps:本文都加了-i https:xxx的参数，目的很明确，就是怕网络不通，配置好的请忽略。

# 配置

python -m pip install --upgrade pip

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 单次使用清华源进行升级

python -m pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade pip

3.安装大模型需要使用到的所有依赖

# 直接执行

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple "xinference[all]"

测试一下能不能用PyTorch

python -c "import torch; print(torch.cuda.is_available())"

4.可能会遇到在安装“xinference[all]”的时候出现什么Llama.cpp的包下载不下来的问题

llama_cpp_python 根据你 CUDA Version: 12.4 Python 3.11.5 下载

cpp地址：https://github.com/abetlen/llama-cpp-python/releases

llama_cpp_python-0.2.88-cp311-cp311-linux_x86_64.whl

Cp311是python版本311别搞错了

llama_cpp_python-0.2.88-cp311-cp311-linux_x86_64.whl在当前目录下

下载完成安装命令

pip install llama_cpp_python-0.2.88-cp311-cp311-linux_x86_64.whl

启动Xinference

# 前台

xinference-local --host 0.0.0.0 --port 9997

# 后台

nohup xinference-local --host 0.0.0.0 --port 9997 & > output.log