README.md

# <div align="center"><strong>vLLM</strong></div>

## 安装
vLLM支持
+ Python 3.10.

### 使用源码编译方式安装

#### 编译环境准备

基于光源vllm0.9.2基础镜像环境:
```shell
docker pull image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.1-rc5-rocblas104381-0915-das1.6-py3.10-20250916-rc2 
```

镜像除编译环境外，已包含运行vllm需要的如下HCU依赖：
* DTK驱动：dtk25.04.1
* Pytorch: 2.5.1
* triton: 3.0.0
* lmslim: 0.3.1
* flash_attn: 2.6.1
* flash_mla: 1.0.0
* lightop: 0.5.0


#### 源码编译安装
1. 下载源码并进入目录
```shell
git clone -b v0.9.2 https://github.com/vllm-project/vllm.git
cd vllm
```

2. patch生成与执行(若单独打patch执行可忽略):
- 生成
```shell
diff -Naur v0.9.2 patch-0.9.2+das.opt1.rc2.dtk2504 > patch_vllm.patch
```

- 执行
```shell
patch -p1 < patch_vllm.patch
```

3. 获取manylinux so并添加

- 需要将该包安装目录下的_C.abi3.so和_moe_C.abi3.so拷贝至/opt/dtk/并添加软链接至vllm
```shell
cp /usr/local/lib/python3.10/dist-packages/vllm/*.so /opt/dtk/
ln -s /opt/dtk/*.so vllm/
```

4. 安装依赖:
```shell
pip install -r requirements/rocm.txt
```

5. 编译及安装
- 编译whl包并安装
```shell
python setup.py bdist_wheel 
cd dist
pip install vllm*
```
- 源码编译安装
```shell
pip install . --no-build-isolation
```

#### 注意事项
+ 若使用 pip install 下载安装过慢,可添加源:-i https://pypi.tuna.tsinghua.edu.cn/simple/

## 验证
- python -c "import vllm; print(vllm.\_\_version__)",版本号与官方版本同步,查询该软件的版本号,例如0.9.2;

## Known Issue
- 无

## 参考资料
- [https://github.com/vllm-project/vllm](https://github.com/vllm-project/vllm)