Commit 2c1b702c authored by weishb's avatar weishb
Browse files

更新vllm部署方式

parent b33a9457
# Qwen3.6
# Spark-X1
## 论文
[Spark-Prover-X1: Formal Theorem Proving Through Diverse Data Training](https://arxiv.org/abs/2511.13043)
......@@ -39,15 +39,6 @@ docker run -it \
关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.sourcefind.cn/tool/)开发者社区下载安装。
其它包安装:
```bash
cd /path/to/Spark-Formalizer-X1-7B
pip install . #在任一权重目录执行命令,只需要安装一次,切换模型不需要重复安装
pip uninstall transformers
pip install transformers==4.56.1
```
## 预训练权重
**请根据`支持的DCU型号`选择对应模型下载,FP8模型仅在BW1100/BW1101上支持,其他型号请勿使用!**
| 模型名称 | 权重大小 | 数据类型 |支持的DCU型号 | 最低卡数需求 | 下载地址 |
......@@ -111,6 +102,34 @@ response = tokenizer.decode(
print(response)
```
### vLLM
#### 单机推理
```bash
# serve启动
# 以Spark-Scilit-X1-13B为例
vllm serve /path/to/Spark-Scilit-X1-13B \
--generation-config vllm \
--trust-remote-code \
--dtype bfloat16 \
--max-model-len 16384 \
--served-model-name Spark-Scilit-X1-13B
# client访问
curl http://127.0.0.1:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "Spark-Formalizer-X1-7B",
"messages": [
{
"role": "user",
"content": "请回答下列问题:高分子材料是否具有柔顺性主要决定于()的运动能力。\nA、主链链节\nB、侧基\nC、侧基内的官能团或原子?"
}
],
"temperature": 0,
"top_p": 1,
"max_tokens": 512
}'
```
## 效果展示
<div align=center>
......
......@@ -9,6 +9,6 @@ processType=推理
# 算法类别
appCategory=对话问答
# 框架类型
frameType=transformers
frameType=pytorch
# 加速卡类型
accelerateType=BW1000,K100AI
\ No newline at end of file
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment