Commit 1228ae0a authored by dengjb's avatar dengjb
Browse files

update

parent 0a011e69
...@@ -35,7 +35,7 @@ Seed-OSS是字节跳动Seed团队于2025年8月开源的大型语言模型系列 ...@@ -35,7 +35,7 @@ Seed-OSS是字节跳动Seed团队于2025年8月开源的大型语言模型系列
| flash_attn | 2.6.1+das.opt1.dtk2504 | | flash_attn | 2.6.1+das.opt1.dtk2504 |
| flash_mla | 1.0.0+das.opt1.dtk25042 | | flash_mla | 1.0.0+das.opt1.dtk25042 |
当前仅支持镜像: 推荐使用镜像:
- 挂载地址`-v`根据实际模型情况修改 - 挂载地址`-v`根据实际模型情况修改
```bash ```bash
...@@ -55,11 +55,10 @@ docker run -it --shm-size 60g --network=host --name seed_oss --privileged --devi ...@@ -55,11 +55,10 @@ docker run -it --shm-size 60g --network=host --name seed_oss --privileged --devi
### vllm ### vllm
#### 单机推理 #### 单机推理
可参考vllm_serve.sh脚本
```bash ```bash
## serve启动 ## serve启动
## 可参考vllm_serve.sh脚本
vllm serve /path/of/ByteDance-Seed/Seed-OSS-36B-Instruct/ \ vllm serve /path/of/ByteDance-Seed/Seed-OSS-36B-Instruct/ \
--trust-remote-code \ --trust-remote-code \
--max-model-len 32768 \ --max-model-len 32768 \
...@@ -68,7 +67,7 @@ vllm serve /path/of/ByteDance-Seed/Seed-OSS-36B-Instruct/ \ ...@@ -68,7 +67,7 @@ vllm serve /path/of/ByteDance-Seed/Seed-OSS-36B-Instruct/ \
-tp 2 -tp 2
## client访问 ## client访问
可参考vllm_cilent.sh ## 可参考vllm_cilent.sh
curl http://localhost:8000/v1/chat/completions \ curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \ -H "Content-Type: application/json" \
-d '{ -d '{
...@@ -93,7 +92,7 @@ DCU与GPU精度一致,推理框架:vllm。 ...@@ -93,7 +92,7 @@ DCU与GPU精度一致,推理框架:vllm。
## 预训练权重 ## 预训练权重
| 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 |下载地址| | 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 |下载地址|
|:-----:|:----------:|:----------:|:---------------------:|:----------:| |:-----:|:----------:|:----------:|:---------------------:|:----------:|
| Seed-OSS-36B-Instruct | 32B | BW1000 | 2 | [下载地址](https://huggingface.co/ByteDance-Seed/Seed-OSS-36B-Instruct) | | Seed-OSS-36B-Instruct | 36B | BW1000 | 2 | [huggingface](https://huggingface.co/ByteDance-Seed/Seed-OSS-36B-Instruct) |
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
- https://developer.sourcefind.cn/codes/modelzoo/seed-oss_vllm - https://developer.sourcefind.cn/codes/modelzoo/seed-oss_vllm
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment