Commit 53261a65 authored by dengjb's avatar dengjb
Browse files

update

parent e8a143ef
# GPT-OSS # gpt-oss
## 论文 ## 论文
[GPT-OSS](https://arxiv.org/pdf/2508.10925) [gpt-oss](https://arxiv.org/pdf/2508.10925)
## 模型简介 ## 模型简介
...@@ -75,9 +75,14 @@ docker run -it \ ...@@ -75,9 +75,14 @@ docker run -it \
#### 单机推理 #### 单机推理
vllm服务端运行
```bash ```bash
bash dirs/run_vllm_server.sh bash dirs/run_vllm_server.sh
``` ```
vllm客户端调用
```bash
bash dirs/test_inference.sh
```
## 效果展示 ## 效果展示
...@@ -93,8 +98,8 @@ bash dirs/run_vllm_server.sh ...@@ -93,8 +98,8 @@ bash dirs/run_vllm_server.sh
| 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 |下载地址| | 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 |下载地址|
|:-----:|:----------:|:----------:|:---------------------:|:----------:| |:-----:|:----------:|:----------:|:---------------------:|:----------:|
| gpt-oss-20b | 20B | BW1000 | 1 | [Modelscope](https://www.modelscope.cn/models/unsloth/gpt-oss-20b-BF16) | | gpt-oss-20b-BF16 | 20B | BW1000 | 1 | [Modelscope](https://www.modelscope.cn/models/unsloth/gpt-oss-20b-BF16) |
| gpt-oss-120b | 120B | BW1000 | 4 | [Modelscope](https://www.modelscope.cn/models/unsloth/gpt-oss-120b-BF16) | | gpt-oss-120b-BF16 | 120B | BW1000 | 4 | [Modelscope](https://www.modelscope.cn/models/unsloth/gpt-oss-120b-BF16) |
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment