Commit a4a1303b authored by dengjb's avatar dengjb
Browse files

update

parent 1034e764
...@@ -55,7 +55,7 @@ Olmo 是一系列开源语言模型,旨在推动语言模型的科学研究。 ...@@ -55,7 +55,7 @@ Olmo 是一系列开源语言模型,旨在推动语言模型的科学研究。
| flash_attn | 2.6.1+das.opt1.dtk2504 | | flash_attn | 2.6.1+das.opt1.dtk2504 |
| flash_mla | 1.0.0+das.opt1.dtk25042 | | flash_mla | 1.0.0+das.opt1.dtk25042 |
当前仅支持镜像: 推荐使用镜像:
- 挂载地址`-v`根据实际模型情况修改 - 挂载地址`-v`根据实际模型情况修改
```bash ```bash
...@@ -75,8 +75,9 @@ docker run -it --shm-size 60g --network=host --name olmo-3 --privileged --device ...@@ -75,8 +75,9 @@ docker run -it --shm-size 60g --network=host --name olmo-3 --privileged --device
### pytorch ### pytorch
#### 单机推理 #### 单机推理
可参考run.sh脚本
```python ```python
# 可参考run.sh脚本
from transformers import AutoModelForCausalLM, AutoTokenizer from transformers import AutoModelForCausalLM, AutoTokenizer
olmo = AutoModelForCausalLM.from_pretrained("/path/to/allenai/Olmo-3-7B-Think") olmo = AutoModelForCausalLM.from_pretrained("/path/to/allenai/Olmo-3-7B-Think")
tokenizer = AutoTokenizer.from_pretrained("/path/to/allenai/Olmo-3-7B-Think") tokenizer = AutoTokenizer.from_pretrained("/path/to/allenai/Olmo-3-7B-Think")
...@@ -100,7 +101,7 @@ DCU与GPU精度一致,推理框架:pytorch。 ...@@ -100,7 +101,7 @@ DCU与GPU精度一致,推理框架:pytorch。
## 预训练权重 ## 预训练权重
| 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 |下载地址| | 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 |下载地址|
|:-----:|:----------:|:----------:|:---------------------:|:----------:| |:-----:|:----------:|:----------:|:---------------------:|:----------:|
| Olmo-3-7B-Think | 7B | BW1000 | 1 | [下载地址](https://modelscope.cn/models/allenai/Olmo-3-7B-Think) | | Olmo-3-7B-Think | 7B | BW1000 | 1 | [modelscope](https://modelscope.cn/models/allenai/Olmo-3-7B-Think) |
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
- https://developer.sourcefind.cn/codes/modelzoo/olmo3_pytorch - https://developer.sourcefind.cn/codes/modelzoo/olmo3_pytorch
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment