Skip to content

GitLab

Commit ef1c86ed authored by chenzk's avatar chenzk
Browse files

v1.0.1

parent 4d49d792
Show whitespace changes
Inline Side-by-side
Showing with 3 additions and 3 deletions
README.md
View file @ ef1c86ed
...@@ -227,7 +227,7 @@ curl http://0.0.0.0:8000/v1/chat/completions -H "Content-Type: application/j ...@@ -227,7 +227,7 @@ curl http://0.0.0.0:8000/v1/chat/completions -H "Content-Type: application/j
}' }'
方法二：vllm离线推理 方法二：vllm离线推理
python infer_vllm.py # 以MiniMax-M1-40k示例 python infer_vllm.py # 此处以MiniMax-M1-40k进行示例，MiniMax-M1-80k的推理方式同理，MiniMax-M1-80k的最低硬件需求与MiniMax-M1-40k几乎一致。
# 对于报错：AttributeError: 'NoneType' object has no attribute 'info' # 对于报错：AttributeError: 'NoneType' object has no attribute 'info'
# 注释掉此行原始代码的logger日志打印即可：/usr/local/lib/python3.10/dist-packages/vllm/executor/ray_distributed_executor.py", line 127 # 注释掉此行原始代码的logger日志打印即可：/usr/local/lib/python3.10/dist-packages/vllm/executor/ray_distributed_executor.py", line 127
``` ```
...@@ -256,7 +256,7 @@ DCU与GPU精度一致，推理框架：vllm。 ...@@ -256,7 +256,7 @@ DCU与GPU精度一致，推理框架：vllm。
### 热点应用行业 ### 热点应用行业
`制造,广媒,金融,能源,医疗,家居,教育` `制造,广媒,金融,能源,医疗,家居,教育`
## 预训练权重 ## 预训练权重
HF下载地址为：[MiniMaxAI/MiniMax-M1-40k](https://huggingface.co/MiniMaxAI/MiniMax-M1-40k) HF下载地址为：[MiniMaxAI/MiniMax-M1-40k](https://huggingface.co/MiniMaxAI/MiniMax-M1-40k) 、[MiniMaxAI/MiniMax-M1-80k](https://huggingface.co/MiniMaxAI/MiniMax-M1-80k)
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
- http://developer.sourcefind.cn/codes/modelzoo/MiniMax-M1_vllm.git - http://developer.sourcefind.cn/codes/modelzoo/MiniMax-M1_vllm.git
## 参考资料 ## 参考资料
......
model.properties
View file @ ef1c86ed
# 模型编码 # 模型编码
modelCode=1636 modelCode=1638
# 模型名称 # 模型名称
modelName=MiniMax-M1_vllm modelName=MiniMax-M1_vllm
# 模型描述 # 模型描述
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment