Commit ef1c86ed authored by chenzk's avatar chenzk
Browse files

v1.0.1

parent 4d49d792
......@@ -227,7 +227,7 @@ curl http://0.0.0.0:8000/v1/chat/completions -H "Content-Type: application/j
}'
方法二:vllm离线推理
python infer_vllm.py # 以MiniMax-M1-40k示例
python infer_vllm.py # 此处以MiniMax-M1-40k进行示例,MiniMax-M1-80k的推理方式同理,MiniMax-M1-80k的最低硬件需求与MiniMax-M1-40k几乎一致。
# 对于报错:AttributeError: 'NoneType' object has no attribute 'info'
# 注释掉此行原始代码的logger日志打印即可:/usr/local/lib/python3.10/dist-packages/vllm/executor/ray_distributed_executor.py", line 127
```
......@@ -256,7 +256,7 @@ DCU与GPU精度一致,推理框架:vllm。
### 热点应用行业
`制造,广媒,金融,能源,医疗,家居,教育`
## 预训练权重
HF下载地址为:[MiniMaxAI/MiniMax-M1-40k](https://huggingface.co/MiniMaxAI/MiniMax-M1-40k)
HF下载地址为:[MiniMaxAI/MiniMax-M1-40k](https://huggingface.co/MiniMaxAI/MiniMax-M1-40k)[MiniMaxAI/MiniMax-M1-80k](https://huggingface.co/MiniMaxAI/MiniMax-M1-80k)
## 源码仓库及问题反馈
- http://developer.sourcefind.cn/codes/modelzoo/MiniMax-M1_vllm.git
## 参考资料
......
# 模型编码
modelCode=1636
modelCode=1638
# 模型名称
modelName=MiniMax-M1_vllm
# 模型描述
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment