Commit 5bdb0380 authored by chenych's avatar chenych
Browse files

Update README

parent 034c3360
# Deepseek-V3.1
## 论文
`DeepSeek-V3 Technical Report`
- https://arxiv.org/abs/2412.19437
暂无
## 模型结构
DeepSeek-V3.1 是一个支持思考模式和非思考模式的混合模型。与之前的版本相比,此次升级在多个方面都有所改进:
......@@ -18,7 +17,7 @@ DeepSeek-V3.1 是在 DeepSeek-V3.1-Base 的基础上进行后置训练的。Deep
## 环境配置
### 硬件需求
DCU型号:BW200,节点数量:4台,卡数:32 张。
DCU型号:BW,节点数量:4台,卡数:32 张。
`-v 路径``docker_name``imageID`根据实际情况修改
### Docker(方法一)
......@@ -65,7 +64,7 @@ python ./infer/fp8_cast_bf16.py --input-fp8-hf-path /path/to/fp8_weights --outpu
### vllm推理方法
#### server 多机
样例模型:[deepseek-ai/DeepSeek-V3.1](https://huggingface.co/deepseek-ai/DeepSeek-V3)
样例模型:[DeepSeek-V3.1](https://huggingface.co/deepseek-ai/DeepSeek-V3.1 )
1. 加入环境变量
> 请注意:
......@@ -74,7 +73,9 @@ python ./infer/fp8_cast_bf16.py --input-fp8-hf-path /path/to/fp8_weights --outpu
> VLLM_HOST_IP:节点本地通信口ip,尽量选择IB网卡的IP,**避免出现rccl超时问题**
>
> NCCL_SOCKET_IFNAME和GLOO_SOCKET_IFNAME:节点本地通信网口ip对应的名称
>
> 通信口和ip查询方法:ifconfig
>
> IB口状态查询:ibstat !!!一定要active激活状态才可用,各个节点要保持统一
<div align=center>
......@@ -163,12 +164,11 @@ DCU与GPU精度一致,推理框架:vllm。
`制造,金融,教育`
## 预训练权重
- [deepseek-ai/DeepSeek-V3.1](https://huggingface.co/deepseek-ai/DeepSeek-V3)
- [deepseek-ai/DeepSeek-V3.1-Base](https://hf-mirror.com/deepseek-ai/DeepSeek-V3.1-Base)
- [DeepSeek-V3.1](https://huggingface.co/deepseek-ai/DeepSeek-V3.1)
- [DeepSeek-V3.1-Base](https://huggingface.co/deepseek-ai/DeepSeek-V3.1-Base)
## 源码仓库及问题反馈
- https://developer.sourcefind.cn/codes/modelzoo/deepseek-v3.1_vllm
## 参考资料
- https://huggingface.co/deepseek-ai
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment