Commit 5bdb0380 authored by chenych's avatar chenych
Browse files

Update README

parent 034c3360
# Deepseek-V3.1 # Deepseek-V3.1
## 论文 ## 论文
`DeepSeek-V3 Technical Report` 暂无
- https://arxiv.org/abs/2412.19437
## 模型结构 ## 模型结构
DeepSeek-V3.1 是一个支持思考模式和非思考模式的混合模型。与之前的版本相比,此次升级在多个方面都有所改进: DeepSeek-V3.1 是一个支持思考模式和非思考模式的混合模型。与之前的版本相比,此次升级在多个方面都有所改进:
...@@ -18,7 +17,7 @@ DeepSeek-V3.1 是在 DeepSeek-V3.1-Base 的基础上进行后置训练的。Deep ...@@ -18,7 +17,7 @@ DeepSeek-V3.1 是在 DeepSeek-V3.1-Base 的基础上进行后置训练的。Deep
## 环境配置 ## 环境配置
### 硬件需求 ### 硬件需求
DCU型号:BW200,节点数量:4台,卡数:32 张。 DCU型号:BW,节点数量:4台,卡数:32 张。
`-v 路径``docker_name``imageID`根据实际情况修改 `-v 路径``docker_name``imageID`根据实际情况修改
### Docker(方法一) ### Docker(方法一)
...@@ -65,7 +64,7 @@ python ./infer/fp8_cast_bf16.py --input-fp8-hf-path /path/to/fp8_weights --outpu ...@@ -65,7 +64,7 @@ python ./infer/fp8_cast_bf16.py --input-fp8-hf-path /path/to/fp8_weights --outpu
### vllm推理方法 ### vllm推理方法
#### server 多机 #### server 多机
样例模型:[deepseek-ai/DeepSeek-V3.1](https://huggingface.co/deepseek-ai/DeepSeek-V3) 样例模型:[DeepSeek-V3.1](https://huggingface.co/deepseek-ai/DeepSeek-V3.1 )
1. 加入环境变量 1. 加入环境变量
> 请注意: > 请注意:
...@@ -74,7 +73,9 @@ python ./infer/fp8_cast_bf16.py --input-fp8-hf-path /path/to/fp8_weights --outpu ...@@ -74,7 +73,9 @@ python ./infer/fp8_cast_bf16.py --input-fp8-hf-path /path/to/fp8_weights --outpu
> VLLM_HOST_IP:节点本地通信口ip,尽量选择IB网卡的IP,**避免出现rccl超时问题** > VLLM_HOST_IP:节点本地通信口ip,尽量选择IB网卡的IP,**避免出现rccl超时问题**
> >
> NCCL_SOCKET_IFNAME和GLOO_SOCKET_IFNAME:节点本地通信网口ip对应的名称 > NCCL_SOCKET_IFNAME和GLOO_SOCKET_IFNAME:节点本地通信网口ip对应的名称
>
> 通信口和ip查询方法:ifconfig > 通信口和ip查询方法:ifconfig
>
> IB口状态查询:ibstat !!!一定要active激活状态才可用,各个节点要保持统一 > IB口状态查询:ibstat !!!一定要active激活状态才可用,各个节点要保持统一
<div align=center> <div align=center>
...@@ -163,12 +164,11 @@ DCU与GPU精度一致,推理框架:vllm。 ...@@ -163,12 +164,11 @@ DCU与GPU精度一致,推理框架:vllm。
`制造,金融,教育` `制造,金融,教育`
## 预训练权重 ## 预训练权重
- [deepseek-ai/DeepSeek-V3.1](https://huggingface.co/deepseek-ai/DeepSeek-V3) - [DeepSeek-V3.1](https://huggingface.co/deepseek-ai/DeepSeek-V3.1)
- [deepseek-ai/DeepSeek-V3.1-Base](https://hf-mirror.com/deepseek-ai/DeepSeek-V3.1-Base) - [DeepSeek-V3.1-Base](https://huggingface.co/deepseek-ai/DeepSeek-V3.1-Base)
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
- https://developer.sourcefind.cn/codes/modelzoo/deepseek-v3.1_vllm - https://developer.sourcefind.cn/codes/modelzoo/deepseek-v3.1_vllm
## 参考资料 ## 参考资料
- https://huggingface.co/deepseek-ai - https://huggingface.co/deepseek-ai
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment