Commit baeceabc authored by chenzk's avatar chenzk
Browse files

Update sf.md

parent 6bbca948
...@@ -6,12 +6,12 @@ ...@@ -6,12 +6,12 @@
## 模型结构 ## 模型结构
Vision Transformer先将图像用卷积进行分块以降低计算量,再对每一块进行展平处理变成序列,然后将序列添加位置编码和cls token,再输入多层Transformer结构提取特征,最后将cls tooken取出来通过一个MLP(多层感知机)用于分类。 Vision Transformer先将图像用卷积进行分块以降低计算量,再对每一块进行展平处理变成序列,然后将序列添加位置编码和cls token,再输入多层Transformer结构提取特征,最后将cls tooken取出来通过一个MLP(多层感知机)用于分类。
![img](https://developer.hpccube.com/codes/modelzoo/megatron-deepspeed-vit_pytorch/-/raw/main/doc/vit.png) ![img](https://developer.sourcefind.cn/codes/modelzoo/megatron-deepspeed-vit_pytorch/-/raw/main/doc/vit.png)
## 算法原理 ## 算法原理
图像领域借鉴《Transformer is all you need!》算法论文中的Encoder结构提取特征,Transformer的核心思想是利用注意力模块attention提取特征: 图像领域借鉴《Transformer is all you need!》算法论文中的Encoder结构提取特征,Transformer的核心思想是利用注意力模块attention提取特征:
![img](https://developer.hpccube.com/codes/modelzoo/megatron-deepspeed-vit_pytorch/-/raw/main/doc/attention.png) ![img](https://developer.sourcefind.cn/codes/modelzoo/megatron-deepspeed-vit_pytorch/-/raw/main/doc/attention.png)
## 环境配置 ## 环境配置
### Docker(方法一) ### Docker(方法一)
...@@ -31,7 +31,7 @@ docker run --rm --shm-size 10g --network=host --name=megatron --privileged --dev ...@@ -31,7 +31,7 @@ docker run --rm --shm-size 10g --network=host --name=megatron --privileged --dev
``` ```
### Anaconda(方法三) ### Anaconda(方法三)
1、关于本项目DCU显卡所需的特殊深度学习库可从光合开发者社区下载安装: https://developer.hpccube.com/tool/ 1、关于本项目DCU显卡所需的特殊深度学习库可从光合开发者社区下载安装: https://developer.sourcefind.cn/tool/
```plaintext ```plaintext
DTK驱动:dtk24.04.1 DTK驱动:dtk24.04.1
...@@ -98,7 +98,7 @@ python3 -m torch.distributed.launch --nproc_per_node=8 train.py --name cifar10-1 ...@@ -98,7 +98,7 @@ python3 -m torch.distributed.launch --nproc_per_node=8 train.py --name cifar10-1
制造,能源,交通,网安 制造,能源,交通,网安
### 源码仓库及问题反馈 ### 源码仓库及问题反馈
- https://developer.hpccube.com/codes/modelzoo/vit_pytorch - https://developer.sourcefind.cn/codes/modelzoo/vit_pytorch
### 参考资料 ### 参考资料
- https://github.com/jeonsworld/ViT-pytorch - https://github.com/jeonsworld/ViT-pytorch
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment