Commit da529d77 authored by lijian6's avatar lijian6
Browse files

modify readme.md and model.properties.


Signed-off-by: lijian6's avatarlijian <lijian6@sugon.com>
parent ea13d43e
...@@ -3,7 +3,7 @@ ...@@ -3,7 +3,7 @@
* @email: lijian6@sugon.com * @email: lijian6@sugon.com
* @Date: 2023-06-06 * @Date: 2023-06-06
* @LastEditTime: 2023-06-06 * @LastEditTime: 2023-06-06
* @FilePath: \lpr\README.md * @FilePath: README.md
--> -->
# Vision Transformer(ViT) # Vision Transformer(ViT)
...@@ -22,20 +22,23 @@ Vision Transformer模型结构如下图所示主要包括三部分,patch embed ...@@ -22,20 +22,23 @@ Vision Transformer模型结构如下图所示主要包括三部分,patch embed
## 训练 ## 训练
### 环境配置 ### 环境配置
[光源](https://www.sourcefind.cn/#/service-details)可拉取训练以及推理的docker镜像,推荐的镜像如下:
[光源](https://www.sourcefind.cn/#/service-details)可拉取训练的docker镜像,推荐的镜像如下:
* 训练镜像:docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:1.10.0-centos7.6-dtk-22.10.1-py37-latest * 训练镜像:docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:1.10.0-centos7.6-dtk-22.10.1-py37-latest
[光合开发者社区](https://cancon.hpccube.com:65024/4/main/)下载MIGraphX 若想使用MIGraphX做推理,可[光合开发者社区](https://cancon.hpccube.com:65024/4/main/)下载MIGraphX.
### Fine-tunning ### Fine-tunning
模型的训练程序是train.py,预训练模型为[base_patch16_224_in21k](https://github.com/rwightman/pytorch-image-models/releases/download/v0.1-vitjx/jx_vit_base_patch16_224_in21k-e5005f0a.pth),需要先下载与训练模型。fine-tuning训练模型使用以下命令:
模型的训练程序是train.py,预训练模型为[base_patch16_224_in21k](https://github.com/rwightman/pytorch-image-models/releases/download/v0.1-vitjx/jx_vit_base_patch16_224_in21k-e5005f0a.pth),需要先下载预训练模型。fine-tuning训练模型使用以下命令:
python train.py python train.py
Fine-tuning时可调整epoch参数来调整模型。 Fine-tuning时可调整epoch参数来调整模型。
### 预训练模型 ### 预训练模型
在weights文件夹下我们提供了一个预训练模型以及对应的fine-tuning模型和onnx模型。
本项目使用[base_patch16_224_in21k](https://github.com/rwightman/pytorch-image-models/releases/download/v0.1-vitjx/jx_vit_base_patch16_224_in21k-e5005f0a.pth)为预训练模型,需自行下载。下载完预训练模型和数据集,即可开始fine-tun。可用torch进行推理,也可转为onnx模型使用MIGraphX进行推理。
### 推理 ### 推理
推理测试模型用infer_pytroch.py和infer_migraphx.py对训练出的模型进行推理,使用方法如下: 推理测试模型用infer_pytroch.py和infer_migraphx.py对训练出的模型进行推理,使用方法如下:
......
...@@ -22,7 +22,7 @@ ...@@ -22,7 +22,7 @@
## 项目介绍 ## 项目介绍
ViT是将Transformer应用到视觉领域模型框架,本项目是ViT模型在MIGraphX框架上的分类推理示例 ViT是将Transformer应用到视觉领域模型结构,本项目是ViT模型在MIGraphX推理框架上的分类推理示例
## 环境配置 ## 环境配置
......
...@@ -3,6 +3,6 @@ modelName=Vision_Transformer ...@@ -3,6 +3,6 @@ modelName=Vision_Transformer
# 模型描述 # 模型描述
modelDescription=ViT是一个基于transformer的视觉图像分类模型 modelDescription=ViT是一个基于transformer的视觉图像分类模型
# 应用场景(多个标签以英文逗号分割) # 应用场景(多个标签以英文逗号分割)
appScenario=MIGraphX,Pythorch,图形分类,训练,推理,train,inference,C++ appScenario=训练,推理,train,inference,Pythorch,MIGraphX,图像分类,C++
# 框架类型(多个标签以英文逗号分割) # 框架类型(多个标签以英文逗号分割)
frameType=MIGraphX,Pythorch frameType=MIGraphX,Pythorch
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment