Commit 78daaf2c authored by renzhc's avatar renzhc
Browse files

update readme

parent 0d5d0b15
...@@ -63,17 +63,121 @@ pip install -r requirements.txt ...@@ -63,17 +63,121 @@ pip install -r requirements.txt
## 数据集
## 示例 ### ImageNet
本仓库中提供了几个在tiny-imagenet下进行测试的脚本,用8卡从零开始训练resnet50的运行方式如下, 在本项目中可以使用ImageNet数据集。下载ImageNet数据集:https://image-net.org/
可于SCNet快速下载[imagenet-2012](http://113.200.138.88:18080/aidatasets/project-dependency/imagenet-2012)
下载其中的ILSVRC2012_img_train.tar和ILSVRC2012_img_val.tar并按照以下方式解包
```bash
cd mmpretrain-mmcv/data/imagenet
mkdir train && cd train
tar -xvf ILSVRC2012_img_train.tar
```
解包后是1000个tar文件,每个tar对应了一个类别,解包至对应文件夹
```bash
for tarfile in *.tar; do
dirname="${tarfile%.tar}"
mkdir "$dirname"
tar -xvf "$tarfile" -C "$dirname"
done
```
目录结构如下
```
data
└── imagenet
├── train
│   ├── n01440764
│   │   ├── n01440764_10026.JPEG
│   │   ├── n01440764_10027.JPEG
├──val
│   ├── n01440764
│   │   ├── ILSVRC2012_val_00000293.JPEG
```
### tiny-imagenet-200
由于ImageNet完整数据集较大,可以使用[tiny-imagenet-200](http://cs231n.stanford.edu/tiny-imagenet-200.zip)进行测试,此时需要对配置脚本进行一些修改:
- dataset配置文件(configs/\_\_base\_\_/datasets/xxx.py)中,需要对以下字段进行修改
```python
# dataset settings
dataset_type = 'CustomDataset' # 修改为CustomDataset
data_preprocessor = dict(
num_classes=200, # 修改类别为200
...
)
...
train_dataloader = dict(
batch_size=32,
num_workers=5,
dataset=dict(
type=dataset_type,
data_root='data/imagenet',
data_prefix='train', # 改为data_prefix='train',val_dataloader中同理
pipeline=train_pipeline),
sampler=dict(type='DefaultSampler', shuffle=True),
)
```
- model配置文件(configs/\_\_base\_\_/models/xxx.py)中,同样需要将类别相关的值设置为200。
```python
# model settings
model = dict(
type='ImageClassifier',
...
head=dict(
type='LinearClsHead',
num_classes=200, # 将类别数改为200
...
))
```
mmpretrain-mmcv中提供了使用tiny-imagenet-200进行训练的若干配置脚本,可参考进行设置。
将训练数据集解压后放置于mmpretrain-mmcv/data/,对于tiny-imagenet,目录结构如下:
```
data
└── imagenet
├── test/
├── train/
├── val/
├── wnids.txt
└── words.txt
```shell
bash tools/dist_train.sh resnet50-test.py 8
``` ```
更多的配置在configs目录下,均可通过以下方式运行 ## 启动训练
```shell ```shell
bash tools/dist_train.sh <配置文件脚本> <训练用卡数> bash tools/dist_train.sh <配置文件脚本> <训练用卡数>
``` ```
如遇端口占用问题,可在tools/dist_train.sh修改端口
更多的配置文件在configs目录下,可根据需要进行修改,继承的基础配置在configs/\_base\_/下,具体地
- configs/\_base\_/datasets/xxx.py 数据集相关配置
- configs/\_base\_/models/xxx.py 模型相关配置
- configs/\_base\_/shedules/xxx.py 训练过程相关配置
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment