README.md

# **Keras-cv**
## 1.Introduction：
相关环境配置及代码位置

```
Keras-CV源码及训练代码示例，DTK版本为22.04。TensorFlow版本为2.9，python版本支持3.7、3.8、3.9.
支持的网络有 ResNet101、ResNet50V2、RegNetX064、DarkNet53、DenseNet121、EfficientNetV2S
网络模型代码位于keras-cv/models.训练代码basic_training.py位于examples/training/classification/imagenet/
使用tfrecord格式的Imagenet数据集.相关网络的训练情况及参数设置位于examples/training/classification/imagenet/
rain_history.json
```
## 2.Install

目前keras-cv模型版本支持最低要求TF2.9+

```
安装DTK版本的TensorFlow2.9 pip install tensorflow-2.9.0+git28e158bd.dtk22042-cp37-cp37m-linux_x86_64.whl
执行python setup.py build
   python setup.py install
```    

## 3.Train 

训练脚本位于keras-cv/examples/training/classification/imagenet/trian_keras_cv.sh 注意basic_training.py中的分布式设置为
默认使用所有检测到的加速卡设备，若要指定几张加速卡参与训练使用export HIP_VISIBLE_DEVICES=x1，x2，x3来指定.

``` 
以乌镇平台为例，
1 数据准备
乌镇平台tfrecord格式的ImageNet数据集位置为/public/DL_DATA/imagenet_tfrecord/trrecord
2 创建虚拟环境
这里以anaconda3创建虚拟环境为例，
conda create -n tf2.9-keras python==3.7.0,  创建名为tf2.9-keras的虚拟环境，python版本为3.7.0
conda info --envs，  查看已经创建的虚拟环境
conda activate tf2.9-keras， 激活虚拟环境
下载tensorflow-2.9.0+git28e158bd.dtk22042-cp37-cp37m-linux_x86_64.whl安装包，pip install ... 安装dtk22.04版本的TensorFlow2.9
 其余所需的三方包与版本为
 Package                      Version
---------------------------- --------------------------
absl-py                      1.3.0
astunparse                   1.6.3
cachetools                   5.2.0
certifi                      2022.9.24
charset-normalizer           2.1.1
cycler                       0.11.0
dill                         0.3.6
etils                        0.9.0
flatbuffers                  1.12
fonttools                    4.38.0
gast                         0.4.0
google-auth                  2.13.0
google-auth-oauthlib         0.4.6
google-pasta                 0.2.0
googleapis-common-protos     1.57.0
grpcio                       1.50.0
h5py                         3.7.0
idna                         3.4
importlib-metadata           5.0.0
importlib-resources          5.10.0
keras                        2.9.0
keras-cv                     0.3.4
keras-nlp                    0.4.0
Keras-Preprocessing          1.1.2
kiwisolver                   1.4.4
libclang                     14.0.6
Markdown                     3.4.1
MarkupSafe                   2.1.1
matplotlib                   3.5.3
numpy                        1.21.6
oauthlib                     3.2.2
opt-einsum                   3.3.0
packaging                    21.3
Pillow                       9.3.0
pip                          22.2.2
promise                      2.3
protobuf                     3.19.6
pyasn1                       0.4.8
pyasn1-modules               0.2.8
pycocotools                  2.0.6
pyparsing                    3.0.9
python-dateutil              2.8.2
regex                        2022.9.13
requests                     2.28.1
requests-oauthlib            1.3.1
rsa                          4.9
setuptools                   63.4.1
six                          1.16.0
tensorboard                  2.9.1
tensorboard-data-server      0.6.1
tensorboard-plugin-wit       1.8.1
tensorflow                   2.9.0+git28e158bd.dtk22042
tensorflow-datasets          4.7.0
tensorflow-estimator         2.9.0
tensorflow-hub               0.12.0
tensorflow-io-gcs-filesystem 0.27.0
tensorflow-metadata          1.11.0
tensorflow-text              2.9.0
termcolor                    2.0.1
toml                         0.10.2
tqdm                         4.64.1
typing_extensions            4.4.0
urllib3                      1.26.12
Werkzeug                     2.2.2
wheel                        0.37.1
wrapt                        1.14.1
zipp                         3.10.0

环境配置完毕后，cd cd keras-cv/examples/training/classification/imagenet/, 进入训练脚本与训练代码所在位置
ln -s /public/DL_DATA/imagenet_tfrecord/trrecord imagenet, 创建数据集软链接
训练脚本为train_keras_cv.sh
训练脚本中的参数解释
--model_name ：所训练的模型名称，所支持的网络名称位于keras-cv/keras_cv/models/__init__.py，注意目前经过DTK22.04训练验证的网络有ResNet101、ResNet50V2、RegNetX064、DarkNet53、DenseNet121、EfficientNetV2S，其余网络尚未训练验证。
--imagenet_path ：数据集路径
--backup_path ：模型更新路径
--weights_path ：模型存储路径 注意：不要将该路径与--backup_path设置为同一个
--tensorboard_path ： tensorboard日志存储路径
--use_xla=False ：是否使用xla，当前版本使用xla存在错误，设置为False
--initial_learning_rate ： 起始学习率
--learning_rate_schedule ：学习率使用策略
--batch_size ：batch_size设置
--epochs ：训练迭代多少次

注意：进行断点续训时，第一个Epoch之后，训练日志输出的每个Epoch的step数量存在出入，可忽略，因为实际训练中每个Epoch的训练的step数量是不变的。此外已经经过训练验证的相关网络的数据记录在keras/examples/training/classification/imagenet/train_history.json文件中

```