Initial commit

3e644c05 · yongshk · 811e7409 · 3e644c05
Commit 3e644c05 authored Nov 17, 2023 by yongshk
Hide whitespace changes
Inline Side-by-side

Showing with 92 additions and 52 deletions

README.md README.md +92 -52

No files found.
--- a/README.md
+++ b/README.md
-# UNET
+# PIX2PIXHD
+
 ## 论文
-`U-Net: Convolutional Networks for Biomedical Image Segmentation`

- https://arxiv.org/abs/1505.04597
+` High-Resolution Image Synthesis and Semantic `
+
+- https://arxiv.org/pdf/1711.11585.pdf
+
 ## 模型结构
- UNet（全名 U-Net）是一种用于图像分割的卷积神经网络（CNN）架构，UNet 的结构具有 U 形状，因此得名。 
+模型整体的结构是conditional GAN。 模型与Pix2pix相比更换了coarse-to-fine的生成器、multi-scale的判别器。
+
+![](https://developer.hpccube.com/codes/modelzoo/pix2pixhd_pytorch/-/raw/master/doc/Pix2PixHD-GAN-model-for-paired-image-to-image-translation.png)

-![img](https://developer.hpccube.com/codes/modelzoo/unet-pytorch/-/raw/main/doc/unet.png)
 ## 算法原理
-U-Net 的核心原理如下：

-1. **编码器（Contracting Path）**：U-Net 的编码器由卷积层和池化层组成，用于捕捉图像的特征信息并逐渐减小分辨率。这一部分的任务是将输入图像缩小到一个低分辨率的特征图，同时保留有关图像内容的关键特征。
-2. **中间层（Bottleneck）**：在编码器和解码器之间，U-Net 包括一个中间层，通常由卷积层组成，用于进一步提取特征信息。
-3. **解码器（Expansive Path）**：U-Net 的解码器包括上采样层和卷积层，用于将特征图恢复到原始输入图像的分辨率。解码器的任务是将高级特征与低级特征相结合，以便生成分割结果。这一部分的结构与编码器相对称。
+ pix2pixHD的算法原理是基于条件生成对抗网络（Conditional Generative Adversarial Nets）。它是一个由两个部分组成的网络：生成器和判别器。生成器用于从训练数据中合成图像，而判别器则负责判断生成的图像是否真实。 
+
+![](https://developer.hpccube.com/codes/modelzoo/pix2pixhd_pytorch/-/raw/master/doc/pix2pixHD原理.png)

-![img](https://developer.hpccube.com/codes/modelzoo/unet-pytorch/-/raw/main/doc/原理.png)
 ## 环境配置
+
 ### Docker（方法一）
-此处提供[光源](https://www.sourcefind.cn/#/service-details)拉取docker镜像的地址与使用步骤
-```
-docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:1.10.0-centos7.6-dtk-23.04-py37-latest

-docker run -it --network=host --name=unet --privileged --device=/dev/kfd --device=/dev/dri --ipc=host --shm-size=32G  --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root --ulimit stack=-1:-1 --ulimit memlock=-1:-1  image.sourcefind.cn:5000/dcu/admin/base/pytorch:1.10.0-centos7.6-dtk-23.04-py37-latest
+此处提供[光源](https://www.sourcefind.cn/#/service-details)拉取docker镜像
+
 ```
+docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:1.10.0-centos7.6-dtk-22.10-py37-latest
+docker run -it --network=host --name=bert_prof --privileged --device=/dev/kfd --device=/dev/dri --ipc=host --shm-size=32G  --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root --ulimit stack=-1:-1 --ulimit memlock=-1:-1 image.sourcefind.cn:5000/dcu/admin/base/pytorch:1.10.0-centos7.6-dtk-22.10-py37-latest
+```
+
 ### Dockerfile（方法二）

-此处提供dockerfile的使用方法
+dockerfile使用方法

 ```
-docker build --no-cache -t unet:latest .
-docker run -dit --network=host --name=unet --privileged --device=/dev/kfd --device=/dev/dri --ipc=host --shm-size=16G  --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root --ulimit stack=-1:-1 --ulimit memlock=-1:-1 unet:latest
-docker exec -it unet /bin/bash
+docker build --no-cache -t pix2pixhd:latest .
+docker run -dit --network=host --name=pix2pixhd --privileged --device=/dev/kfd --device=/dev/dri --ipc=host --shm-size=16G  --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root --ulimit stack=-1:-1 --ulimit memlock=-1:-1 pix2pixhd:latest
+docker exec -it pix2pixhd /bin/bash
 pip install -r requirements.txt
 ```

 ### Anaconda（方法三）

-此处提供本地配置、编译的详细步骤，例如：
-
 关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.hpccube.com/tool/)开发者社区下载安装。
+
 ```
-DTK驱动：dtk23.04
+DTK驱动：dtk22.10
 python：python3.7
-apex==0.1+f49ddd4.abi0.dtk2304.torch1.13
-torch==1.13.1+git55d300e.abi0.dtk2304
-torchvision==0.14.1+git9134838.abi0.dtk2304.torch1.13
+apex==0.1+gitdb7007a.dtk2210
+torch==1.10.0a0+git2040069.dtk2210
 ```
+
 `Tips：以上dtk驱动、python等DCU相关工具版本需要严格一一对应`

 其它非深度学习库参照requirements.txt安装：
+
 ```
 pip install -r requirements.txt
 ```
+
 ## 数据集
-`Carvana`

- https://www.kaggle.com/c/carvana-image-masking-challenge/data
+`模型使用数据为cityscapes`
+
+- <https://www.cityscapes-dataset.com/>

-此处提供数据预处理脚本的使用方法
-```
-bash scripts/download_data.sh
-```
 项目中已提供用于试验训练的迷你数据集，训练数据目录结构如下，用于正常训练的完整数据集请按此目录结构进行制备：
+
 ```
- ── data
-    │   ├── imgs
-    │   ├──────fff9b3a5373f_15.jpg
-    │   ├──────fff9b3a5373f_16.jpg
-    │   └── masks
-    │   ├────── fff9b3a5373f_15.gif
-    │   ├────── fff9b3a5373f_16.gif
+ ── dataset
+ ────── cityscapes
+       │   ├── train_label
+       │             ├── xxx.png
+       │             ├── xxx.png
+       │             └── ...
+       │   └── train_inst
+       │             ├── xxx.png
+       │             ├── xxx.png
+       │             └── ...
+       │   └── train_img
+       │             ├── xxx.png
+       │             ├── xxx.png
+       │             └── ...
+       │   └── test_label
+       │             ├── xxx.png
+       │             ├── xxx.png
+       │             └── ...
+       │   └── test_inst
+       │             ├── xxx.png
+       │             ├── xxx.png
+       │             └── ...
 ```
+
+
+
+
 ## 训练
 ### 单机单卡
+
+以 1024 x 512 分辨率训练模型
+
 ```
-python train.py
+#!./scripts/train_512p.sh
+python train.py --name label2city_512p
 ```
+
 ### 单机多卡
+
 ```
-python -m torch.distributed.launch --nproc_per_node 4 train_ddp.py
+#!./scripts/train_512p.sh
+python train.py --name label2city_512p --batchSize 4 --gpu_ids 0,1,2,3
 ```

 ## 推理

-[模型下载路径](https://github.com/milesial/Pytorch-UNet/releases/tag/v3.0)
+    python test.py --name label2city_512p \
+                   --netG local \
+                   --ngf 32 \
+                   --resize_or_crop none \

-```
-python predict.py -m model_path -i image.jpg -o output.jpg
-```
 ## result
-![rusult](https://developer.hpccube.com/codes/modelzoo/unet-pytorch/-/raw/main/doc/结果.png)
+
+测试图
+
+![](https://developer.hpccube.com/codes/modelzoo/pix2pixhd_pytorch/-/raw/master/doc/face1_1.jpg) )

 ### 精度
-测试数据：[test data](https://www.kaggle.com/c/carvana-image-masking-challenge/data)，使用的加速卡:Z100L。（采用iou系数）
+
+测试数据：<https://www.cityscapes-dataset.com/>，使用的加速卡:Z100L。

 根据测试结果情况填写表格：
-| Unet | 精度 | 速度 |
-| :------: | :------: | :------: |
-| Carvana | 0.976 | 25.96 |
+
+| pix2pixHD  | G_GAN | G_GAN_Feat | G_VGG | D_fake | D_real |
+| :--------: | :---: | ---------- | ----- | ------ | :----: |
+| cityscapes | 0.540 | 6.153      | 3.087 | 0.534  | 0.424  |
+
 ## 应用场景
+
 ### 算法类别

-`图像分割`
+`图像超分`

 ### 热点应用行业
-`医疗`
+
+`设计`

 ## 源码仓库及问题反馈
- https://developer.hpccube.com/codes/modelzoo/unet-pytorch
+
+* [https://github.com/NVIDIA/pix2pixHD](https://github.com/NVIDIA/pix2pixHD)
 ## 参考资料
- https://github.com/milesial/Pytorch-Unet
+* [https://github.com/NVIDIA/pix2pixHD](https://github.com/NVIDIA/pix2pixHD)
+