README.md 4.3 KB
Newer Older
dcuai's avatar
dcuai committed
1
# HRNet
Sugon_ldc's avatar
Sugon_ldc committed
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
## 论文
`Deep High-Resolution Representation Learning for Human Pose Estimation`

- [https://arxiv.org/pdf/1902.09212.pdf](https://arxiv.org/pdf/1902.09212.pdf)
## 模型结构
HRnet模型是一种多分支的卷积神经网络结构,通过在不同分辨率的特征图之间进行信息交互和融合,实现了高效的人体姿态估计任务。

![hrnet_1](hrnet_1.jpg)


## 算法原理
HRnet模型通过构建多分支的卷积神经网络,在不同层级的特征图之间进行信息交互和融合,利用分层特征的高分辨率和全局上下文信息,实现了准确的人体姿态估计。

![hrnet_2](hrnet_2.jpg)


## 环境配置
### Docker(方法一)
此处提供[光源](https://www.sourcefind.cn/#/service-details)拉取docker镜像的地址与使用步骤
```
docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:1.10.0-centos7.6-dtk-22.10-py38-latest

docker run -it -v /path/your_code_data/:/path/your_code_data/ --shm-size=32G --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name docker_name imageID bash

pip3 install -r requirements.txt
```
### Dockerfile(方法二)
此处提供dockerfile的使用方法
```
cd ./docker
docker build --no-cache -t hrnet:1.0 .
docker run -it -v /path/your_code_data/:/path/your_code_data/ --shm-size=32G --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name docker_name imageID bash

pip3 install -r requirements.txt
```
### Anaconda(方法三)
此处提供本地配置、编译的详细步骤,例如:

关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.hpccube.com/tool/)开发者社区下载安装。
```
DTK驱动:dtk22.10
python:python3.8
torch:1.10
torchvision:0.10
mmcv-full:1.6.1+gitdebbc80.dtk2210
```
`Tips:以上dtk驱动、python、paddle等DCU相关工具版本需要严格一一对应`

此外安装如下三方库

```
Sugon_ldc's avatar
Sugon_ldc committed
53
pip3 install -r conda_requirement.txt
Sugon_ldc's avatar
Sugon_ldc committed
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
```



## 数据集
`COCO2017`

[训练数据](http://images.cocodataset.org/zips/train2017.zip)

[验证数据](http://images.cocodataset.org/zips/val2017.zip)

[测试数据](http://images.cocodataset.org/zips/test2017.zip)

[标签数据](https://github.com/ultralytics/yolov5/releases/download/v1.0/coco2017labels.zip)

bailuo's avatar
bailuo committed
69
70
71
72
73
74
75
76
77
78
或者通过SCNet下载[COCO2017](http://113.200.138.88:18080/aidatasets/coco2017)数据集:

[训练数据](http://113.200.138.88:18080/aidatasets/coco2017/-/blob/main/train2017.zip)

[验证数据](http://113.200.138.88:18080/aidatasets/coco2017/-/blob/main/val2017.zip)

[测试数据](http://113.200.138.88:18080/aidatasets/coco2017/-/blob/main/test2017.zip)

[标签数据](http://113.200.138.88:18080/aidatasets/coco2017/-/blob/main/annotations_trainval2017.zip)

Sugon_ldc's avatar
Sugon_ldc committed
79
80
81
82
83
84
85
86
87
88
89
数据集的目录结构如下:

```
├── images 
│   ├── train2017
│   ├── val2017
│   ├── test2017
├── labels
│   ├── train2017
│   ├── val2017
├── annotations
Sugon_ldc's avatar
Sugon_ldc committed
90
91
92
93
94
│   ├── person_keypoints_train2017.json
│   ├── person_keypoints_val2017.json
│   ├── captions_train2017.json
│   ├── captions_val2017.json
│   ├── instances_train2017.json
Sugon_ldc's avatar
Sugon_ldc committed
95
96
97
98
99
100
101
102
103
104
│   ├── instances_val2017.json
├── LICENSE
├── README.txt 
├── test-dev2017.txt
├── train2017.txt
├── val2017.txt

```

## 训练
Sugon_ldc's avatar
Sugon_ldc committed
105
首先执行如下指令
Sugon_ldc's avatar
Sugon_ldc committed
106
107
108
109
```
pip3 install -e .
```

Sugon_ldc's avatar
Sugon_ldc committed
110
数据集的路径可以通过修改configs/body/2d_kpt_sview_rgb_img/associative_embedding/coco/hrnet_w32_coco_512x512.py文件中的数据集路径
Sugon_ldc's avatar
Sugon_ldc committed
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140

### 单机多卡
```
bash train.sh
#默认为4卡,若需要调整卡数,请修改HIP_VISIBLE_DEVICES的值
```

## result

<img src="https://user-images.githubusercontent.com/15977946/173139730-32ce89a0-9a09-4f07-b39f-8e794a8b2630.gif" height="270px" alt>


### 精度
测试数据:COCO2017,使用的加速卡:Z100L。

根据测试结果情况填写表格:
| 卡数 | 准确率 |
| :------: | :------: |
| 4 | AP=0.6504;AR=0.7086 |
## 应用场景
### 算法类别
`姿态估计`

### 热点应用行业
`交通,政府,家居`

## 源码仓库及问题反馈
- [https://developer.hpccube.com/codes/modelzoo/hrnet_pytorch](https://developer.hpccube.com/codes/modelzoo/hrnet_pytorch)
## 参考资料
- https://github.com/open-mmlab/mmpose/blob/master/configs/body/2d_kpt_sview_rgb_img/cid/coco/hrnet_w32_coco_512x512.py