Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
Unicorn_pytorch
Commits
0695d0d0
Commit
0695d0d0
authored
Jul 18, 2024
by
bailuo
Browse files
update readme
parent
f8772570
Pipeline
#1389
canceled with stages
Changes
1
Pipelines
1
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
40 additions
and
3 deletions
+40
-3
README.md
README.md
+40
-3
No files found.
README.md
View file @
0695d0d0
...
@@ -15,7 +15,7 @@ Unicorn 的统一表现在可以使用相同的模型参数通过单个网络同
...
@@ -15,7 +15,7 @@ Unicorn 的统一表现在可以使用相同的模型参数通过单个网络同
</div>
</div>
## 算法原理
## 算法原理
Unicorn 由三个部分组成:统一输入与主干、统一嵌入、统一头。三个组件分别负责获得强大的视觉表征、建立精确的对应关系和检测不同的跟踪目标。
Unicorn 由三个部分组成:统一输入与主干、统一嵌入、统一
输出
头。三个组件分别负责获得强大的视觉表征、建立精确的对应关系和检测不同的跟踪目标。
-
统一输入和主干
\
-
统一输入和主干
\
为了有效地定位多个潜在目标,Unicorn 将整个图像(参考帧和当前帧)而不是局部搜索区域作为输入。在特征提取过程中,参考帧和当前帧通过权重共享主干获得特征金字塔表示(FPN)。为了在计算对应关系时保持重要细节并减少计算负担,本文选择 stride 为 16 的特征图作为之后嵌入模块的输入。参考帧和当前帧的相应特征分别称为 F_ref 和 F_cur。
为了有效地定位多个潜在目标,Unicorn 将整个图像(参考帧和当前帧)而不是局部搜索区域作为输入。在特征提取过程中,参考帧和当前帧通过权重共享主干获得特征金字塔表示(FPN)。为了在计算对应关系时保持重要细节并减少计算负担,本文选择 stride 为 16 的特征图作为之后嵌入模块的输入。参考帧和当前帧的相应特征分别称为 F_ref 和 F_cur。
-
统一嵌入
\
-
统一嵌入
\
...
@@ -65,8 +65,27 @@ cd ../../..
...
@@ -65,8 +65,27 @@ cd ../../..
cd /your_code_path/unicorn/docker
cd /your_code_path/unicorn/docker
docker build --no-cache -t codestral:latest .
docker build --no-cache -t codestral:latest .
docker run -it -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro --shm-size=16G --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name docker_name imageID bash
docker run -it -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro --shm-size=16G --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name docker_name imageID bash
cd /your_code_path/unicorn
cd /your_code_path/unicorn
pip install -r requirements.txt
pip3 install -U pip && pip3 install -r requirements.txt
pip3 install -v -e . # or python3 setup.py develop
# Install Deformable Attention
cd unicorn/models/ops
bash make.sh
cd ../../..
# Install mmcv, mmdet
cd external/qdtrack
# 确认一下环境中 mmcv_full=1.6.1+git0d20119.abi0.dtk2304.torch1.10 版本
pip3 install --user mmdet==2.26
# Install bdd100k
cd bdd100k
python3 setup.py develop --user
pip3 uninstall -y scalabel
pip3 install --user git+https://github.com/scalabel/scalabel.git
cd ../../..
```
```
### Anaconda(方法三)
### Anaconda(方法三)
<!-- 此处提供本地配置、编译的详细步骤,例如: -->
<!-- 此处提供本地配置、编译的详细步骤,例如: -->
...
@@ -81,7 +100,25 @@ pytorch:1.10.0
...
@@ -81,7 +100,25 @@ pytorch:1.10.0
其它非深度学习库参照requirements.txt安装:
其它非深度学习库参照requirements.txt安装:
```
```
pip install -r requirements.txt
pip3 install -U pip && pip3 install -r requirements.txt
pip3 install -v -e . # or python3 setup.py develop
# Install Deformable Attention
cd unicorn/models/ops
bash make.sh
cd ../../..
# Install mmcv, mmdet
cd external/qdtrack
pip3 install --user mmcv_full==1.6.1 # 根据具体情况选择对应版本
pip3 install --user mmdet==2.26
# Install bdd100k
cd bdd100k
python3 setup.py develop --user
pip3 uninstall -y scalabel
pip3 install --user git+https://github.com/scalabel/scalabel.git
cd ../../..
```
```
## 数据集
## 数据集
数据集有COCO, LaSOT, GOT-10K, TrackingNet, DAVIS, Youtube-VOS 2018, MOT17, CrowdHuman, ETHZ等。
\
数据集有COCO, LaSOT, GOT-10K, TrackingNet, DAVIS, Youtube-VOS 2018, MOT17, CrowdHuman, ETHZ等。
\
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment