Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
Salience-DETR_pytorch
Commits
6828a7e3
Commit
6828a7e3
authored
Jul 15, 2024
by
luopl
Browse files
Update README.md
parent
3f9daf8f
Changes
1
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
2 additions
and
0 deletions
+2
-0
README.md
README.md
+2
-0
No files found.
README.md
View file @
6828a7e3
...
@@ -15,6 +15,7 @@ SlalenceDETR和主流的两阶段DETR类方法之间的主要架构区别在于
...
@@ -15,6 +15,7 @@ SlalenceDETR和主流的两阶段DETR类方法之间的主要架构区别在于
Salience DETR和主流的两阶段类DETR方法之间的主要架构差异在于detection transformer encoder 和 query refinement。主要包含以下几个部分:
Salience DETR和主流的两阶段类DETR方法之间的主要架构差异在于detection transformer encoder 和 query refinement。主要包含以下几个部分:
(1)显著引导的监督
(1)显著引导的监督
根据预测的置信度,查询过滤更新信息最丰富的查询,以以更少的计算负担实现类似的性能。从Focus DETR 中汲取灵感,为多尺度特性中的每个级别的查询提供监督。没有构建只分类前景和背景的离散标签{0,1},而是构建了一个尺度独立的显著性作为监督目标来克服尺度偏差。
根据预测的置信度,查询过滤更新信息最丰富的查询,以以更少的计算负担实现类似的性能。从Focus DETR 中汲取灵感,为多尺度特性中的每个级别的查询提供监督。没有构建只分类前景和背景的离散标签{0,1},而是构建了一个尺度独立的显著性作为监督目标来克服尺度偏差。
(2)层次查询过滤
(2)层次查询过滤
...
@@ -26,6 +27,7 @@ Revisting query filtering in Focus DETR。Focus DETR引入了一个额外的分
...
@@ -26,6 +27,7 @@ Revisting query filtering in Focus DETR。Focus DETR引入了一个额外的分
通常,高级标记比低级标记带来更少的计算负担,同时保留更多的信息语义。因此,除了传统的分层滤波外,一个自然的动机是引入分层滤波来处理多尺度特性。文章引入了两个集合作为相应的滤波比,对于第t个编码器层和第l个特征级,只有顶部的v
*t*
w
*l*
查询进行注意编码,而其他查询保持不变。
通常,高级标记比低级标记带来更少的计算负担,同时保留更多的信息语义。因此,除了传统的分层滤波外,一个自然的动机是引入分层滤波来处理多尺度特性。文章引入了两个集合作为相应的滤波比,对于第t个编码器层和第l个特征级,只有顶部的v
*t*
w
*l*
查询进行注意编码,而其他查询保持不变。
(4)跨级令牌融合
(4)跨级令牌融合
针对特定级别的过滤比率导致的不同级别查询的语义错位,文章提出了一种令牌融合模块,该模块利用路径聚合结构来处理跨级别的信息交互。在该模块中,通过提出的 RepVGGPluXBlock融合相邻的令牌,如图所示。
针对特定级别的过滤比率导致的不同级别查询的语义错位,文章提出了一种令牌融合模块,该模块利用路径聚合结构来处理跨级别的信息交互。在该模块中,通过提出的 RepVGGPluXBlock融合相邻的令牌,如图所示。
<div
align=
center
>
<div
align=
center
>
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment