Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
xuwx1
LightX2V
Commits
50006ef4
"examples/vscode:/vscode.git/clone" did not exist on "7c7cc7e0c2061f4122409a00d415b205e29fc5cf"
Commit
50006ef4
authored
Jul 12, 2025
by
Harahan
Committed by
GitHub
Jul 12, 2025
Browse files
Merge pull request #107 from Linboyan-trc/04_ReadMe
update cache blog
parents
ba02a9b8
b194f1b3
Changes
1
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
7 additions
and
3 deletions
+7
-3
docs/ZH_CN/source/method_tutorials/cache.md
docs/ZH_CN/source/method_tutorials/cache.md
+7
-3
No files found.
docs/ZH_CN/source/method_tutorials/cache.md
View file @
50006ef4
...
...
@@ -7,9 +7,9 @@
-
在推理过程中,需要缓存如中间特征、残差、注意力输出等关键内容。当进入可复用时间步时,直接利用已缓存的内容,通过泰勒展开等近似方法重构当前输出,从而减少重复计算,实现高效推理。
### TeaCache
`TeaCache`
的核心思想是通过对相邻时间步输入的
**相对L1**
距离进行累加,当累计距离达到设定阈值时,判定当前时间步
可以进行缓存复用
。
`TeaCache`
的核心思想是通过对相邻时间步输入的
**相对L1**
距离进行累加,当累计距离达到设定阈值时,判定当前时间步
不使用缓存复用;相反,当累计距离未达到设定阈值时则使用缓存复用加速推理过程
。
-
具体来说,算法在每一步推理时计算当前输入与上一步输入的相对L1距离,并将其累加。
-
当累计距离超过阈值,说明模型状态变化不明显,则直接复用最近一次缓存的内容,跳过部分冗余计算。这样可以显著减少模型的前向计算次数,提高推理速度。
-
当累计距离
未
超过阈值,说明模型状态变化不明显,则直接复用最近一次缓存的内容,跳过部分冗余计算。这样可以显著减少模型的前向计算次数,提高推理速度。
实际效果上,TeaCache 在保证生成质量的前提下,实现了明显的加速。加速前后的视频对比如下:
...
...
@@ -22,7 +22,11 @@
-
参考论文:
[
https://arxiv.org/abs/2411.19108
](
https://arxiv.org/abs/2411.19108
)
### TaylorSeer Cache
`TaylorSeer Cache`
的核心在于利用泰勒公式对缓存内容进行再次计算,作为缓存复用时间步的残差补偿。具体做法是在缓存复用的时间步,不仅简单地复用历史缓存,还通过泰勒展开对当前输出进行近似重构。这样可以在减少计算量的同时,进一步提升输出的准确性。泰勒展开能够有效捕捉模型状态的微小变化,使得缓存复用带来的误差得到补偿,从而在加速的同时保证生成质量。
`TaylorSeer Cache`
适用于对输出精度要求较高的场景,能够在缓存复用的基础上进一步提升模型推理的表现。
`TaylorSeer Cache`
的核心在于利用泰勒公式对缓存内容进行再次计算,作为缓存复用时间步的残差补偿。
-
具体做法是在缓存复用的时间步,不仅简单地复用历史缓存,还通过泰勒展开对当前输出进行近似重构。这样可以在减少计算量的同时,进一步提升输出的准确性。
-
泰勒展开能够有效捕捉模型状态的微小变化,使得缓存复用带来的误差得到补偿,从而在加速的同时保证生成质量。
`TaylorSeer Cache`
适用于对输出精度要求较高的场景,能够在缓存复用的基础上进一步提升模型推理的表现。
| 加速前 | 加速后 |
|:------:|:------:|
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment