"docs/source/serving/distributed_serving.rst" did not exist on "0b7db411b5af4bf8a3a0cf989daa024ba5401ac1"
Explore GitLab
Discover projects, groups and snippets. Share your projects with others
-
OCR模型
-
-
6.0.7.19 的 FSL，需要额外进行DCU适配的部分组件如仓库所示；
-
用DeepStream进行视频推理的应用示例。
-
-
-
-
-
-
DTK-compatible Spack configs.
-
-
Step 3.5 Flash专为极致效率而生，具备前沿的推理能力和卓越的智能体（Agent）性能。
-
-
-
-
-
DCU 视频编解码框架ffmpeg python api demo
-
FINCH将context分成多块，然后依次与prompt拼接输入模型并级联起来推理，从而把完整context切小来减小显存占用。
-
-
PyramidKV构建金字塔形缓存结构，低层分配更多缓存，高层分配较少缓存，从而减少显存占用。