# LongCat-Video ## 论文 [LongCat-Video Technical Report](https://arxiv.org/abs/2510.22200) ## 模型简介 LongCat-Vedio,是一个拥有13.6B参数的基础适配生成模型，在多种适配生成任务重表现出色。擅长高效、高质量的生成长视频 **核心特点** - 🌟 **多任务统一架构：** LongCat-Video（长猫视频模型）在单一视频生成框架内，实现了文本生成视频（Text-to-Video）、图像生成视频（Image-to-Video）与视频续接（Video-Continuation）三大任务的统一。该模型仅通过单个模型即可原生支持所有上述任务，且在每个独立任务中均能稳定输出优异性能。 - 🌟 **长视频生成能力：** LongCat-Video 原生基于视频续接任务进行预训练，能够生成时长可达数分钟的视频，且过程中不会出现色彩偏移（color drifting）或画质下降（quality degradation）问题。 - 🌟 **高效推理性能：** LongCat-Video 采用时空双轴 “由粗到精”（coarse-to-fine）的生成策略，可在数分钟内生成 720p、30fps 规格的视频。此外，块稀疏注意力（Block Sparse Attention）技术进一步提升了推理效率，在高分辨率生成场景下效果尤为显著。 - 🌟 **多奖励 RLHF 驱动的卓越性能：** 借助多奖励分组相对策略优化（Group Relative Policy Optimization, GRPO）技术，通过内部基准与公开基准的全面评估显示，LongCat-Video 的性能可媲美主流开源视频生成模型及最新商业解决方案。 ![alt text](image.png) ## 环境依赖 | 软件 | 版本 | | :------: | :------: | | DTK | 25.04.2 | | python | 3.10.12 | | transformers | 4.57.1 | | vllm | 0.11.0+das.opt1.alpha.8e22ded.dtk25042 | | torch | 2.5.1+das.opt1.dtk25042 | | triton | 3.1+das.opt1.3c5d12d.dtk25041 | | flash_attn | 2.6.1+das.opt1.dtk2504 | | flash_mla | 1.0.0+das.opt1.dtk25042 | 当前仅支持镜像: - 挂载地址`-v`根据实际模型情况修改 ```bash docker run -it --shm-size 60g --network=host --name minimax_m2 --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root -v /opt/hyhal/:/opt/hyhal/:ro -v /path/your_code_path/:/path/your_code_path/ docker pull image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.2-py3.10 bash ``` 更多镜像可前往[光源](https://sourcefind.cn/#/service-list)下载使用。 关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.sourcefind.cn/tool/)开发者社区下载安装。 ```bash pip install -r requirements.txt ``` ## 数据集 暂无 ## 训练 暂无 ## 推理 ### pytorch #### 单机推理 可参考 run.sh文件 ##### 文生视频 ```shell # 单GPU推理 torchrun run_demo_text_to_video.py --checkpoint_dir=./weights/LongCat-Video # 多GPU推理 torchrun --nproc_per_node=8 run_demo_text_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video ``` ##### 图生视频 ```shell # 单GPU推理 torchrun run_demo_image_to_video.py --checkpoint_dir=./weights/LongCat-Video # 多GPU推理 torchrun --nproc_per_node=8 run_demo_image_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video ``` #### 长视频生成 ```shell # 单GPU推理 torchrun run_demo_long_video.py --checkpoint_dir=./weights/LongCat-Video # 多GPU推理 torchrun --nproc_per_node=8 run_demo_long_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video ``` ## 效果展示
### 精度 DCU与GPU精度一致，推理框架：transformers。 ## 预训练权重 | 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 |下载地址| |:-----:|:----------:|:----------:|:---------------------:|:----------:| | LongCat-Video | 13.6 B | K100AI | 1 | 🤗 [Huggingface](https://huggingface.co/meituan-longcat/LongCat-Video) | ## 源码仓库及问题反馈 - https://developer.sourcefind.cn/codes/modelzoo/longcat-video-pytorch ## 参考资料 - https://github.com/meituan-longcat/LongCat-Video