README.md

# LongCat-Video
## 论文
[LongCat-Video Technical Report](https://arxiv.org/abs/2510.22200)

## 模型简介
LongCat-Vedio,是一个拥有13.6B参数的基础适配生成模型，在多种适配生成任务重表现出色。擅长高效、高质量的生成长视频
**核心特点**
- 🌟 **多任务统一架构：** LongCat-Video（长猫视频模型）在单一视频生成框架内，实现了文本生成视频（Text-to-Video）、图像生成视频（Image-to-Video）与视频续接（Video-Continuation）三大任务的统一。该模型仅通过单个模型即可原生支持所有上述任务，且在每个独立任务中均能稳定输出优异性能。
- 🌟 **长视频生成能力：** LongCat-Video 原生基于视频续接任务进行预训练，能够生成时长可达数分钟的视频，且过程中不会出现色彩偏移（color drifting）或画质下降（quality degradation）问题。
- 🌟 **高效推理性能：** LongCat-Video 采用时空双轴 “由粗到精”（coarse-to-fine）的生成策略，可在数分钟内生成 720p、30fps 规格的视频。此外，块稀疏注意力（Block Sparse Attention）技术进一步提升了推理效率，在高分辨率生成场景下效果尤为显著。
- 🌟 **多奖励 RLHF 驱动的卓越性能：** 借助多奖励分组相对策略优化（Group Relative Policy Optimization, GRPO）技术，通过内部基准与公开基准的全面评估显示，LongCat-Video 的性能可媲美主流开源视频生成模型及最新商业解决方案。

![alt text](image.png)


## 环境依赖

| 软件 | 版本 |
| :------: | :------: |
| DTK | 25.04.2 |
| python | 3.10.12 |
| transformers | 4.57.1 |
| vllm | 0.11.0+das.opt1.alpha.8e22ded.dtk25042 |
| torch | 2.5.1+das.opt1.dtk25042 |
| triton | 3.1+das.opt1.3c5d12d.dtk25041 |
| flash_attn | 2.6.1+das.opt1.dtk2504 |
| flash_mla | 1.0.0+das.opt1.dtk25042 |

当前仅支持镜像:
- 挂载地址`-v`根据实际模型情况修改

```bash
docker run -it --shm-size 60g --network=host --name minimax_m2 --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root -v /opt/hyhal/:/opt/hyhal/:ro -v /path/your_code_path/:/path/your_code_path/ docker pull image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.2-py3.10  bash
```
更多镜像可前往[光源](https://sourcefind.cn/#/service-list)下载使用。

关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.sourcefind.cn/tool/)开发者社区下载安装。

```bash
pip install -r requirements.txt
```

## 数据集
暂无

## 训练
暂无

## 推理


### pytorch
#### 单机推理
可参考 run.sh文件
##### 文生视频
```shell
# 单GPU推理
torchrun run_demo_text_to_video.py --checkpoint_dir=./weights/LongCat-Video 
# 多GPU推理
torchrun --nproc_per_node=8 run_demo_text_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video 
```
##### 图生视频
```shell
# 单GPU推理
torchrun run_demo_image_to_video.py --checkpoint_dir=./weights/LongCat-Video 
# 多GPU推理
torchrun --nproc_per_node=8 run_demo_image_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video 
```

#### 长视频生成
```shell
# 单GPU推理
torchrun run_demo_long_video.py --checkpoint_dir=./weights/LongCat-Video 
# 多GPU推理
torchrun --nproc_per_node=8 run_demo_long_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video 
```
## 效果展示
<div align="center">
  <video src="https://github.com/user-attachments/assets/00fa63f0-9c4e-461a-a79e-c662ad596d7d" width="2264" height="384"> </video>
</div>

### 精度
DCU与GPU精度一致，推理框架：transformers。

## 预训练权重
| 模型名称  | 权重大小  | DCU型号  | 最低卡数需求 |下载地址|
|:-----:|:----------:|:----------:|:---------------------:|:----------:|
| LongCat-Video | 13.6 B | K100AI | 1 | 🤗 [Huggingface](https://huggingface.co/meituan-longcat/LongCat-Video) |

## 源码仓库及问题反馈
- https://developer.sourcefind.cn/codes/modelzoo/longcat-video-pytorch

## 参考资料
- https://github.com/meituan-longcat/LongCat-Video