Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
LongCat-Next_pytorch
Commits
8c3a94c8
Commit
8c3a94c8
authored
Apr 01, 2026
by
dengjb
Browse files
update
parent
5fcbfb9b
Changes
1
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
5 additions
and
5 deletions
+5
-5
README.md
README.md
+5
-5
No files found.
README.md
View file @
8c3a94c8
# LongCat-Next
_pytorch
# LongCat-Next
## 论文
## 论文
[
LongCat-Next Technical Report
](
https://github.com/meituan-longcat/LongCat-Next/blob/main/tech_report.pdf
)
[
LongCat-Next Technical Report
](
https://github.com/meituan-longcat/LongCat-Next/blob/main/tech_report.pdf
)
## 模型简介
## 模型简介
G
本工作主要通过一种强调简洁性的设计理念来解决原生多模态的根本障碍,即将视觉和音频视为语言的内在延伸。作为实现这一目标的重要一步,我们提出了 LongCat-Next——一个离散原生多模态模型,它在离散框架内实现了工业级性能,同时在众多专业领域保持高度竞争力。该模型基于 LongCat-Flash-Lite MoE 主干网络(A3B)作为
_
多任务
_
学习器,将语言、视觉和音频统一于单一的离散框架之中。本文的主要贡献如下:
本工作主要通过一种强调简洁性的设计理念来解决原生多模态的根本障碍,即将视觉和音频视为语言的内在延伸。作为实现这一目标的重要一步,我们提出了 LongCat-Next——一个离散原生多模态模型,它在离散框架内实现了工业级性能,同时在众多专业领域保持高度竞争力。该模型基于 LongCat-Flash-Lite MoE 主干网络(A3B)作为多任务学习器,将语言、视觉和音频统一于单一的离散框架之中。本文的主要贡献如下:
-
🌟 离散原生自回归范式(DiNA)。
-
🌟 离散原生自回归范式(DiNA)。
我们提出了 DiNA,这是一种统一的范式,将语言中的下一个 token 预测扩展至原生多模态领域,将多种模态内化到共享的 token 空间中。该范式通过构建模态感知的分词器-反分词器对,并利用大语言模型成熟的训练基础设施,简化了多模态建模过程。
我们提出了 DiNA,这是一种统一的范式,将语言中的下一个 token 预测扩展至原生多模态领域,将多种模态内化到共享的 token 空间中。该范式通过构建模态感知的分词器-反分词器对,并利用大语言模型成熟的训练基础设施,简化了多模态建模过程。
-
🌟 离散视觉表示的语义完整性。
-
🌟 离散视觉表示的语义完整性。
...
@@ -64,7 +64,7 @@ source fastpt -E
...
@@ -64,7 +64,7 @@ source fastpt -E
暂无
暂无
## 推理
## 推理
###
pytorch
###
transformers
#### 单机推理
#### 单机推理
推理脚本参考
推理脚本参考
...
@@ -95,12 +95,12 @@ HIP_VISIBLE_DEVICES=0,1,2,3 python longcat-next_inference.py
...
@@ -95,12 +95,12 @@ HIP_VISIBLE_DEVICES=0,1,2,3 python longcat-next_inference.py
</table>
</table>
### 精度
### 精度
DCU与GPU精度一致,推理框架:
vllm
。
DCU与GPU精度一致,推理框架:
transformers
。
## 预训练权重
## 预训练权重
| 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 | 下载地址 |
| 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 | 下载地址 |
|:------:|:----:|:----------:|:------:|:---------------------:|
|:------:|:----:|:----------:|:------:|:---------------------:|
| LongCat-Next | 68.5B | BW1000 | 4 |
[
Model
S
cope
](
https://www.modelscope.cn/models/meituan-longcat/LongCat-Next
)
|
| LongCat-Next | 68.5B | BW1000 | 4 |
[
Model
s
cope
](
https://www.modelscope.cn/models/meituan-longcat/LongCat-Next
)
|
## 源码仓库及问题反馈
## 源码仓库及问题反馈
-
https://developer.sourcefind.cn/codes/modelzoo/longcat-next_pytorch
-
https://developer.sourcefind.cn/codes/modelzoo/longcat-next_pytorch
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment