Commit 8c3a94c8 authored by dengjb's avatar dengjb
Browse files

update

parent 5fcbfb9b
# LongCat-Next_pytorch # LongCat-Next
## 论文 ## 论文
[LongCat-Next Technical Report](https://github.com/meituan-longcat/LongCat-Next/blob/main/tech_report.pdf) [LongCat-Next Technical Report](https://github.com/meituan-longcat/LongCat-Next/blob/main/tech_report.pdf)
## 模型简介 ## 模型简介
G本工作主要通过一种强调简洁性的设计理念来解决原生多模态的根本障碍,即将视觉和音频视为语言的内在延伸。作为实现这一目标的重要一步,我们提出了 LongCat-Next——一个离散原生多模态模型,它在离散框架内实现了工业级性能,同时在众多专业领域保持高度竞争力。该模型基于 LongCat-Flash-Lite MoE 主干网络(A3B)作为_多任务_学习器,将语言、视觉和音频统一于单一的离散框架之中。本文的主要贡献如下: 本工作主要通过一种强调简洁性的设计理念来解决原生多模态的根本障碍,即将视觉和音频视为语言的内在延伸。作为实现这一目标的重要一步,我们提出了 LongCat-Next——一个离散原生多模态模型,它在离散框架内实现了工业级性能,同时在众多专业领域保持高度竞争力。该模型基于 LongCat-Flash-Lite MoE 主干网络(A3B)作为多任务学习器,将语言、视觉和音频统一于单一的离散框架之中。本文的主要贡献如下:
- 🌟 离散原生自回归范式(DiNA)。 - 🌟 离散原生自回归范式(DiNA)。
我们提出了 DiNA,这是一种统一的范式,将语言中的下一个 token 预测扩展至原生多模态领域,将多种模态内化到共享的 token 空间中。该范式通过构建模态感知的分词器-反分词器对,并利用大语言模型成熟的训练基础设施,简化了多模态建模过程。 我们提出了 DiNA,这是一种统一的范式,将语言中的下一个 token 预测扩展至原生多模态领域,将多种模态内化到共享的 token 空间中。该范式通过构建模态感知的分词器-反分词器对,并利用大语言模型成熟的训练基础设施,简化了多模态建模过程。
- 🌟 离散视觉表示的语义完整性。 - 🌟 离散视觉表示的语义完整性。
...@@ -64,7 +64,7 @@ source fastpt -E ...@@ -64,7 +64,7 @@ source fastpt -E
暂无 暂无
## 推理 ## 推理
### pytorch ### transformers
#### 单机推理 #### 单机推理
推理脚本参考 推理脚本参考
...@@ -95,12 +95,12 @@ HIP_VISIBLE_DEVICES=0,1,2,3 python longcat-next_inference.py ...@@ -95,12 +95,12 @@ HIP_VISIBLE_DEVICES=0,1,2,3 python longcat-next_inference.py
</table> </table>
### 精度 ### 精度
DCU与GPU精度一致,推理框架:vllm DCU与GPU精度一致,推理框架:transformers
## 预训练权重 ## 预训练权重
| 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 | 下载地址 | | 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 | 下载地址 |
|:------:|:----:|:----------:|:------:|:---------------------:| |:------:|:----:|:----------:|:------:|:---------------------:|
| LongCat-Next | 68.5B | BW1000 | 4 | [Model Scope](https://www.modelscope.cn/models/meituan-longcat/LongCat-Next) | | LongCat-Next | 68.5B | BW1000 | 4 | [Modelscope](https://www.modelscope.cn/models/meituan-longcat/LongCat-Next) |
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
- https://developer.sourcefind.cn/codes/modelzoo/longcat-next_pytorch - https://developer.sourcefind.cn/codes/modelzoo/longcat-next_pytorch
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment