Commit 9133b867 authored by chenych's avatar chenych
Browse files

Modify model name and update README.

parent 55d71fab
# Kimi-K2-Thinking # Kimi-K2
## 论文 ## 论文
[Kimi-K2-Thinking technical blog](https://moonshotai.github.io/Kimi-K2/thinking.html) [Kimi K2: Open Agentic Intelligence](https://arxiv.org/abs/2507.20534)
## 模型简介 ## 模型简介
Kimi K2 Thinking是最新、能力最强的开源推理模型版本。自Kimi K2起,我们将其构建为一个能够逐步推理并动态调用工具的推理智能体。通过在“人类最后考试”(Humanity's Last Exam, HLE)、“浏览复杂度评估”(BrowseComp)等多项基准测试中显著扩展多步推理深度,并保持对200–300次顺序调用的稳定工具使用,Kimi K2 Thinking树立了新的行业标杆。同时,K2 Thinking作为原生INT4量化模型,拥有256k上下文窗口,实现了推理延迟和GPU内存占用的无损降低。 Kimi K2 是一款最先进的混合专家(MoE)语言模型,激活参数为 320 亿,总参数为 1 万亿。通过 Muon 优化器进行训练,Kimi K2 在前沿知识、推理和编码任务上表现出色,同时精心优化了代理能力。
**核心特性**:
- 深度推理与工具协同:经过端到端训练,能够将思维链推理与函数调用交错进行,支持自主研究、代码生成与写作工作流,可在数百个步骤中保持逻辑连贯,不发生偏离。
- 原生 INT4 量化:在后训练阶段采用量化感知训练技术,在低延迟模式下实现无损的2倍推理加速。
- 稳定的长程任务执行能力:可在连续多达200–300次工具调用过程中保持连贯的目标导向行为,超越了此前模型在30–50步后性能衰减的局限。
**主要特点**:
- 大规模训练:在 15.5 万亿个 token 上预训练了 1 万亿参数的 MoE 模型,无训练不稳定性。
- MuonClip 优化器:我们将 Muon 优化器应用到了前所未有的规模,并开发了新的优化技术来解决扩展时的不稳定性。
- 代理智能:专门设计用于工具使用、推理和自主问题解决。
## 环境依赖 ## 环境依赖
| 软件 | 版本 | | 软件 | 版本 |
...@@ -113,7 +112,6 @@ ray start --address='x.x.x.x:6379' --num-gpus=8 --num-cpus=32 ...@@ -113,7 +112,6 @@ ray start --address='x.x.x.x:6379' --num-gpus=8 --num-cpus=32
```bash ```bash
## serve启动 ## serve启动
vllm serve moonshotai/Kimi-K2-Thinking \ vllm serve moonshotai/Kimi-K2-Thinking \
-tp 32 \ -tp 32 \
--distributed-executor-backend ray \ --distributed-executor-backend ray \
...@@ -148,7 +146,7 @@ DCU与GPU精度一致,推理框架:vllm。 ...@@ -148,7 +146,7 @@ DCU与GPU精度一致,推理框架:vllm。
| Kimi-K2-Thinking | 1T | BW1000 | 32 | [Hugging Face](https://huggingface.co/moonshotai/Kimi-K2-Thinking) | | Kimi-K2-Thinking | 1T | BW1000 | 32 | [Hugging Face](https://huggingface.co/moonshotai/Kimi-K2-Thinking) |
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
- https://developer.sourcefind.cn/codes/modelzoo/kimi-k2-thinking_vllm - https://developer.sourcefind.cn/codes/modelzoo/kimi-k2_vllm
## 参考资料 ## 参考资料
- https://github.com/MoonshotAI/Kimi-K2 - https://github.com/MoonshotAI/Kimi-K2
# 模型唯一标识 # 模型唯一标识
modelCode=2159 modelCode=2159
# 模型名称 # 模型名称
modelName=Kimi-K2-Thinking_vllm modelName=Kimi-K2_vllm
# 模型描述 # 模型描述
modelDescription=Kimi-K2-Thinking作为原生INT4量化模型,拥有256k上下文窗口,实现了推理延迟和GPU内存占用的无损降低。 modelDescription=Kimi-K2作为原生INT4量化模型,拥有256k上下文窗口,实现了推理延迟和GPU内存占用的无损降低。
# 运行过程 # 运行过程
processType=推理 processType=推理
# 算法类别 # 算法类别
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment