Commit 03312b4a authored by chenych's avatar chenych
Browse files

Update README

parent a05560f3
......@@ -4,19 +4,20 @@
GLM 4.6技术报告与 4.5 一致
## 模型结构
GLM-4.6 是智谱最新的旗舰模型,其总参数量 355B,激活参数 32B。GLM-4.6 所有核心能力上均完成了对 GLM-4.5 的超越,具体如下:
高级编码能力:在公开基准与真实编程任务中,GLM-4.6 的代码能力对齐 Claude Sonnet 4,是国内已知的最好的 Coding 模型。
- **上下文长度:**上下文窗口由 128K200K,适应更长的代码和智能体任务。
GLM-4.6 是智谱最新的旗舰MOE模型,其总参数量 355B,激活参数 32B。GLM-4.6 所有核心能力上均完成了对 GLM-4.5 的超越,具体如下:
- **高级编码能力:**在公开基准与真实编程任务中,GLM-4.6 的代码能力对齐 Claude Sonnet 4,是国内已知的最好的 Coding 模型。
- **上下文长度:**上下文窗口由 128K拓展到200K,适应更长的代码和智能体任务。
- **推理能力:**推理能力提升,并支持在推理过程中调用工具。
- **搜索能力:**增强了模型在工具用和搜索智能体上的表现,在智能体框架中表现更好
- **智能体:**GLM-4.6 在工具使用和基于搜索智能体方面表现更强,并能更高效地融入智能体框架
- **写作能力:**在文风、可读性与角色扮演场景中更符合人类偏好。
- **多语言翻译:**进一步增强跨语种任务的处理效果。
<div align=center>
<img src="./doc/model.png"/>
</div>
## 算法原理
采用了多阶段的训练方案,并将序列长度从 4K 增加到了 128K。在预训练期间,模型首先在 15T token 的通用预训练语料库上训练,然后在 7T token 的代码和推理语料库上训练。预训练后,引入了 Mid-Training 阶段来进一步提升模型在专有领域上的性能。
<div align=center>
<img src="./doc/method.png"/>
</div>
......@@ -135,7 +136,7 @@ ray start --address='x.x.x.x:6379' --num-gpus=8 --num-cpus=32
> intel cpu 需要加参数:`--enforce-eager`
```bash
vllm zai-org/GLM-4.6 \
vllm serve zai-org/GLM-4.6 \
--enforce-eager \
--trust-remote-code \
--distributed-executor-backend ray \
......
......@@ -9,4 +9,4 @@ appScenario=推理,对话问答,制造,金融,教育,广媒
# 框架类型
frameType=vllm
# 加速卡类型
accelerateType=K100AI
\ No newline at end of file
accelerateType=K100AI,BW1000
\ No newline at end of file
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment