Commit b64bfc78 authored by chenych's avatar chenych
Browse files

Fix transformers version

parent 35c01b71
...@@ -34,7 +34,7 @@ GLM-4.6V 可处理最多 128K tokens 的多文档或长文档输入,直接将 ...@@ -34,7 +34,7 @@ GLM-4.6V 可处理最多 128K tokens 的多文档或长文档输入,直接将
| DTK | 26.04 | | DTK | 26.04 |
| python | 3.10.12 | | python | 3.10.12 |
| torch | 2.9.0+das.opt1.dtk2604.20260206.g275d08c2 | | torch | 2.9.0+das.opt1.dtk2604.20260206.g275d08c2 |
| transformers | 5.2.0 | | transformers | 5.0.0.dev0 |
| vllm | 0.15.1+das.opt1.alpha.dtk2604.20260220.g2799735a | | vllm | 0.15.1+das.opt1.alpha.dtk2604.20260220.g2799735a |
推荐使用镜像: harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm0.15.1-ubuntu22.04-dtk26.04-0130-py3.10-20260220 推荐使用镜像: harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm0.15.1-ubuntu22.04-dtk26.04-0130-py3.10-20260220
...@@ -62,7 +62,7 @@ docker run -it \ ...@@ -62,7 +62,7 @@ docker run -it \
更多镜像可前往[光源](https://sourcefind.cn/#/service-list)下载使用,其它包安装: 更多镜像可前往[光源](https://sourcefind.cn/#/service-list)下载使用,其它包安装:
``` ```
pip install pycountry pip install pycountry
pip install -U transformers pip install git+https://github.com/huggingface/transformers.git@159219a6601ab87787b75cdc270b3b2438a9f0cf
``` ```
## 数据集 ## 数据集
...@@ -77,7 +77,6 @@ pip install -U transformers ...@@ -77,7 +77,6 @@ pip install -U transformers
```bash ```bash
## serve启动 ## serve启动
export ALLREDUCE_STREAM_WITH_COMPUTE=1 export ALLREDUCE_STREAM_WITH_COMPUTE=1
export HIP_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
export MOE_NN=0 export MOE_NN=0
vllm serve ZhipuAI/GLM-4.6V \ vllm serve ZhipuAI/GLM-4.6V \
...@@ -133,7 +132,7 @@ curl http://localhost:8001/v1/chat/completions \ ...@@ -133,7 +132,7 @@ curl http://localhost:8001/v1/chat/completions \
## 预训练权重 ## 预训练权重
| 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 |下载地址| | 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 |下载地址|
|:-----:|:----------:|:----------:|:---------------------:|:----------:| |:-----:|:----------:|:----------:|:---------------------:|:----------:|
| GLM-4.6V | 106B-A12B | BW1000 | 8 | [Modelscope](https://modelscope.cn/models/ZhipuAI/GLM-4.6V) | | GLM-4.6V | 106B | BW1000 | 8 | [Modelscope](https://modelscope.cn/models/ZhipuAI/GLM-4.6V) |
| GLM-4.6V-Flash | 9B | BW1000 | 1 | [Modelscope](https://modelscope.cn/models/ZhipuAI/GLM-4.6V-Flash) | | GLM-4.6V-Flash | 9B | BW1000 | 1 | [Modelscope](https://modelscope.cn/models/ZhipuAI/GLM-4.6V-Flash) |
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment