Commit 9c5beeac authored by “yuguo”'s avatar “yuguo”
Browse files

update

parent d6b60084
...@@ -47,9 +47,7 @@ LLaMA,这是一个基础语言模型的集合,参数范围从7B到65B。在 ...@@ -47,9 +47,7 @@ LLaMA,这是一个基础语言模型的集合,参数范围从7B到65B。在
$ tree ./FastChat-main/playground/data $ tree ./FastChat-main/playground/data
── alpaca-data-conversation.json ── alpaca-data-conversation.json
## LLAMA-13B微调(使用mpi) ## 环境配置
### 环境配置
按照节点环境修改env.sh,环境变量参考dtk-22.10。修改2节点16卡Z00L裸金属节点,要求dtk环境正常,mpirun文件夹下包含预编译好的openmpi库mpi4.tar.gz,可直接使用。关于本项目DCU显卡所需torch库等均可从[光合](https://developer.hpccube.com/tool/)开发者社区下载安装: 按照节点环境修改env.sh,环境变量参考dtk-22.10。修改2节点16卡Z00L裸金属节点,要求dtk环境正常,mpirun文件夹下包含预编译好的openmpi库mpi4.tar.gz,可直接使用。关于本项目DCU显卡所需torch库等均可从[光合](https://developer.hpccube.com/tool/)开发者社区下载安装:
...@@ -64,9 +62,16 @@ cd .. ...@@ -64,9 +62,16 @@ cd ..
pip3 install torch-1.10.0a0+git2040069.dtk2210-cp38-cp38-manylinux2014_x86_64.whl pip3 install torch-1.10.0a0+git2040069.dtk2210-cp38-cp38-manylinux2014_x86_64.whl
pip3 install deepspeed-0.6.3+1b2721a.dtk2210-cp38-cp38-manylinux2014_x86_64.whl pip3 install deepspeed-0.6.3+1b2721a.dtk2210-cp38-cp38-manylinux2014_x86_64.whl
pip3 install apex-0.1+gitdb7007a.dtk2210-cp38-cp38-manylinux2014_x86_64.whl(可选) pip3 install apex-0.1+gitdb7007a.dtk2210-cp38-cp38-manylinux2014_x86_64.whl(可选)
pip3 uninstall wandb
``` ```
### 训练 ## 训练
权重链接
13B:[decapoda-research/llama-13b-hf · Hugging Face](https://huggingface.co/decapoda-research/llama-13b-hf)
7B:[decapoda-research/llama-7b-hf · Hugging Face](https://huggingface.co/decapoda-research/llama-7b-hf)
该训练脚本需要2节点,每节点8张DCU-Z100L-32G。按需更改mpi_single.sh中模型权重所在路径。 该训练脚本需要2节点,每节点8张DCU-Z100L-32G。按需更改mpi_single.sh中模型权重所在路径。
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment