Skip to content

GitLab

Commit 6cedac14 authored by Rayyyyy's avatar Rayyyyy
Browse files

Support qlora and baichuan2

parent 0d4db43f
Hide whitespace changes
Inline Side-by-side
Showing with 8 additions and 4 deletions
Dockerfile
View file @ 6cedac14
FROM image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-centos7.6-dtk24.04-py310 FROM image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-ubuntu20.04-dtk24.04.1-py3.10
\ No newline at end of file \ No newline at end of file
README.md
View file @ 6cedac14
...@@ -3,22 +3,24 @@ ...@@ -3,22 +3,24 @@
LLaMA Factory是一个大语言模型训练和推理的框架，支持了魔搭社区（ModelScope）的模型和数据集资源。它允许用户通过内置的Web UI灵活定制100多个LLMs的微调，而无需编写代码。 LLaMA Factory是一个大语言模型训练和推理的框架，支持了魔搭社区（ModelScope）的模型和数据集资源。它允许用户通过内置的Web UI灵活定制100多个LLMs的微调，而无需编写代码。
## 暂不支持的官方功能 ## 暂不支持的官方功能
- **量化微调**: bitsandbytes库功能不全，暂不支持量化相关训练需求
## 支持模型结构列表 ## 支持模型结构列表
| 模型名 | 模型大小 | Template | | 模型名 | 模型大小 | Template |
| ------------------------------------------------------------ | -------------------------------- | --------- | | ------------------------------------------------------------ | -------------------------------- | --------- |
| [Baichuan 2](https://huggingface.co/baichuan-inc) | 7B/13B | baichuan2 |
| [Llama 2](https://huggingface.co/meta-llama) | 7B/13B/70B | llama2 | | [Llama 2](https://huggingface.co/meta-llama) | 7B/13B/70B | llama2 |
| [Llama 3/Llama 3.1](https://huggingface.co/meta-llama) | 8B/70B | llama3 | | [Llama 3/Llama 3.1](https://huggingface.co/meta-llama) | 8B/70B | llama3 |
| [Qwen1.5 (Code/MoE)](https://huggingface.co/Qwen) | 0.5B/1.8B/4B/7B/14B/32B/72B | qwen | | [Qwen1.5 (Code/MoE)](https://huggingface.co/Qwen) | 0.5B/1.8B/4B/7B/14B/32B/72B | qwen |
持续更新中... 持续更新中...
> [!NOTE]
> 对于所有“基座”（Base）模型，`template` 参数可以是 `default`, `alpaca`, `vicuna` 等任意值。但“对话”（Instruct/Chat）模型请务必使用**对应的模板**。 > 对于所有“基座”（Base）模型，`template` 参数可以是 `default`, `alpaca`, `vicuna` 等任意值。但“对话”（Instruct/Chat）模型请务必使用**对应的模板**。
> >
> 请务必在训练和推理时采用**完全一致**的模板。 > 请务必在训练和推理时采用**完全一致**的模板。
> **[!NOTE]** `Baichuan 2` 需要卸载掉环境中的xformers库，当前仅支持Lora方式训练。
您也可以在 [template.py](src/llamafactory/data/template.py) 中添加自己的对话模板。 您也可以在 [template.py](src/llamafactory/data/template.py) 中添加自己的对话模板。
## 使用源码编译方式安装 ## 使用源码编译方式安装
...@@ -28,7 +30,7 @@ LLaMA Factory是一个大语言模型训练和推理的框架，支持了魔搭 ...@@ -28,7 +30,7 @@ LLaMA Factory是一个大语言模型训练和推理的框架，支持了魔搭
基于光源pytorch2.1.0基础镜像环境：镜像下载地址：[https://sourcefind.cn/#/image/dcu/pytorch](https://sourcefind.cn/#/image/dcu/pytorch)，根据pytorch2.1.0、python、dtk及系统下载对应的镜像版本。 基于光源pytorch2.1.0基础镜像环境：镜像下载地址：[https://sourcefind.cn/#/image/dcu/pytorch](https://sourcefind.cn/#/image/dcu/pytorch)，根据pytorch2.1.0、python、dtk及系统下载对应的镜像版本。
```bash ```bash
docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-centos7.6-dtk24.04-py310 docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-ubuntu20.04-dtk24.04.1-py3.10
docker run -it -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro --shm-size=80G --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name docker_name imageID bash docker run -it -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro --shm-size=80G --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name docker_name imageID bash
``` ```
...@@ -44,6 +46,8 @@ docker run -it -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/op ...@@ -44,6 +46,8 @@ docker run -it -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/op
DTK驱动: dtk24.04 DTK驱动: dtk24.04
python: python3.10 python: python3.10
torch: 2.1.0 torch: 2.1.0
bitsandbytes: 0.42.0
``` ```
`Tips：以上dtk驱动、python、torch等DCU相关工具版本需要严格一一对应` `Tips：以上dtk驱动、python、torch等DCU相关工具版本需要严格一一对应`
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment