Commit 1b350057 authored by chenych's avatar chenych
Browse files

Update README

parent 81b582f9
# <div align="center"><strong>LLaMA Factory</strong></div>
## 简介
LLaMA Factory是一个大语言模型训练和推理的框架,支持了魔搭社区(ModelScope)的模型和数据集资源。它允许用户通过内置的Web UI灵活定制100多个LLMs的微调,而无需编写代码。
## 项目特色
......@@ -35,7 +36,7 @@ LLaMA Factory是一个大语言模型训练和推理的框架,支持了魔搭
>
> 1. `Baichuan 2` 需要卸载掉环境中的xformers库,当前仅支持Lora方式训练。
>
> 2. `XVERSE`在`tokenizer > 0.19`的版本下有兼容性问题报错`Exception: data did not match any variant of untagged enum PyPreTokenizerTypeWrappe`,解决方法参考[xverse-ai/XVERSE-7B issues](https://github.com/xverse-ai/XVERSE-7B/issues/1)
> 2. `XVERSE`在`tokenizer > 0.19`的版本下有兼容性问题报错`Exception: data did not match any variant of untagged enum PyPreTokenizerTypeWrappe`,需要使用[XVERSE-13B-256K-hf](https://huggingface.co/xverse/XVERSE-13B-256K/tree/main)中的`tokenizer_config.json.update`/`tokenizer.json.update`替换原有模型文件中的对应tokenizer文件,具体解决方法参考[xverse-ai/XVERSE-7B issues](https://github.com/xverse-ai/XVERSE-7B/issues/1)
## 使用源码编译方式安装
### 环境准备
......@@ -55,6 +56,7 @@ pip install lmslim-0.0.1+das.dtk24041.torch2.1.0-cp310-cp310-linux_x86_64.whl
```
#### Dockerfile(方法二)
```bash
cd docker
docker build --no-cache -t llama-factory:latest .
......@@ -65,18 +67,20 @@ pip install lmslim-0.0.1+das.dtk24041.torch2.1.0-cp310-cp310-linux_x86_64.whl
```
#### Anaconda(方法三)
关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.hpccube.com/tool/)开发者社区下载安装。
```bash
DTK驱动: dtk24.04.1
python: python3.10
python: 3.10
torch: 2.1.0
bitsandbytes: 0.42.0
vllm: vllm-0.5.0+das.opt1.3e2c63a.dtk2404.torch2.1.0-cp310-cp310-linux_x86_64
pip: lmslim-0.0.1+das.dtk24041.torch2.1.0-cp310-cp310-linux_x86_64
vllm: 0.5.0
lmslim: 0.0.1
```
`Tips:以上dtk驱动、python、torch等DCU相关工具版本需要严格一一对应`
### 源码编译安装
> [!TIP]
> 遇到包冲突时,可使用 `pip install --no-deps -e .` 解决。
......@@ -120,5 +124,6 @@ llamafactory-cli export examples/merge_lora/llama3_lora_sft.yaml
> 使用 `llamafactory-cli help` 显示帮助信息。
## 参考资料
- [README_zh](README_zh.md)
- [LLaMA-Factory](https://github.com/hiyouga/LLaMA-Factory)
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment