Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
OpenDAS
LLaMA-Factory
Commits
9d8e4372
Commit
9d8e4372
authored
Jul 31, 2024
by
Rayyyyy
Browse files
Update README about Baichuan 2
parent
0d4db43f
Changes
1
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
3 additions
and
1 deletion
+3
-1
README.md
README.md
+3
-1
No files found.
README.md
View file @
9d8e4372
...
@@ -8,17 +8,19 @@ LLaMA Factory是一个大语言模型训练和推理的框架,支持了魔搭
...
@@ -8,17 +8,19 @@ LLaMA Factory是一个大语言模型训练和推理的框架,支持了魔搭
## 支持模型结构列表
## 支持模型结构列表
| 模型名 | 模型大小 | Template |
| 模型名 | 模型大小 | Template |
| ------------------------------------------------------------ | -------------------------------- | --------- |
| ------------------------------------------------------------ | -------------------------------- | --------- |
|
[
Baichuan 2
](
https://huggingface.co/baichuan-inc
)
| 7B/13B | baichuan2 |
|
[
Llama 2
](
https://huggingface.co/meta-llama
)
| 7B/13B/70B | llama2 |
|
[
Llama 2
](
https://huggingface.co/meta-llama
)
| 7B/13B/70B | llama2 |
|
[
Llama 3/Llama 3.1
](
https://huggingface.co/meta-llama
)
| 8B/70B | llama3 |
|
[
Llama 3/Llama 3.1
](
https://huggingface.co/meta-llama
)
| 8B/70B | llama3 |
|
[
Qwen1.5 (Code/MoE)
](
https://huggingface.co/Qwen
)
| 0.5B/1.8B/4B/7B/14B/32B/72B | qwen |
|
[
Qwen1.5 (Code/MoE)
](
https://huggingface.co/Qwen
)
| 0.5B/1.8B/4B/7B/14B/32B/72B | qwen |
持续更新中...
持续更新中...
> [!NOTE]
> 对于所有“基座”(Base)模型,`template` 参数可以是 `default`, `alpaca`, `vicuna` 等任意值。但“对话”(Instruct/Chat)模型请务必使用**对应的模板**。
> 对于所有“基座”(Base)模型,`template` 参数可以是 `default`, `alpaca`, `vicuna` 等任意值。但“对话”(Instruct/Chat)模型请务必使用**对应的模板**。
>
>
> 请务必在训练和推理时采用**完全一致**的模板。
> 请务必在训练和推理时采用**完全一致**的模板。
> **[!NOTE]** `Baichuan 2` 需要卸载掉环境中的xformers库,当前Lora方式训练验证正常,全参full暂未验证。
您也可以在
[
template.py
](
src/llamafactory/data/template.py
)
中添加自己的对话模板。
您也可以在
[
template.py
](
src/llamafactory/data/template.py
)
中添加自己的对话模板。
## 使用源码编译方式安装
## 使用源码编译方式安装
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment