Skip to content

GitLab

Commit 056ecba5 authored by Rayyyyy's avatar Rayyyyy
Browse files

uodate readme

parent f8832720
Hide whitespace changes
Inline Side-by-side
Showing with 2 additions and 1 deletion
README.md
View file @ 056ecba5
...@@ -118,7 +118,7 @@ NPROC_PER_NODE=${DCU_NUM} xtuner train ./llama3_8b_instruct_qlora_alpaca_e3_M.py ...@@ -118,7 +118,7 @@ NPROC_PER_NODE=${DCU_NUM} xtuner train ./llama3_8b_instruct_qlora_alpaca_e3_M.py
- Meta-Llama-3-8B 模型示例，Meta-Llama-3-70B模型仅需替换--ckpt_dir、--tokenizer_path对应模型地址即可。 - Meta-Llama-3-8B 模型示例，Meta-Llama-3-70B模型仅需替换--ckpt_dir、--tokenizer_path对应模型地址即可。
```bash ```bash
torchrun --nproc_per_node 8 example_text_completion.py \ torchrun --nproc_per_node 1 example_text_completion.py \
--ckpt_dir Meta-Llama-3-8B/original/ \ --ckpt_dir Meta-Llama-3-8B/original/ \
--tokenizer_path Meta-Llama-3-8B/original/tokenizer.model \ --tokenizer_path Meta-Llama-3-8B/original/tokenizer.model \
--max_seq_len 128 --max_batch_size 4 --max_seq_len 128 --max_batch_size 4
...@@ -140,6 +140,7 @@ torchrun --nproc_per_node 1 example_chat_completion.py \ ...@@ -140,6 +140,7 @@ torchrun --nproc_per_node 1 example_chat_completion.py \
--tokenizer_path Meta-Llama-3-8B-Instruct/original/tokenizer.model \ --tokenizer_path Meta-Llama-3-8B-Instruct/original/tokenizer.model \
--max_seq_len 512 --max_batch_size 6 --max_seq_len 512 --max_batch_size 6
``` ```
## 多轮对话 ## 多轮对话
1. 确认环境安装及模型下载完毕； 1. 确认环境安装及模型下载完毕；
2. 修改[chat.sh](./chat.sh)文件中的 `--ckpt_dir`、`--tokenizer_path` 参数为本地模型地址，`--max_seq_len` 根据自身需求进行修改，调整该值可以增加多轮对话模型的记忆长度，不过需要注意的是这可能会增加模型运算的时间和内存需求； 2. 修改[chat.sh](./chat.sh)文件中的 `--ckpt_dir`、`--tokenizer_path` 参数为本地模型地址，`--max_seq_len` 根据自身需求进行修改，调整该值可以增加多轮对话模型的记忆长度，不过需要注意的是这可能会增加模型运算的时间和内存需求；
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment