Commit a6a79fa0 authored by Rayyyyy's avatar Rayyyyy
Browse files

modify README

parent f7684949
......@@ -70,9 +70,9 @@ pip install -e .
- `max_seq_len``max_batch_size`参数按需设置。
### Pretrained模型
这些模型都没有针对聊天或者Q&A进行微调。可以参考example_text_completion.py里的用例,使用lama-3-8b模型运行它
这些模型都没有针对聊天或者Q&A进行微调。可以参考example_text_completion.py里的用例。
- Meta-Llama-3-8B 模型示例
- Meta-Llama-3-8B 模型示例,Meta-Llama-3-70B模型仅需替换--ckpt_dir、--tokenizer_path对应模型地址即可。
```bash
torchrun --nproc_per_node 1 example_text_completion.py \
--ckpt_dir Meta-Llama-3-8B/original/ \
......@@ -89,7 +89,7 @@ torchrun --nproc_per_node 1 example_text_completion.py \
您还可以部署额外的分类器来过滤被认为不安全的输入和输出。有关如何向推理代码的输入和输出添加安全检查器,请参阅[llama-recipes repo](https://github.com/meta-llama/llama-recipes/blob/main/recipes/inference/local_inference/inference.py)
- Meta-Llama-3-8B-Instruct 模型示例
- Meta-Llama-3-8B-Instruct 模型示例,Meta-Llama-3-70B-Instruct模型仅需替换--ckpt_dir、--tokenizer_path对应模型地址即可。
```bash
torchrun --nproc_per_node 1 example_chat_completion.py \
--ckpt_dir Meta-Llama-3-8B-Instruct/original/ \
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment