Commit 7ad62ca5 authored by Rayyyyy's avatar Rayyyyy
Browse files

delete 70B infos

parent a6a79fa0
...@@ -40,7 +40,7 @@ pip install -e . ...@@ -40,7 +40,7 @@ pip install -e .
```bash ```bash
DTK驱动:dtk23.10.1 DTK驱动:dtk23.10.1
python:python3.8 python:python3.8
torch:2.1.0 torch2.1.0
``` ```
`Tips:以上dtk驱动、python、torch等DCU相关工具版本需要严格一一对应` `Tips:以上dtk驱动、python、torch等DCU相关工具版本需要严格一一对应`
...@@ -70,9 +70,9 @@ pip install -e . ...@@ -70,9 +70,9 @@ pip install -e .
- `max_seq_len``max_batch_size`参数按需设置。 - `max_seq_len``max_batch_size`参数按需设置。
### Pretrained模型 ### Pretrained模型
这些模型都没有针对聊天或者Q&A进行微调。可以参考example_text_completion.py里的用例。 这些模型都没有针对聊天或者Q&A进行微调。可以参考 `example_text_completion.py` 里的用例。
- Meta-Llama-3-8B 模型示例,Meta-Llama-3-70B模型仅需替换--ckpt_dir、--tokenizer_path对应模型地址即可。 - Meta-Llama-3-8B 模型示例
```bash ```bash
torchrun --nproc_per_node 1 example_text_completion.py \ torchrun --nproc_per_node 1 example_text_completion.py \
--ckpt_dir Meta-Llama-3-8B/original/ \ --ckpt_dir Meta-Llama-3-8B/original/ \
...@@ -89,7 +89,7 @@ torchrun --nproc_per_node 1 example_text_completion.py \ ...@@ -89,7 +89,7 @@ torchrun --nproc_per_node 1 example_text_completion.py \
您还可以部署额外的分类器来过滤被认为不安全的输入和输出。有关如何向推理代码的输入和输出添加安全检查器,请参阅[llama-recipes repo](https://github.com/meta-llama/llama-recipes/blob/main/recipes/inference/local_inference/inference.py) 您还可以部署额外的分类器来过滤被认为不安全的输入和输出。有关如何向推理代码的输入和输出添加安全检查器,请参阅[llama-recipes repo](https://github.com/meta-llama/llama-recipes/blob/main/recipes/inference/local_inference/inference.py)
- Meta-Llama-3-8B-Instruct 模型示例,Meta-Llama-3-70B-Instruct模型仅需替换--ckpt_dir、--tokenizer_path对应模型地址即可。 - Meta-Llama-3-8B-Instruct 模型示例
```bash ```bash
torchrun --nproc_per_node 1 example_chat_completion.py \ torchrun --nproc_per_node 1 example_chat_completion.py \
--ckpt_dir Meta-Llama-3-8B-Instruct/original/ \ --ckpt_dir Meta-Llama-3-8B-Instruct/original/ \
...@@ -140,18 +140,6 @@ mkdir Meta-Llama-3-8B-Instruct ...@@ -140,18 +140,6 @@ mkdir Meta-Llama-3-8B-Instruct
huggingface-cli download meta-llama/Meta-Llama-3-8B-Instruct --include "original/*" --local-dir Meta-Llama-3-8B-Instruct --token hf_* huggingface-cli download meta-llama/Meta-Llama-3-8B-Instruct --include "original/*" --local-dir Meta-Llama-3-8B-Instruct --token hf_*
``` ```
- Meta-Llama-3-70B 模型
```bash
mkdir Meta-Llama-3-70B
huggingface-cli download meta-llama/Meta-Llama-3-70B --include "original/*" --local-dir Meta-Llama-3-70B --token hf_*
```
- Meta-Llama-3-70B-Instruct 模型
```bash
mkdir Meta-Llama-3-70B-Instruct
huggingface-cli download meta-llama/Meta-Llama-3-70B-Instruct --include "original/*" --local-dir Meta-Llama-3-70B-Instruct --token hf_*
```
模型目录结构如下: 模型目录结构如下:
```bash ```bash
├── llama3_pytorch ├── llama3_pytorch
...@@ -165,30 +153,6 @@ huggingface-cli download meta-llama/Meta-Llama-3-70B-Instruct --include "origina ...@@ -165,30 +153,6 @@ huggingface-cli download meta-llama/Meta-Llama-3-70B-Instruct --include "origina
│ ├── consolidated.00.pth │ ├── consolidated.00.pth
│ ├── params.json │ ├── params.json
│ └── tokenizer.model │ └── tokenizer.model
│ ├── Meta-Llama-3-70B
│ ├── original
│ ├── consolidated.00.pth
│ ├── consolidated.01.pth
│ ├── consolidated.02.pth
│ ├── consolidated.03.pth
│ ├── consolidated.04.pth
│ ├── consolidated.05.pth
│ ├── consolidated.06.pth
│ ├── consolidated.07.pth
│ ├── params.json
│ └── tokenizer.model
│ ├── Meta-Llama-3-70B-Instruct
│ ├── original
│ ├── consolidated.00.pth
│ ├── consolidated.01.pth
│ ├── consolidated.02.pth
│ ├── consolidated.03.pth
│ ├── consolidated.04.pth
│ ├── consolidated.05.pth
│ ├── consolidated.06.pth
│ ├── consolidated.07.pth
│ ├── params.json
│ └── tokenizer.model
``` ```
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment