Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
llama3_pytorch
Commits
a6a79fa0
Commit
a6a79fa0
authored
Apr 20, 2024
by
Rayyyyy
Browse files
modify README
parent
f7684949
Changes
1
Show whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
3 additions
and
3 deletions
+3
-3
README.md
README.md
+3
-3
No files found.
README.md
View file @
a6a79fa0
...
@@ -70,9 +70,9 @@ pip install -e .
...
@@ -70,9 +70,9 @@ pip install -e .
-
`max_seq_len`
和
`max_batch_size`
参数按需设置。
-
`max_seq_len`
和
`max_batch_size`
参数按需设置。
### Pretrained模型
### Pretrained模型
这些模型都没有针对聊天或者Q&A进行微调。可以参考example_text_completion.py里的用例
,使用lama-3-8b模型运行它
。
这些模型都没有针对聊天或者Q&A进行微调。可以参考example_text_completion.py里的用例。
-
Meta-Llama-3-8B 模型示例
-
Meta-Llama-3-8B 模型示例
,Meta-Llama-3-70B模型仅需替换--ckpt_dir、--tokenizer_path对应模型地址即可。
```
bash
```
bash
torchrun
--nproc_per_node
1 example_text_completion.py
\
torchrun
--nproc_per_node
1 example_text_completion.py
\
--ckpt_dir
Meta-Llama-3-8B/original/
\
--ckpt_dir
Meta-Llama-3-8B/original/
\
...
@@ -89,7 +89,7 @@ torchrun --nproc_per_node 1 example_text_completion.py \
...
@@ -89,7 +89,7 @@ torchrun --nproc_per_node 1 example_text_completion.py \
您还可以部署额外的分类器来过滤被认为不安全的输入和输出。有关如何向推理代码的输入和输出添加安全检查器,请参阅
[
llama-recipes repo
](
https://github.com/meta-llama/llama-recipes/blob/main/recipes/inference/local_inference/inference.py
)
。
您还可以部署额外的分类器来过滤被认为不安全的输入和输出。有关如何向推理代码的输入和输出添加安全检查器,请参阅
[
llama-recipes repo
](
https://github.com/meta-llama/llama-recipes/blob/main/recipes/inference/local_inference/inference.py
)
。
-
Meta-Llama-3-8B-Instruct 模型示例
-
Meta-Llama-3-8B-Instruct 模型示例
,Meta-Llama-3-70B-Instruct模型仅需替换--ckpt_dir、--tokenizer_path对应模型地址即可。
```
bash
```
bash
torchrun
--nproc_per_node
1 example_chat_completion.py
\
torchrun
--nproc_per_node
1 example_chat_completion.py
\
--ckpt_dir
Meta-Llama-3-8B-Instruct/original/
\
--ckpt_dir
Meta-Llama-3-8B-Instruct/original/
\
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment