Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
LLaMA_Fastchat_pytorch
Commits
92a55dab
Commit
92a55dab
authored
May 07, 2025
by
chenzk
Browse files
Update sf.md
parent
8631265a
Changes
1
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
5 additions
and
5 deletions
+5
-5
README.md
README.md
+5
-5
No files found.
README.md
View file @
92a55dab
...
@@ -10,7 +10,7 @@
...
@@ -10,7 +10,7 @@
LLaMA,这是一个基础语言模型的集合,参数范围从7B到65B。在数万亿的tokens上训练出的模型,并表明可以专门使用公开可用的数据集来训练最先进的模型,而不依赖于专有的和不可访问的数据集。特别是,llama 13B在大多数基准测试中优于GPT-3 (175B), LLaMA 65B与最好的模型Chinchilla-70B和PaLM-540B具有竞争力。LLAMA网络基于 Transformer 架构。提出了各种改进,并用于不同的模型,例如 PaLM。
LLaMA,这是一个基础语言模型的集合,参数范围从7B到65B。在数万亿的tokens上训练出的模型,并表明可以专门使用公开可用的数据集来训练最先进的模型,而不依赖于专有的和不可访问的数据集。特别是,llama 13B在大多数基准测试中优于GPT-3 (175B), LLaMA 65B与最好的模型Chinchilla-70B和PaLM-540B具有竞争力。LLAMA网络基于 Transformer 架构。提出了各种改进,并用于不同的模型,例如 PaLM。
<img
src=
"http://developer.
hpccube.com
/codes/modelzoo/llama_fastchat_pytorch/-/raw/main/llama%E6%A8%A1%E5%9E%8B%E7%BB%93%E6%9E%84.png"
alt=
"llama模型结构.png"
style=
"zoom:50%;"
/>
<img
src=
"http://developer.
sourcefind.cn
/codes/modelzoo/llama_fastchat_pytorch/-/raw/main/llama%E6%A8%A1%E5%9E%8B%E7%BB%93%E6%9E%84.png"
alt=
"llama模型结构.png"
style=
"zoom:50%;"
/>
以下是llama-13B的主要网络参数配置:
以下是llama-13B的主要网络参数配置:
...
@@ -30,7 +30,7 @@ LLaMA,这是一个基础语言模型的集合,参数范围从7B到65B。在
...
@@ -30,7 +30,7 @@ LLaMA,这是一个基础语言模型的集合,参数范围从7B到65B。在
## 算法原理
## 算法原理
<img
src=
"http://developer.
hpccube.com
/codes/modelzoo/llama_fastchat_pytorch/-/raw/main/llama%E7%AE%97%E6%B3%95%E5%8E%9F%E7%90%86.png"
alt=
"llama算法原理.png"
style=
"zoom:50%;"
/>
<img
src=
"http://developer.
sourcefind.cn
/codes/modelzoo/llama_fastchat_pytorch/-/raw/main/llama%E7%AE%97%E6%B3%95%E5%8E%9F%E7%90%86.png"
alt=
"llama算法原理.png"
style=
"zoom:50%;"
/>
以下是与原始 Transformer 架构的主要区别:
以下是与原始 Transformer 架构的主要区别:
...
@@ -84,10 +84,10 @@ cd ..
...
@@ -84,10 +84,10 @@ cd ..
### Anaconda(方法三)
### Anaconda(方法三)
环境变量参考dtk-24.04.1,python3.10环境正常,要求dtk环境正常。关于本项目DCU显卡所需torch库等均可从
[
光合
](
https://developer.
hpccube.com
/tool/
)
开发者社区下载安装:
环境变量参考dtk-24.04.1,python3.10环境正常,要求dtk环境正常。关于本项目DCU显卡所需torch库等均可从
[
光合
](
https://developer.
sourcefind.cn
/tool/
)
开发者社区下载安装:
1、关于本项目DCU显卡所需的特殊深度学习库可从光合开发者社区下载安装:
1、关于本项目DCU显卡所需的特殊深度学习库可从光合开发者社区下载安装:
https://developer.
hpccube.com
/tool/
https://developer.
sourcefind.cn
/tool/
```
```
DTK驱动:dtk24.04.1
DTK驱动:dtk24.04.1
...
@@ -197,7 +197,7 @@ mpirun -np 8 --allow-run-as-root --hostfile hostfile --bind-to none mpi_single
...
@@ -197,7 +197,7 @@ mpirun -np 8 --allow-run-as-root --hostfile hostfile --bind-to none mpi_single
## 源码仓库及问题反馈
## 源码仓库及问题反馈
-
https://developer.
hpccube.com
/codes/modelzoo/llama_fastchat_pytorch
-
https://developer.
sourcefind.cn
/codes/modelzoo/llama_fastchat_pytorch
## 参考资料
## 参考资料
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment