Commit 92a55dab authored by chenzk's avatar chenzk
Browse files

Update sf.md

parent 8631265a
...@@ -10,7 +10,7 @@ ...@@ -10,7 +10,7 @@
LLaMA,这是一个基础语言模型的集合,参数范围从7B到65B。在数万亿的tokens上训练出的模型,并表明可以专门使用公开可用的数据集来训练最先进的模型,而不依赖于专有的和不可访问的数据集。特别是,llama 13B在大多数基准测试中优于GPT-3 (175B), LLaMA 65B与最好的模型Chinchilla-70B和PaLM-540B具有竞争力。LLAMA网络基于 Transformer 架构。提出了各种改进,并用于不同的模型,例如 PaLM。 LLaMA,这是一个基础语言模型的集合,参数范围从7B到65B。在数万亿的tokens上训练出的模型,并表明可以专门使用公开可用的数据集来训练最先进的模型,而不依赖于专有的和不可访问的数据集。特别是,llama 13B在大多数基准测试中优于GPT-3 (175B), LLaMA 65B与最好的模型Chinchilla-70B和PaLM-540B具有竞争力。LLAMA网络基于 Transformer 架构。提出了各种改进,并用于不同的模型,例如 PaLM。
<img src="http://developer.hpccube.com/codes/modelzoo/llama_fastchat_pytorch/-/raw/main/llama%E6%A8%A1%E5%9E%8B%E7%BB%93%E6%9E%84.png" alt="llama模型结构.png" style="zoom:50%;" /> <img src="http://developer.sourcefind.cn/codes/modelzoo/llama_fastchat_pytorch/-/raw/main/llama%E6%A8%A1%E5%9E%8B%E7%BB%93%E6%9E%84.png" alt="llama模型结构.png" style="zoom:50%;" />
以下是llama-13B的主要网络参数配置: 以下是llama-13B的主要网络参数配置:
...@@ -30,7 +30,7 @@ LLaMA,这是一个基础语言模型的集合,参数范围从7B到65B。在 ...@@ -30,7 +30,7 @@ LLaMA,这是一个基础语言模型的集合,参数范围从7B到65B。在
## 算法原理 ## 算法原理
<img src="http://developer.hpccube.com/codes/modelzoo/llama_fastchat_pytorch/-/raw/main/llama%E7%AE%97%E6%B3%95%E5%8E%9F%E7%90%86.png" alt="llama算法原理.png" style="zoom:50%;" /> <img src="http://developer.sourcefind.cn/codes/modelzoo/llama_fastchat_pytorch/-/raw/main/llama%E7%AE%97%E6%B3%95%E5%8E%9F%E7%90%86.png" alt="llama算法原理.png" style="zoom:50%;" />
以下是与原始 Transformer 架构的主要区别: 以下是与原始 Transformer 架构的主要区别:
...@@ -84,10 +84,10 @@ cd .. ...@@ -84,10 +84,10 @@ cd ..
### Anaconda(方法三) ### Anaconda(方法三)
环境变量参考dtk-24.04.1,python3.10环境正常,要求dtk环境正常。关于本项目DCU显卡所需torch库等均可从[光合](https://developer.hpccube.com/tool/)开发者社区下载安装: 环境变量参考dtk-24.04.1,python3.10环境正常,要求dtk环境正常。关于本项目DCU显卡所需torch库等均可从[光合](https://developer.sourcefind.cn/tool/)开发者社区下载安装:
1、关于本项目DCU显卡所需的特殊深度学习库可从光合开发者社区下载安装: 1、关于本项目DCU显卡所需的特殊深度学习库可从光合开发者社区下载安装:
https://developer.hpccube.com/tool/ https://developer.sourcefind.cn/tool/
``` ```
DTK驱动:dtk24.04.1 DTK驱动:dtk24.04.1
...@@ -197,7 +197,7 @@ mpirun -np 8 --allow-run-as-root --hostfile hostfile --bind-to none mpi_single ...@@ -197,7 +197,7 @@ mpirun -np 8 --allow-run-as-root --hostfile hostfile --bind-to none mpi_single
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
- https://developer.hpccube.com/codes/modelzoo/llama_fastchat_pytorch - https://developer.sourcefind.cn/codes/modelzoo/llama_fastchat_pytorch
## 参考资料 ## 参考资料
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment