Commit b0177f9b authored by hepj987's avatar hepj987
Browse files

标准格式

parent de4884a1
...@@ -45,8 +45,6 @@ SwiGLU 激活函数 [PaLM]。使用 SwiGLU 激活函数替换 ReLU 非线性以 ...@@ -45,8 +45,6 @@ SwiGLU 激活函数 [PaLM]。使用 SwiGLU 激活函数替换 ReLU 非线性以
![llama](llama.png) ![llama](llama.png)
# LLAMA推理
## 环境配置 ## 环境配置
推荐使用docker方式运行,提供[光源](https://www.sourcefind.cn/)拉取的docker镜像: 推荐使用docker方式运行,提供[光源](https://www.sourcefind.cn/)拉取的docker镜像:
...@@ -65,13 +63,17 @@ pip install tensor_parallel==1.2.5 --no-dependencies ...@@ -65,13 +63,17 @@ pip install tensor_parallel==1.2.5 --no-dependencies
pip install transformers==4.28.1 sentencepiece==0.1.99 pip install transformers==4.28.1 sentencepiece==0.1.99
``` ```
## 数据集
## 模型权重下载 ## 模型权重下载
[llama chat 7B](https://huggingface.co/Linly-AI/ChatFlow-7B) [llama chat 7B](https://huggingface.co/Linly-AI/ChatFlow-7B)
[llama caht 13b](https://huggingface.co/Linly-AI/ChatFlow-13B) [llama caht 13b](https://huggingface.co/Linly-AI/ChatFlow-13B)
## 模型推理 ## 推理
### 单卡推理 ### 单卡推理
...@@ -121,6 +123,16 @@ SPM_PATH 为下载的llama 模型tokenizer路径 ...@@ -121,6 +123,16 @@ SPM_PATH 为下载的llama 模型tokenizer路径
#其他参数与单卡推理相同 #其他参数与单卡推理相同
``` ```
## result
`多轮对话`
![image-llama](llama-inf.jpg)
## 精度
## 应用场景 ## 应用场景
### 算法类别 ### 算法类别
...@@ -131,14 +143,10 @@ SPM_PATH 为下载的llama 模型tokenizer路径 ...@@ -131,14 +143,10 @@ SPM_PATH 为下载的llama 模型tokenizer路径
`nlp,智能聊天助手` `nlp,智能聊天助手`
## 多轮对话推理效果
![image-llama](./doc/llama-inf.jpg)
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
https://developer.hpccube.com/codes/hepj/llama_pytorch https://developer.hpccube.com/codes/hepj/llama_pytorch
## 参考 ## 参考资料
https://github.com/ProjectD-AI/llama_inference https://github.com/ProjectD-AI/llama_inference
\ No newline at end of file
# 模型唯一标识 # 模型唯一标识
modelCode=405 modelCode=405
# 模型名称 # 模型名称
modelName=LLaMA_inference_pytorch modelName=llaMA_inference_pytorch
# 模型描述 # 模型描述
modelDescription=基于tencentpretrain框架的llama模型推理 modelDescription=基于tencentpretrain框架的llama模型推理
# 应用场景 # 应用场景
appScenario=推理,inference,nlp,智能聊天助手 appScenario=推理,nlp,智能聊天助手
# 框架类型 # 框架类型
frameType=Pytorch,Transformers,Deepspeed frameType=pytorch,transformers,deepspeed
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment