Commit b0177f9b authored by hepj987's avatar hepj987
Browse files

标准格式

parent de4884a1
......@@ -45,8 +45,6 @@ SwiGLU 激活函数 [PaLM]。使用 SwiGLU 激活函数替换 ReLU 非线性以
![llama](llama.png)
# LLAMA推理
## 环境配置
推荐使用docker方式运行,提供[光源](https://www.sourcefind.cn/)拉取的docker镜像:
......@@ -65,13 +63,17 @@ pip install tensor_parallel==1.2.5 --no-dependencies
pip install transformers==4.28.1 sentencepiece==0.1.99
```
## 数据集
## 模型权重下载
[llama chat 7B](https://huggingface.co/Linly-AI/ChatFlow-7B)
[llama caht 13b](https://huggingface.co/Linly-AI/ChatFlow-13B)
## 模型推理
## 推理
### 单卡推理
......@@ -121,6 +123,16 @@ SPM_PATH 为下载的llama 模型tokenizer路径
#其他参数与单卡推理相同
```
## result
`多轮对话`
![image-llama](llama-inf.jpg)
## 精度
## 应用场景
### 算法类别
......@@ -131,14 +143,10 @@ SPM_PATH 为下载的llama 模型tokenizer路径
`nlp,智能聊天助手`
## 多轮对话推理效果
![image-llama](./doc/llama-inf.jpg)
## 源码仓库及问题反馈
https://developer.hpccube.com/codes/hepj/llama_pytorch
## 参考
## 参考资料
https://github.com/ProjectD-AI/llama_inference
\ No newline at end of file
# 模型唯一标识
modelCode=405
# 模型名称
modelName=LLaMA_inference_pytorch
modelName=llaMA_inference_pytorch
# 模型描述
modelDescription=基于tencentpretrain框架的llama模型推理
# 应用场景
appScenario=推理,inference,nlp,智能聊天助手
appScenario=推理,nlp,智能聊天助手
# 框架类型
frameType=Pytorch,Transformers,Deepspeed
frameType=pytorch,transformers,deepspeed
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment