Skip to content

GitLab

Commit acf440ec authored by xuxzh1's avatar xuxzh1 🎱
Browse files

update

parent 0385600a
Show whitespace changes
Inline Side-by-side
Showing with 5 additions and 9 deletions
README.md
View file @ acf440ec
...@@ -12,7 +12,7 @@ Ollama是以llama.cpp为后端的前端大模型推理框架，可快速部署 ...@@ -12,7 +12,7 @@ Ollama是以llama.cpp为后端的前端大模型推理框架，可快速部署
+ gcc 7.3.1 + gcc 7.3.1
+ go + go
### 1、使用dockerfile方式安装 ### 1、使用dockerfile方式安装(推荐)
本仓库仅提供代码修改时的参考，请勿直接使用，官方版本0.1.43已测可用。 本仓库仅提供代码修改时的参考，请勿直接使用，官方版本0.1.43已测可用。
本仓库也提供了已测试通过的`Dockerfile`（Z100），在`ollama_build.zip`中，如需适配其他平台需要按照下述文档对`Dockerfile`进行修改，主要为`AMDGPU_TARGETS=当前设备型号（如：gfx906，gfx928等）；HSA_OVERRIDE_GFX_VERSION=设备型号（如: gfx906对应9.0.6；gfx928对应9.2.8）`。 本仓库也提供了已测试通过的`Dockerfile`（Z100），在`ollama_build.zip`中，如需适配其他平台需要按照下述文档对`Dockerfile`进行修改，主要为`AMDGPU_TARGETS=当前设备型号（如：gfx906，gfx928等）；HSA_OVERRIDE_GFX_VERSION=设备型号（如: gfx906对应9.0.6；gfx928对应9.2.8）`。
...@@ -26,7 +26,7 @@ Ollama是以llama.cpp为后端的前端大模型推理框架，可快速部署 ...@@ -26,7 +26,7 @@ Ollama是以llama.cpp为后端的前端大模型推理框架，可快速部署
|版本|压缩包名称|测试模型| |版本|压缩包名称|测试模型|
|:---:|:---:|:---:| |:---:|:---:|:---:|
|0.1.43|ollama_build.zip|qwen2:7b-instruct-fp16| |0.1.43|ollama_build.zip|qwen2:7b-instruct-fp16|
|0.3.5|ollama_035.zip|llama3.1:8b-instruct-q8_0| |0.3.5(推荐)|ollama_035.zip|llama3.1:8b-instruct-q8_0|
### 2、使用源码编译方式安装(<=0.35) ### 2、使用源码编译方式安装(<=0.35)
...@@ -119,10 +119,6 @@ gcc升级（如需，gcc - 7.3.1可正常编译） ...@@ -119,10 +119,6 @@ gcc升级（如需，gcc - 7.3.1可正常编译）
注意：每次运行前请检查环境变量`HSA_OVERRIDE_GFX_VERSION`是否正确设置。 注意：每次运行前请检查环境变量`HSA_OVERRIDE_GFX_VERSION`是否正确设置。
## Known Issue
1、在DCU平台上，该项目对q4的量化模型支持需要进一步优化，请选择q8以及上的模型。
## 参考资料 ## 参考资料
* https://github.com/ollama/ollama * https://github.com/ollama/ollama
......
ollama_035.zip
View file @ acf440ec
No preview for this file type
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment