Commit acf440ec authored by xuxzh1's avatar xuxzh1 🎱
Browse files

update

parent 0385600a
...@@ -12,7 +12,7 @@ Ollama是以llama.cpp为后端的前端大模型推理框架,可快速部署 ...@@ -12,7 +12,7 @@ Ollama是以llama.cpp为后端的前端大模型推理框架,可快速部署
+ gcc 7.3.1 + gcc 7.3.1
+ go + go
### 1、使用dockerfile方式安装 ### 1、使用dockerfile方式安装(推荐)
本仓库仅提供代码修改时的参考,请勿直接使用,官方版本0.1.43已测可用。 本仓库仅提供代码修改时的参考,请勿直接使用,官方版本0.1.43已测可用。
本仓库也提供了已测试通过的`Dockerfile`(Z100),在`ollama_build.zip`中,如需适配其他平台需要按照下述文档对`Dockerfile`进行修改,主要为`AMDGPU_TARGETS=当前设备型号(如:gfx906,gfx928等);HSA_OVERRIDE_GFX_VERSION=设备型号(如: gfx906对应9.0.6;gfx928对应9.2.8)` 本仓库也提供了已测试通过的`Dockerfile`(Z100),在`ollama_build.zip`中,如需适配其他平台需要按照下述文档对`Dockerfile`进行修改,主要为`AMDGPU_TARGETS=当前设备型号(如:gfx906,gfx928等);HSA_OVERRIDE_GFX_VERSION=设备型号(如: gfx906对应9.0.6;gfx928对应9.2.8)`
...@@ -26,7 +26,7 @@ Ollama是以llama.cpp为后端的前端大模型推理框架,可快速部署 ...@@ -26,7 +26,7 @@ Ollama是以llama.cpp为后端的前端大模型推理框架,可快速部署
|版本|压缩包名称|测试模型| |版本|压缩包名称|测试模型|
|:---:|:---:|:---:| |:---:|:---:|:---:|
|0.1.43|ollama_build.zip|qwen2:7b-instruct-fp16| |0.1.43|ollama_build.zip|qwen2:7b-instruct-fp16|
|0.3.5|ollama_035.zip|llama3.1:8b-instruct-q8_0| |0.3.5(推荐)|ollama_035.zip|llama3.1:8b-instruct-q8_0|
### 2、使用源码编译方式安装(<=0.35) ### 2、使用源码编译方式安装(<=0.35)
...@@ -35,7 +35,7 @@ Ollama是以llama.cpp为后端的前端大模型推理框架,可快速部署 ...@@ -35,7 +35,7 @@ Ollama是以llama.cpp为后端的前端大模型推理框架,可快速部署
##### Docker ##### Docker
docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-centos7.6-dtk24.04-py310 docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-centos7.6-dtk24.04-py310
docker run --shm-size 30g --network=host --name=ollama --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v 项目地址(绝对路径):/home/ -v /opt/hyhal:/opt/hyhal:ro -it <your IMAGE ID> bash docker run --shm-size 30g --network=host --name=ollama --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v 项目地址(绝对路径):/home/ -v /opt/hyhal:/opt/hyhal:ro -it <your IMAGE ID> bash
...@@ -81,7 +81,7 @@ https://golang.google.cn/dl/ ...@@ -81,7 +81,7 @@ https://golang.google.cn/dl/
# 请替换[]中下载的go文件 # 请替换[]中下载的go文件
tar -C /usr/local -xzf [go-xxxx.tar.gz] tar -C /usr/local -xzf [go-xxxx.tar.gz]
export PATH=$PATH:/usr/local/go/bin export PATH=$PATH:/usr/local/go/bin
# 修改go下载源,提升速度(按需设置) # 修改go下载源,提升速度(按需设置)
go env -w GO111MODULE=on go env -w GO111MODULE=on
go env -w GOPROXY=https://goproxy.cn,direct go env -w GOPROXY=https://goproxy.cn,direct
...@@ -99,7 +99,7 @@ gcc升级(如需,gcc - 7.3.1可正常编译) ...@@ -99,7 +99,7 @@ gcc升级(如需,gcc - 7.3.1可正常编译)
yum install centos-release-scl yum install centos-release-scl
yum install devtoolset-9-gcc* yum install devtoolset-9-gcc*
scl enable devtoolset-9 bash scl enable devtoolset-9 bash
# 如果有其他版本gcc需要进行卸载 # 如果有其他版本gcc需要进行卸载
rpm -q gcc rpm -q gcc
rpm -e 上一步的输出 (需要卸载所有依赖项) rpm -e 上一步的输出 (需要卸载所有依赖项)
...@@ -119,10 +119,6 @@ gcc升级(如需,gcc - 7.3.1可正常编译) ...@@ -119,10 +119,6 @@ gcc升级(如需,gcc - 7.3.1可正常编译)
注意:每次运行前请检查环境变量`HSA_OVERRIDE_GFX_VERSION`是否正确设置。 注意:每次运行前请检查环境变量`HSA_OVERRIDE_GFX_VERSION`是否正确设置。
## Known Issue
1、在DCU平台上,该项目对q4的量化模型支持需要进一步优化,请选择q8以及上的模型。
## 参考资料 ## 参考资料
* https://github.com/ollama/ollama * https://github.com/ollama/ollama
......
No preview for this file type
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment