Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
orangecat
ollama
Commits
acf440ec
Commit
acf440ec
authored
Nov 09, 2024
by
xuxzh1
🎱
Browse files
update
parent
0385600a
Changes
2
Hide whitespace changes
Inline
Side-by-side
Showing
2 changed files
with
5 additions
and
9 deletions
+5
-9
README.md
README.md
+5
-9
ollama_035.zip
ollama_035.zip
+0
-0
No files found.
README.md
View file @
acf440ec
...
@@ -12,7 +12,7 @@ Ollama是以llama.cpp为后端的前端大模型推理框架,可快速部署
...
@@ -12,7 +12,7 @@ Ollama是以llama.cpp为后端的前端大模型推理框架,可快速部署
+
gcc 7.3.1
+
gcc 7.3.1
+
go
+
go
### 1、使用dockerfile方式安装
### 1、使用dockerfile方式安装
(推荐)
本仓库仅提供代码修改时的参考,请勿直接使用,官方版本0.1.43已测可用。
本仓库仅提供代码修改时的参考,请勿直接使用,官方版本0.1.43已测可用。
本仓库也提供了已测试通过的
`Dockerfile`
(Z100),在
`ollama_build.zip`
中,如需适配其他平台需要按照下述文档对
`Dockerfile`
进行修改,主要为
`AMDGPU_TARGETS=当前设备型号(如:gfx906,gfx928等);HSA_OVERRIDE_GFX_VERSION=设备型号(如: gfx906对应9.0.6;gfx928对应9.2.8)`
。
本仓库也提供了已测试通过的
`Dockerfile`
(Z100),在
`ollama_build.zip`
中,如需适配其他平台需要按照下述文档对
`Dockerfile`
进行修改,主要为
`AMDGPU_TARGETS=当前设备型号(如:gfx906,gfx928等);HSA_OVERRIDE_GFX_VERSION=设备型号(如: gfx906对应9.0.6;gfx928对应9.2.8)`
。
...
@@ -26,7 +26,7 @@ Ollama是以llama.cpp为后端的前端大模型推理框架,可快速部署
...
@@ -26,7 +26,7 @@ Ollama是以llama.cpp为后端的前端大模型推理框架,可快速部署
|版本|压缩包名称|测试模型|
|版本|压缩包名称|测试模型|
|:---:|:---:|:---:|
|:---:|:---:|:---:|
|0.1.43|ollama_build.zip|qwen2:7b-instruct-fp16|
|0.1.43|ollama_build.zip|qwen2:7b-instruct-fp16|
|0.3.5|ollama_035.zip|llama3.1:8b-instruct-q8_0|
|0.3.5
(推荐)
|ollama_035.zip|llama3.1:8b-instruct-q8_0|
### 2、使用源码编译方式安装(<=0.35)
### 2、使用源码编译方式安装(<=0.35)
...
@@ -35,7 +35,7 @@ Ollama是以llama.cpp为后端的前端大模型推理框架,可快速部署
...
@@ -35,7 +35,7 @@ Ollama是以llama.cpp为后端的前端大模型推理框架,可快速部署
##### Docker
##### Docker
docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-centos7.6-dtk24.04-py310
docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-centos7.6-dtk24.04-py310
docker run --shm-size 30g --network=host --name=ollama --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v 项目地址(绝对路径):/home/ -v /opt/hyhal:/opt/hyhal:ro -it <your IMAGE ID> bash
docker run --shm-size 30g --network=host --name=ollama --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v 项目地址(绝对路径):/home/ -v /opt/hyhal:/opt/hyhal:ro -it <your IMAGE ID> bash
...
@@ -81,7 +81,7 @@ https://golang.google.cn/dl/
...
@@ -81,7 +81,7 @@ https://golang.google.cn/dl/
# 请替换[]中下载的go文件
# 请替换[]中下载的go文件
tar -C /usr/local -xzf [go-xxxx.tar.gz]
tar -C /usr/local -xzf [go-xxxx.tar.gz]
export PATH=$PATH:/usr/local/go/bin
export PATH=$PATH:/usr/local/go/bin
# 修改go下载源,提升速度(按需设置)
# 修改go下载源,提升速度(按需设置)
go env -w GO111MODULE=on
go env -w GO111MODULE=on
go env -w GOPROXY=https://goproxy.cn,direct
go env -w GOPROXY=https://goproxy.cn,direct
...
@@ -99,7 +99,7 @@ gcc升级(如需,gcc - 7.3.1可正常编译)
...
@@ -99,7 +99,7 @@ gcc升级(如需,gcc - 7.3.1可正常编译)
yum install centos-release-scl
yum install centos-release-scl
yum install devtoolset-9-gcc*
yum install devtoolset-9-gcc*
scl enable devtoolset-9 bash
scl enable devtoolset-9 bash
# 如果有其他版本gcc需要进行卸载
# 如果有其他版本gcc需要进行卸载
rpm -q gcc
rpm -q gcc
rpm -e 上一步的输出 (需要卸载所有依赖项)
rpm -e 上一步的输出 (需要卸载所有依赖项)
...
@@ -119,10 +119,6 @@ gcc升级(如需,gcc - 7.3.1可正常编译)
...
@@ -119,10 +119,6 @@ gcc升级(如需,gcc - 7.3.1可正常编译)
注意:每次运行前请检查环境变量
`HSA_OVERRIDE_GFX_VERSION`
是否正确设置。
注意:每次运行前请检查环境变量
`HSA_OVERRIDE_GFX_VERSION`
是否正确设置。
## Known Issue
1、在DCU平台上,该项目对q4的量化模型支持需要进一步优化,请选择q8以及上的模型。
## 参考资料
## 参考资料
*
https://github.com/ollama/ollama
*
https://github.com/ollama/ollama
...
...
ollama_035.zip
View file @
acf440ec
No preview for this file type
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment