Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
OpenDAS
text-generation-inference
Commits
eb1218b6
Commit
eb1218b6
authored
Apr 01, 2025
by
xuxzh1
🎱
Browse files
Update README.md
parent
eb188324
Changes
1
Show whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
6 additions
and
4 deletions
+6
-4
README.md
README.md
+6
-4
No files found.
README.md
View file @
eb1218b6
...
@@ -42,8 +42,8 @@ Text Generation Inference(TGI)是一个用 Rust 和 Python 编写的框架
...
@@ -42,8 +42,8 @@ Text Generation Inference(TGI)是一个用 Rust 和 Python 编写的框架
## 环境要求
## 环境要求
+
Python 3.10
+
Python 3.10
+
DTK 2
4
.04
.3
+
DTK 2
5
.04
+
torch 2.
1.0
+
torch 2.
4.1
### 使用源码编译方式安装
### 使用源码编译方式安装
...
@@ -56,11 +56,13 @@ Text Generation Inference(TGI)是一个用 Rust 和 Python 编写的框架
...
@@ -56,11 +56,13 @@ Text Generation Inference(TGI)是一个用 Rust 和 Python 编写的框架
##### 方式二:
##### 方式二:
基于光源pytorch2.
1.0
基础镜像环境:镜像下载
地址:
[
https://sourcefind.cn/#/image/dcu/pytorch
](
https://sourcefind.cn/#/image/dcu/pytorch
)
,根据pytorch2.1.0、python、dtk及系统下载对应的镜像版本。pytorch2.1.0镜像里已经安装了trition,flash-attn
基于光源pytorch2.
4.1
基础镜像环境:镜像下载
:docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.4.1-ubuntu22.04-dtk25.04-py3.10-fixpy
1.
安装Rust
1.
安装Rust
```
shell
```
shell
curl
--proto
'=https'
--tlsv1
.2
-sSf
https://sh.rustup.rs | sh
curl
--proto
'=https'
--tlsv1
.2
-sSf
https://sh.rustup.rs | sh
rustup update
rustup override
set
1.85.0
```
```
2.
安装Protoc
2.
安装Protoc
...
@@ -91,7 +93,7 @@ make install-benchmark
...
@@ -91,7 +93,7 @@ make install-benchmark
```
bash
```
bash
pip config
set
global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip config
set
global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
```
```
另外,
`cargo install`
太慢也可以通过在
`~/.cargo/config`
中添加源来提速。
另外,
`cargo install`
太慢也可以通过在
`~/.cargo/config
.toml
`
中添加源来提速。
## 查看安装的版本号
## 查看安装的版本号
```
bash
```
bash
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment