Commit eb1218b6 authored by xuxzh1's avatar xuxzh1 🎱
Browse files

Update README.md

parent eb188324
...@@ -42,8 +42,8 @@ Text Generation Inference(TGI)是一个用 Rust 和 Python 编写的框架 ...@@ -42,8 +42,8 @@ Text Generation Inference(TGI)是一个用 Rust 和 Python 编写的框架
## 环境要求 ## 环境要求
+ Python 3.10 + Python 3.10
+ DTK 24.04.3 + DTK 25.04
+ torch 2.1.0 + torch 2.4.1
### 使用源码编译方式安装 ### 使用源码编译方式安装
...@@ -56,11 +56,13 @@ Text Generation Inference(TGI)是一个用 Rust 和 Python 编写的框架 ...@@ -56,11 +56,13 @@ Text Generation Inference(TGI)是一个用 Rust 和 Python 编写的框架
##### 方式二: ##### 方式二:
基于光源pytorch2.1.0基础镜像环境:镜像下载地址:[https://sourcefind.cn/#/image/dcu/pytorch](https://sourcefind.cn/#/image/dcu/pytorch),根据pytorch2.1.0、python、dtk及系统下载对应的镜像版本。pytorch2.1.0镜像里已经安装了trition,flash-attn 基于光源pytorch2.4.1基础镜像环境:镜像下载:docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.4.1-ubuntu22.04-dtk25.04-py3.10-fixpy
1. 安装Rust 1. 安装Rust
```shell ```shell
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
rustup update
rustup override set 1.85.0
``` ```
2. 安装Protoc 2. 安装Protoc
...@@ -91,7 +93,7 @@ make install-benchmark ...@@ -91,7 +93,7 @@ make install-benchmark
```bash ```bash
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
``` ```
另外,`cargo install` 太慢也可以通过在`~/.cargo/config`中添加源来提速。 另外,`cargo install` 太慢也可以通过在`~/.cargo/config.toml`中添加源来提速。
## 查看安装的版本号 ## 查看安装的版本号
```bash ```bash
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment