Commit 9822d7f6 authored by wangkx1's avatar wangkx1
Browse files

Update README.md

parent 366dfe82
Pipeline #1941 failed with stages
in 0 seconds
...@@ -51,15 +51,21 @@ rm -f $PROTOC_ZIP ...@@ -51,15 +51,21 @@ rm -f $PROTOC_ZIP
``` ```
3. 安装TGI Service 3. 安装TGI Service
```bash ```bash
git clone http://developer.hpccube.com/codes/OpenDAS/text-generation-inference.git # 根据需要的分支进行切换 git clone http://developer.hpccube.com/codes/wangkx1/text_generation_server-dcu.git # 根据需要的分支进行切换
cd text-generation-inference cd text-generation-inference
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip install -r pre_requirements.txt
#安装exllama #安装exllama
cd server cd server
make install-exllama #安装exllama kernels make install-exllama #安装exllama kernels
make install-exllamav2 #安装exllmav2 kernels make install-exllamav2 #安装exllmav2 kernels
cd .. #回到项目根目录 cd .. #回到项目根目录
source $HOME/.cargo/env source $HOME/.cargo/env
BUILD_EXTENSIONS=True make install #安装text-generation服务 BUILD_EXTENSIONS=True make install #安装text-generation服务
``` ```
4. 安装benchmark 4. 安装benchmark
```bash ```bash
...@@ -68,7 +74,7 @@ make install-benchmark ...@@ -68,7 +74,7 @@ make install-benchmark
``` ```
注意:若安装过程过慢,可以通过如下命令修改默认源提速。 注意:若安装过程过慢,可以通过如下命令修改默认源提速。
```bash ```bash
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
``` ```
另外,`cargo install` 太慢也可以通过在`~/.cargo/config`中添加源来提速。 另外,`cargo install` 太慢也可以通过在`~/.cargo/config`中添加源来提速。
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment