update

README.md

@@ -25,7 +25,65 @@ LLama是一个基础语言模型的集合,参数范围从7B到65B。在数万亿
 
 ### 源码编译安装（方法二）
 
-[readme中方法二](https://developer.sourcefind.cn/codes/OpenDAS/text-generation-inference/-/blob/v2.1.1/README.md)
+基于光源pytorch2.1.0基础镜像环境：镜像下载地址：[https://sourcefind.cn/#/image/dcu/pytorch](https://sourcefind.cn/#/image/dcu/pytorch)，根据pytorch2.1.0、python、dtk及系统下载对应的镜像版本。pytorch2.1.0镜像里已经安装了trition,flash-attn
+
+1. 安装Rust
+
+```shell
+curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
+```
+
+2. 安装Protoc
+
+```shell
+PROTOC_ZIP=protoc-21.12-linux-x86_64.zip
+curl -OL https://github.com/protocolbuffers/protobuf/releases/download/v21.12/$PROTOC_ZIP
+sudo unzip -o $PROTOC_ZIP -d /usr/local bin/protoc
+sudo unzip -o $PROTOC_ZIP -d /usr/local 'include/*'
+rm -f $PROTOC_ZIP
+```
+
+3. 安装TGI Service
+
+```bash
+cd llama_tgi
+git clone http://developer.hpccube.com/codes/OpenDAS/text-generation-inference.git #根据需要的分支进行切换 例：-b v2.1.1
+cd text-generation-inference
+#安装exllama
+cd server
+make install-exllama #安装exllama kernels
+make install-exllamav2 #安装exllmav2 kernels
+cd .. #回到项目根目录
+source $HOME/.cargo/env
+BUILD_EXTENSIONS=True make install #安装text-generation服务
+```
+
+4. 安装benchmark
+
+```bash
+cd text-generation-inference
+make install-benchmark
+```
+
+注意：若安装过程过慢，可以通过如下命令修改默认源提速。
+
+```bash
+pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
+```
+
+另外，`cargo install` 太慢也可以通过在`~/.cargo/config`中添加源来提速。
+
+## 查看安装的版本号
+
+```bash
+text-generation-launcher -V  #版本号与官方版本同步
+```
+
+## 使用前
+
+```bash
+export PYTORCH_TUNABLEOP_ENABLED=0
+```
 
 ## 数据集
 无