update to dtk23.10

.gitmodules

 [submodule "fastertransformer"]
 	path = fastertransformer
 	url = http://developer.hpccube.com/codes/aicomponent/fastertransformer.git
-	branch = develop
+	branch = fastertransformer-dtk23.10
\ No newline at end of file

README.md

@@ -23,26 +23,20 @@ BLOOM是一种自回归大型语言模型(LLM)，经过训练，可使用工业
 
 ## 环境配置
 
-提供[光源](https://www.sourcefind.cn/#/service-details)拉取推理的docker镜像：
+提供[光源](https://www.sourcefind.cn/#/image/dcu/custom)拉取推理的docker镜像：
 ```
-docker pull docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:fastertransformer-dtk23.04-latest
+docker pull docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:fastertransformer-dtk23.10
 # <Image ID>用上面拉取docker镜像的ID替换
 # <Host Path>主机端路径
 # <Container Path>容器映射路径
-docker run -it --name llama --shm-size=32G  --device=/dev/kfd --device=/dev/dri/ --cap-add=SYS_PTRACE --security-opt seccomp=unconfined --ulimit memlock=-1:-1 --ipc=host --network host --group-add video -v <Host Path>:<Container Path> <Image ID> /bin/bash
+docker run -it --name llama --privileged --shm-size=32G  --device=/dev/kfd --device=/dev/dri/ --cap-add=SYS_PTRACE --security-opt seccomp=unconfined --ulimit memlock=-1:-1 --ipc=host --network host --group-add video -v <Host Path>:<Container Path> <Image ID> /bin/bash
 ```
 
 镜像版本依赖：
-* DTK驱动：dtk23.04
-* Pytorch: 1.10
+* DTK驱动：dtk23.10
+* Pytorch: 1.13
 * python: python3.8
 
-激活镜像环境：
-`source /opt/dtk-23.04/env.sh`
-
-测试目录：
-`/opt/FasterTransformer`
-
 ## 数据集
 无
 
@@ -52,8 +46,8 @@ docker run -it --name llama --shm-size=32G  --device=/dev/kfd --device=/dev/dri/
 ```bash
 git clone http://developer.hpccube.com/codes/modelzoo/bloom_fastertransformer.git
 cd bloom_fastertransformer
-mkdir build
-cd build
+mkdir -p astertransformer/build
+cd astertransformer/build
 git submodule init && git submodule update
 cmake -DCMAKE_BUILD_TYPE=Release -DBUILD_MULTI_GPU=ON -DCMAKE_CXX_COMPILER=nvcc ..
 export C_INCLUDE_PATH=$PWD/_deps/googletest-src/googletest/include${C_INCLUDE_PATH:+:${C_INCLUDE_PATH}}
@@ -63,7 +57,6 @@ make -j12
 运行前：
 export LD_LIBRARY_PATH=$PWD/src/fastertransformer/utils/gemm_test/CMakeFiles/gpt_gemm_func.dir:$LD_LIBRARY_PATH
 ```
-注：若不重新编译，直接使用测试目录代码即可。
 
 ### 模型下载
 
@@ -72,7 +65,6 @@ export LD_LIBRARY_PATH=$PWD/src/fastertransformer/utils/gemm_test/CMakeFiles/gpt
 模型转换
 
 ```bash
-cd /opt/FasterTransformer/build
 python ../examples/pytorch/gpt/utils/huggingface_bloom_convert.py \
 --input-dir=/data/models/llama-7b-infer/ \
 --output-dir=/data/models/llama-7b-hf/ \
@@ -127,8 +119,7 @@ build/
 ```
 执行一下命令可以解析out结果：
 ```bash
-python bloom_token_converter.py  # 使用镜像代码
-python ../examples/cpp/multi_gpu_gpt/bloom_tokenizer.py # 若重新编译
+python ../examples/cpp/multi_gpu_gpt/bloom_tokenizer.py
 其中，`tokenizer`为原模型路径
 ```
 测试数据："Translate to English: Je t’aime." (token id: 153772, 427, 9522, 6395, 76721, 68258, 17)，使用的加速卡:1张 DCU-Z100L-32G