README.md

--------------------------------------------------------------------------------

## Faiss简介

Faiss 是一个用于高效相似性搜索和密集向量聚类的库。它提供了在各种规模的向量集合中进行搜索的算法，包括那些可能无法完全适应 RAM 的大型集合。除了搜索功能，Faiss 还包含用于评估和参数调优的支持代码

## 版本约束

1. 暂不支持的官方版本或功能

   **更高版本**：暂不支持faiss1.7.2以上版本

2. faiss软件版本配套关系

   | faiss版本 | DCU适配版faiss软件包版本                 | DCU加速卡型号              | DTK版本 |
   | ----------- | ------------------------------------------ | -------------------------- | ------- |
   | 1.7.2       | 1.7.2+das.dtk24042                         | Z100、Z100L、K100、K100_AI | 24.04.2 |
   
## 前置条件

使用 DAS PyTorch需要参考[《DCU新手入门教程》](https://developer.hpccube.com/gitbook/dcu_tutorial/index.html)在主机系统安装以下组件:

- DCU驱动程序
- DTK
- Docker引擎

## 安装
组件支持
+ Python 3.7、3.8、3.9、3.10

### 使用源码编译方式安装
基于光源pytorch基础镜像环境：镜像下载地址：[https://sourcefind.cn/#/image/dcu/pytorch](https://sourcefind.cn/#/image/dcu/pytorch)，根据pytorch、python、dtk及系统下载对应的镜像版本。
#### 源码编译安装
- 代码下载
```shell
git clone https://developer.sourcefind.cn/codes/OpenDAS/faiss.git # 根据编译需要切换分支
```
- 提供2种源码编译方式（进入faiss目录）：
注：编译时需修改环境中的cmake，添加cu文件编译支持
```
find -name CMakeCXXCompiler.cmake.in
vim /usr/share/cmake3/Modules/CMakeCXXCompiler.cmake.in#这里打开自己的实际路径
修改下面两行代码在最后分别添加  cu;CU  和   cuh;CUH
set(CMAKE_CXX_SOURCE_FILE_EXTENSIONS C;M;c++;cc;cpp;cxx;m;mm;CPP;cu;CU)
set(CMAKE_CXX_IGNORE_EXTENSIONS inl;h;hpp;HPP;H;o;O;obj;OBJ;def;DEF;rc;RC;cuh;CUH)
```
```
1. 编译whl包并安装
pip3 install wheel 
pip3 install pytest  
mkdir -p build
cd build
source /opt/dtk/env.sh
export BUILD_DIR=`pwd`
export LD_LIBRARY_PATH=${BUILD_DIR}/faiss/gpu/test/:${BUILD_DIR}/faiss/:${BUILD_DIR}/lib/:$LD_LIBRARY_PATH
CXX=hipcc CC=hipcc  cmake -DFAISS_ENABLE_GPU=ON -DBUILD_SHARED_LIBS=ON -DFAISS_OPT_LEVEL=avx -DBUILD_TESTING=ON -DCMAKE_BUILD_TYPE=RELEASE -DCMAKE_MODULE_PATH="${ROCM_PATH}/hip/cmake"  -DCMAKE_INSTALL_PREFIX=${BUILD_DIR}/install  -DMKL_LIBRARIES=/opt/intel/compilers_and_libraries_2020.4.304/linux/mkl/lib/intel64_lin/libmkl_rt.so ..
make 
cd faiss/python
python3 setup.py bdist_wheel
cd dist  
pip3 install faiss-* --no-deps  --force
2. 源码编译安装
mkdir -p build
cd build
source /opt/dtk/env.sh
export BUILD_DIR=`pwd`
export LD_LIBRARY_PATH=${BUILD_DIR}/faiss/gpu/test/:${BUILD_DIR}/faiss/:${BUILD_DIR}/lib/:$LD_LIBRARY_PATH
CXX=hipcc CC=hipcc  cmake -DFAISS_ENABLE_GPU=ON -DBUILD_SHARED_LIBS=ON -DFAISS_OPT_LEVEL=avx -DBUILD_TESTING=ON -DCMAKE_BUILD_TYPE=RELEASE -DCMAKE_MODULE_PATH="${ROCM_PATH}/hip/cmake"  -DCMAKE_INSTALL_PREFIX=${BUILD_DIR}/install  -DMKL_LIBRARIES=/opt/intel/compilers_and_libraries_2020.4.304/linux/mkl/lib/intel64_lin/libmkl_rt.so ..
make && make install 
```

## 验证

验证安装:__dcu_version__会返回对应版本的dtk版本号

```
python3
Python 3.10.12 (main, May 26 2024, 00:14:02) [GCC 9.4.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import faiss
>>> faiss.__version__
'1.7.2'
>>> faiss.__dcu_version__
'1.7.2+das.dtk2404'
>>>
```

## 单测

```
cd faiss/tests
pytest -vs
cd faiss/build
ctest
```

## Known Issue
- 无