#
PyTorch Scatter
## 简介 PyTorch Scatter由一个小型扩展库组成,专为PyTorch设计,提供了一系列高度优化的稀疏更新(scatter和segment)操作,这些操作在主包中是缺失的。Scatter和segment操作可以大致描述为基于给定“组索引”张量的归约操作。Segment操作要求“组索引”张量是有序的,而scatter操作则不受此要求限制。DAS软件栈中的PyTorch Scatter版本,不仅保证了该组件 核心功能在DCU加速卡的可用性,还针对DCU特有的硬件架构进行了深度定制优化,这使得开发者能够以极低的成本,轻松实现应用程序在DCU加速卡上的快速迁移和性能提升。目前已适配支持Pytorch1.13,Pyotrch2.1,Pytorch2.4.1. Pytorch2.5.1 ## 安装 ### 使用pip方式安装 pytorch-scatter whl包下载目录:[光合开发者社区](https://das.sourcefind.cn:55011/portal/#/home), ```shell pip install torch_scatter* (下载的torch_scatter的whl包) ``` ### 使用源码编译方式安装 #### 编译环境准备 - 安装相关依赖 ```shell pip install -r requirements.txt ``` - 在首页 | 光合开发者社区下载 dtk25.04 解压至 /opt/ 路径下,并建立软链接 ```shell cd /opt && ln -s dtk-25.04 dtk ``` - 安装pytorch,pytorch whl包下载目录:[光合开发者社区](https://das.sourcefind.cn:55011/portal/#/home),根据python、dtk版本,下载对应pytorch的whl包。安装命令如下: ```shell pip install torch* (下载的torch的whl包) ``` - 安装fastpt,fastpt whl包下载目录:[光合开发者社区](https://das.sourcefind.cn:55011/portal/#/home),根据fastpt、dtk版本,下载对应fastpt的whl包。安装命令如下: ```shell pip install fastpt* (下载的fastpt的whl包) ``` #### 源码编译安装 ```shell git clone -b 2.1.0-fastpt http://developer.hpccube.com/codes/aicomponent/torch-scatter.git export FORCE_CUDA=1 source /usr/local/bin/fastpt -C cd torch-scatter python setup.py bdist_wheel pip install dist/*.whl ``` ## 单测 ```shell cd torch-scatter pytest ``` ## Known Issue 完成安装进行单测时,会报错ImportError: Could not find module '_version_cpu' ~,在根目录/下查找一下,然后把库文件目录添加一下软链接即可。 ``` find / -name "_version_cpu.so" cd /torch-scatter/torch_scatter ln -s /usr/local/lib/python3.8/site-packages/torch-scatter/* . ``` ## 参考资料 [https://github.com/rusty1s/pytorch_scatter](https://github.com/rusty1s/pytorch_scatter)