# FastMoE

一个易于使用和高效的系统，支持PyTorch的混合专家(MoE)模型。

## 安装

方式1：

在[这里](http://10.0.35.93:8000/customized/fastmoe/22.10/fastmoe-0.3.0%2Bdtk22.10-cp37-cp37m-linux_x86_64.whl)下载whl包，通过pip3 install安装(链接中的whl包为dtk22.10版本)

方式2：

```
python3 setup.py build
python3 setup.py install 
```

## 测试

所有测试文件在test文件夹中

```
pip3 install pytest
```

```
pytest -q test_dp.py
pytest -q test_ddp.py
pytest -q test_local_exchange.py
pytest -q test_numerical.py
pytest -q test_swipe.py
pytest -q test_zero.py
pytest -q test_gates.py
```

测试过程中不出现failed，全部pass即为通过

tips:Fastmoe系统应用于大规模分布式场景，因此在进行测试的时候，应使用不少于8张计算加速卡，否则会出现skip的问题。