You need to sign in or sign up before continuing.
README.md 856 Bytes
Newer Older
Sugon_ldc's avatar
Sugon_ldc committed
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
# FastMoE

一个易于使用和高效的系统,支持PyTorch的混合专家(MoE)模型。

## 安装

方式1:

[这里](http://10.0.35.93:8000/customized/fastmoe/22.10/fastmoe-0.3.0%2Bdtk22.10-cp37-cp37m-linux_x86_64.whl)下载whl包,通过pip3 install安装(链接中的whl包为dtk22.10版本)

方式2:

```
python3 setup.py build
python3 setup.py install 
```

## 测试

所有测试文件在test文件夹中

```
pip3 install pytest
```

```
pytest -q test_dp.py
pytest -q test_ddp.py
pytest -q test_local_exchange.py
pytest -q test_numerical.py
pytest -q test_swipe.py
pytest -q test_zero.py
pytest -q test_gates.py
```

测试过程中不出现failed,全部pass即为通过

tips:Fastmoe系统应用于大规模分布式场景,因此在进行测试的时候,应使用不少于8张计算加速卡,否则会出现skip的问题。