Merge pull request #121 from Microsoft/master

merge master

zh_CN/examples/trials/kaggle-tgs-salt/README.md

+## Kaggle 比赛 [TGS Salt Identification Chanllenge](https://www.kaggle.com/c/tgs-salt-identification-challenge) 第 33 名的解决方案
+
+此样例展示了如何在没有任何代码改动的情况下通过 NNI 来为竞赛代码使用自动机器学习。 要在 NNI 上运行此代码，首先需要单独运行它，然后配置 config.yml：
+
+    nnictl create --config config.yml
+    
+
+此代码仍然能够单独运行，但需要至少一周来重现竞赛的结果。
+
+[解决方案概述](https://www.kaggle.com/c/tgs-salt-identification-challenge/discussion/69593)
+
+准备：
+
+下载完整的数据，运行 preprocess.py 来准备数据。
+
+阶段 1：
+
+将目录 0-3 训练 100 个 epoch，对于每个目录，训练三个模型：
+
+    python3 train.py --ifolds 0 --epochs 100 --model_name UNetResNetV4 
+    python3 train.py --ifolds 0 --epochs 100 --model_name UNetResNetV5 --layers 50
+    python3 train.py --ifolds 0 --epochs 100 --model_name UNetResNetV6
+    
+
+阶段 2：
+
+使用余弦退火学习率调度器运行 300 次 epoch 来微调阶段 1 的模型：
+
+    python3 train.py --ifolds 0 --epochs 300 --lrs cosine --lr 0.001 --min_lr 0.0001 --model_name UNetResNetV4 
+    
+
+阶段 3：
+
+用深度通道微调阶段 2 的模型：
+
+    python3 train.py --ifolds 0 --epochs 300 --lrs cosine --lr 0.001 --min_lr 0.0001 --model_name UNetResNetV4 --depths
+    
+
+阶段 4：
+
+为每个模型进行预测，组合结果生成伪标签。
+
+阶段 5：
+
+用伪标签微调阶段 3 的模型
+
+    python3 train.py --ifolds 0 --epochs 300 --lrs cosine --lr 0.001 --min_lr 0.0001 --model_name UNetResNetV4 --depths --pseudo
+    
+
+阶段 6： 将所有阶段 3 和阶段 5 的模型组合起来。
\ No newline at end of file

zh_CN/examples/trials/network_morphism/README.md

+# 在 NNI 中用网络形态算法来进行自动模型结构搜索
+
+Network Morphism （网络形态）是内置的 Tuner，它使用了网络形态技术来搜索和评估新的网络结构。 该样例展示了如何使用它来为深度学习找到好的模型架构。
+
+## 如何运行此样例？
+
+### 1. 训练框架支持
+
+网络形态当前基于框架，还没有实现与框架脱离的方法。 当前支持 Pytorch 和 Keras。 如果熟悉 JSON 中间格式，可以在自定义的训练框架中生成自己的模型。 随后，我们会将中间结果从 JSON 转换为 ONNX，从而能够成为[标准的中间表示](https://github.com/onnx/onnx/blob/master/docs/IR.md)。
+
+### 2. 安装需求
+
+```bash
+# 安装依赖包
+cd examples/trials/network_morphism/
+pip install -r requirements.txt
+```
+
+### 3. 更新配置
+
+修改 `examples/trials/network_morphism/cifar10/config.yml` 来适配自己的任务。注意，searchSpacePath 在配置中不需要。 默认配置：
+
+```yaml
+authorName: default
+experimentName: example_cifar10-network-morphism
+trialConcurrency: 1
+maxExecDuration: 48h
+maxTrialNum: 200
+#可选项: local, remote, pai
+trainingServicePlatform: local
+#可选项: true, false
+useAnnotation: false
+tuner:
+  #可选项: TPE, Random, Anneal, Evolution, BatchTuner, NetworkMorphism
+  #SMAC (SMAC 需要通过 nnictl 安装) 
+  builtinTunerName: NetworkMorphism
+  classArgs:
+    #可选项: maximize, minimize
+    optimize_mode: maximize
+    #当前仅支持视觉领域
+    task: cv
+    #修改来适配自己的图像大小
+    input_width: 32
+    #修改来适配自己的图像通道
+    input_channel: 3
+    #修改来适配自己的分类数量
+    n_output_node: 10
+trial:
+  # 自己的命令
+  command: python3 cifar10_keras.py
+  codeDir: .
+  gpuNum: 0
+```
+
+在 "trial" 部分中，如果需要使用 GPU 来进行架构搜索，可将 `gpuNum` 从 `0` 改为 `1`。 根据训练时长，可以增加 `maxTrialNum` 和 `maxExecDuration`。
+
+`trialConcurrency` 是并发运行的 Trial 的数量。如果将 `gpuNum` 设置为 1，则需要与 GPU 数量一致。
+
+### 4. 在代码中调用 "json\_to\_graph()" 函数
+
+修改代码来调用 "json\_to\_graph()" 函数来从收到的 JSON 字符串生成一个 Pytorch 或 Keras 模型。 简单样例：
+
+```python
+import nni
+from nni.networkmorphism_tuner.graph import json_to_graph
+
+def build_graph_from_json(ir_model_json):
+    """从 JSON 生成 Pytorch 模型
+    """
+    graph = json_to_graph(ir_model_json)
+    model = graph.produce_torch_model()
+    return model
+
+# 从网络形态 Tuner 中获得下一组参数
+RCV_CONFIG = nni.get_next_parameter()
+# 调用函数来生成 Pytorch 或 Keras 模型
+net = build_graph_from_json(RCV_CONFIG)
+
+# 训练过程
+# ....
+
+# 将最终精度返回给 NNI
+nni.report_final_result(best_acc)
+```
+
+### 5. 提交任务
+
+```bash
+# 可以使用命令行工具 "nnictl" 来创建任务
+# 最终会成功提交一个网络形态任务到 NNI
+nnictl create --config config.yml
+```
+
+## Trial 样例
+
+下面的代码可在 `examples/trials/network_morphism/` 中找到。 可参考此代码来更新自己的任务。 希望它对你有用。
+
+### FashionMNIST
+
+`Fashion-MNIST` 是来自 [Zalando](https://jobs.zalando.com/tech/) 文章的图片 — 有 60,000 个样例的训练集和 10,000 个样例的测试集。 每个样例是 28x28 的灰度图，分为 10 个类别。 由于 MNIST 数据集过于简单，该数据集现在开始被广泛使用，用来替换 MNIST 作为基准数据集。
+
+这里有两个样例，[FashionMNIST-keras.py](./FashionMNIST/FashionMNIST_keras.py) 和 [FashionMNIST-pytorch.py](./FashionMNIST/FashionMNIST_pytorch.py)。 注意，在 `config.yml` 中，需要为此数据集修改 `input_width` 为 28，以及 `input_channel` 为 1。
+
+### Cifar10
+
+`CIFAR-10` 数据集 [Canadian Institute For Advanced Research](https://www.cifar.ca/) 是广泛用于机器学习和视觉算法训练的数据集。 它是机器学习领域最广泛使用的数据集之一。 CIFAR-10 数据集包含了 60,000 张 32x32 的彩色图片，分为 10 类。
+
+这里有两个样例，[cifar10-keras.py](./cifar10/cifar10_keras.py) 和 [cifar10-pytorch.py](./cifar10/cifar10_pytorch.py)。 在 `config.yml` 中，该数据集 `input_width` 的值是 32，并且 `input_channel` 是 3。
\ No newline at end of file

zh_CN/examples/tuners/enas_nni/README.md

+**在 NNI 中运行 ENAS**  
+===
+
+来自贡献者的 [enas-nni](https://github.com/countif/enas_nni) 可运行在 NNI 中。 非常感谢！  
+欢迎更多志愿者加入我们！
\ No newline at end of file

zh_CN/examples/tuners/ga_customer_tuner/README.md

+# 如何使用 ga_customer_tuner?
+
+此定制的 Tuner 仅适用于代码 "~/nni/examples/trials/ga_squad"， 输入 `cd ~/nni/examples/trials/ga_squad` 查看 readme.md 来了解 ga_squad 的更多信息。
+
+# 配置
+
+如果要在 Experiment 中使用 ga_customer_tuner 可按照下列格式来配置：
+
+    tuner:
+      codeDir: ~/nni/examples/tuners/ga_customer_tuner
+      classFileName: customer_tuner.py
+      className: CustomerTuner
+      classArgs:
+        optimize_mode: maximize
\ No newline at end of file

zh_CN/examples/tuners/weight_sharing/ga_customer_tuner/README.md

+# 如何使用 ga_customer_tuner?
+
+此定制的 Tuner 仅适用于代码 "~/nni/examples/trials/ga_squad"， 输入 `cd ~/nni/examples/trials/ga_squad` 查看 readme.md 来了解 ga_squad 的更多信息。
+
+# 配置
+
+如果要在 Experiment 中使用 ga_customer_tuner 可按照下列格式来配置：
+
+    tuner:
+      codeDir: ~/nni/examples/tuners/ga_customer_tuner
+      classFileName: customer_tuner.py
+      className: CustomerTuner
+      classArgs:
+        optimize_mode: maximize
\ No newline at end of file

zh_CN/src/sdk/pynni/README.md

+## 安装
+
+为当前用户安装：
+
+    pip install --user -e .
+    
+
+为所有用户安装:
+
+    pip install -e .
+    
+
+## 测试
+
+    python setup.py test
\ No newline at end of file

zh_CN/src/sdk/pynni/nni/curvefitting_assessor/README.md

+# NNI 中的 Curve Fitting Assessor
+
+## 1. 介绍
+
+Curve Fitting Assessor 是一个 LPA (learning, predicting, assessing，即学习、预测、评估) 的算法。 如果预测的Trial X 在 step S 比性能最好的 Trial 要差，就会提前终止它。
+
+此算法中，使用了 12 条曲线来拟合学习曲线，从[参考论文](http://aad.informatik.uni-freiburg.de/papers/15-IJCAI-Extrapolation_of_Learning_Curves.pdf)中选择了大量的参数曲线模型。 学习曲线的形状与先验知识是一致的：都是典型的递增的、饱和的函数。
+
+<p align="center">
+<img src="./learning_curve.PNG" alt="drawing"/>
+</p>
+
+所有学习曲线模型被合并到了单个，更强大的模型中。 合并的模型通过加权线性混合：
+
+<p align="center">
+<img src="./f_comb.gif" alt="drawing"/>
+</p>
+
+合并后的参数向量
+
+<p align="center">
+<img src="./expression_xi.gif" alt="drawing"/>
+</p>
+
+假设增加一个高斯噪声，且噪声参数初始化为最大似然估计。
+
+通过学习历史数据来确定新的组合参数向量的最大概率值。 用这样的方法来预测后面的 Trial 性能，并停止不好的 Trial 来节省计算资源。
+
+具体来说，该算法有学习、预测和评估三个阶段。
+
+* 步骤 1：学习。 从当前 Trial 的历史中学习，并从贝叶斯角度决定 \xi 。 首先，使用最小二乘法 (由 `fit_theta` 实现) 来节省时间。 获得参数后，过滤曲线并移除异常点（由 `filter_curve` 实现）。 最后，使用 MCMC 采样方法 (由 `mcmc_sampling` 实现) 来调整每个曲线的权重。 至此，确定了 \xi 中的所有参数。
+
+* 步骤 2：预测。 用 \xi 和混合模型公式，在目标位置（例如 epoch 的总数）来计算期望的最终结果精度（由 `f_comb` 实现）。
+
+* 步骤 3：如果拟合结果没有收敛，预测结果会是 `None`，并返回 `AssessResult.Good`，待下次有了更多精确信息后再次预测。 此外，会通过 `predict()` 函数获得正数。如果该值大于 __历史最好结果__ * `THRESHOLD`(默认为 0.95)，则返回 `AssessResult.Good`，否则返回 `AssessResult.Bad`。
+
+下图显示了此算法在 MNIST Trial 历史数据上结果。其中绿点表示 Assessor 获得的数据，蓝点表示将来，但未知的数据，红色线条是 Curve fitting Assessor 的预测曲线。
+
+<p align="center">
+<img src="./example_of_curve_fitting.PNG" alt="drawing"/>
+</p>
+
+## 2. 用法
+
+要使用 Curve Fitting Assessor，需要在 Experiment 的 YAML 配置文件进行如下改动。
+
+    assessor:
+        builtinAssessorName: Curvefitting
+        classArgs:
+          # (必须) epoch 的总数。
+          # 需要此数据来决定需要预测的点。
+          epoch_num: 20
+          # (可选项) choice: maximize, minimize
+          # 如果选择了 minimize 模式，需要调整阈值为 >= 1.0 (例如：threshold=1.1)
+          * optimize_mode 的默认值是 maximize
+          optimize_mode: maximize
+          # (可选项) 决定 Trial 是否应被停止的次数
+          # 为了节省资源，只有在大于 start_step(default=6) 的精度点才开始预测。
+          # 只有在收到 start_step 个中间结果之后。
+          # start_step 的默认值是 6。
+          start_step: 6
+          # (可选) 决定是否提前终止的阈值。
+          # 例如，如果 threshold = 0.95, optimize_mode = maximize，最好的历史结果是 0.9，那么会在 Trial 的预测值低于 0.95 * 0.9 = 0.855 时停止。
+          * 阈值的默认值是 0.95。
+          threshold: 0.95
+    
+
+## 3. 文件结构
+
+Assessor 有大量的文件、函数和类。 这里只简单介绍最重要的文件：
+
+* `curvefunctions.py` 包含了所有函数表达式和默认参数。
+* `modelfactory.py` 包括学习和预测部分，并实现了相应的计算部分。
+* `curvefitting_assessor.py` 是接收 Trial 历史数据并评估是否需要提前终止的 Assessor。
+
+## 4. TODO
+
+* 进一步提高预测精度，并在更多模型上测试。
\ No newline at end of file

zh_CN/src/sdk/pynni/nni/hyperband_advisor/README.md

+# NNI 中使用 Hyperband
+
+## 1. 介绍
+
+[Hyperband](https://arxiv.org/pdf/1603.06560.pdf) 是一种流行的自动机器学习算法。 Hyperband 的基本思想是对配置分组，每组有 `n` 个随机生成的超参配置，每个配置使用 `r` 次资源（如，epoch 数量，批处理数量等）。 当 `n` 个配置完成后，会选择最好的 `n/eta` 个配置，并增加 `r*eta` 次使用的资源。 最后，会选择出的最好配置。
+
+## 2. 实现并行
+
+首先，此样例是基于 MsgDispatcherBase 来实现的自动机器学习算法，而不是基于 Tuner 和Assessor。 这种实现方法下，Hyperband 集成了 Tuner 和 Assessor 两者的功能，因而将它叫做 Advisor。
+
+其次，本实现完全利用了 Hyperband 内部的并行性。 具体来说，下一个分组不会严格的在当前分组结束后再运行，只要有资源，就可以开始运行新的分组。
+
+## 3. 用法
+
+要使用 Hyperband，需要在 Experiment 的 YAML 配置文件进行如下改动。
+
+    advisor:
+      #可选项: Hyperband
+      builtinAdvisorName: Hyperband
+      classArgs:
+        #R: 最大的步骤
+        R: 100
+        #eta: 丢弃的 Trial 的比例
+        eta: 3
+        #可选项: maximize, minimize
+        optimize_mode: maximize
+    
+
+注意，一旦使用了 Advisor，就不能在配置文件中添加 Tuner 和 Assessor。 使用 Hyperband 时，Trial 代码收到的超参（如键值对）中，除了用户定义的超参，会多一个 `STEPS`。 **使用 `STEPS`，Trial 能够控制其运行的时间。</p> 
+
+对于 Trial 代码中 `report_intermediate_result(metric)` 和 `report_final_result(metric)` 的**`指标` 应该是数值，或者用一个 dict，并保证其中有键值为 default 的项目，其值也为数值型**。 这是需要进行最大化或者最小化优化的数值，如精度或者损失度。
+
+`R` 和 `eta` 是 Hyperband 中可以改动的参数。 `R` 表示可以分配给配置的最大步数（STEPS）。 这里，STEPS 可以代表 epoch 或 批处理数量。 `STEPS` 应该被 Trial 代码用来控制运行的次数。 参考样例 `examples/trials/mnist-hyperband/` ，了解详细信息。
+
+`eta` 表示 `n` 个配置中的 `n/eta` 个配置会留存下来，并用更多的 STEPS 来运行。
+
+下面是 `R=81` 且 `eta=3` 时的样例：
+
+|   | s=4  | s=3  | s=2  | s=1  | s=0  |
+| - | ---- | ---- | ---- | ---- | ---- |
+| i | n r  | n r  | n r  | n r  | n r  |
+| 0 | 81 1 | 27 3 | 9 9  | 6 27 | 5 81 |
+| 1 | 27 3 | 9 9  | 3 27 | 2 81 |      |
+| 2 | 9 9  | 3 27 | 1 81 |      |      |
+| 3 | 3 27 | 1 81 |      |      |      |
+| 4 | 1 81 |      |      |      |      |
+
+`s` 表示分组， `n` 表示生成的配置数量，相应的 `r` 表示配置会运行多少 STEPS。 `i` 表示轮数，如分组 4 有 5 轮，分组 3 有 4 轮。
+
+关于如何实现 Trial 代码，参考 `examples/trials/mnist-hyperband/` 中的说明。
+
+## 4. 待改进
+
+当前实现的 Hyperband 算法可以通过改进支持的提前终止算法来提高，原因是最好的 `n/eta` 个配置并不一定都表现很好。 不好的配置可以更早的终止。
+
+在当前实现中，遵循了[此论文](https://arxiv.org/pdf/1603.06560.pdf)的设计，配置都是随机生成的。 要进一步提升，配置生成过程可以利用更高级的算法。
\ No newline at end of file

zh_CN/src/sdk/pynni/nni/networkmorphism_tuner/README.md

+# NNI 中的 Network Morphism Tuner
+
+## 1. 介绍
+
+[Autokeras](https://arxiv.org/abs/1806.10282) 是使用 Network Morphism 算法的流行的自动机器学习工具。 Autokeras 的基本理念是使用贝叶斯回归来预测神经网络架构的指标。 每次都会从父网络生成几个子网络。 然后使用朴素贝叶斯回归，从网络的历史训练结果来预测它的指标值。 接下来，会选择预测结果最好的子网络加入训练队列中。 在[此代码](https://github.com/jhfjhfj1/autokeras)的启发下，我们在 NNI 中实现了 Network Morphism 算法。
+
+要了解 Network Morphism Trial 的用法，参考 [Readme.md](../../../../../examples/trials/network-morphism/README.md)，了解更多细节。
+
+## 2. 用法
+
+要使用 Network Morphism，需要如下配置 `config.yml` 文件：
+
+```yaml
+tuner:
+  #选择: NetworkMorphism
+  builtinTunerName: NetworkMorphism
+  classArgs:
+    #可选项: maximize, minimize
+    optimize_mode: maximize
+    #当前仅支持 cv 领域
+    task: cv
+    #修改来支持实际图像宽度
+    input_width: 32
+    #修改来支持实际图像通道
+    input_channel: 3
+    #修改来支持实际的分类数量
+    n_output_node: 10
+```
+
+在训练过程中，会生成一个 JSON 文件来表示网络图。 可调用 "json\_to\_graph()" 函数来将 JSON 文件转化为 Pytoch 或 Keras 模型。
+
+```python
+import nni
+from nni.networkmorphism_tuner.graph import json_to_graph
+
+def build_graph_from_json(ir_model_json):
+    """从 JSON 生成 Pytorch 模型
+    """
+    graph = json_to_graph(ir_model_json)
+    model = graph.produce_torch_model()
+    return model
+
+# 从网络形态 Tuner 中获得下一组参数
+RCV_CONFIG = nni.get_next_parameter()
+# 调用函数来生成 Pytorch 或 Keras 模型
+net = build_graph_from_json(RCV_CONFIG)
+
+# 训练过程
+# ....
+
+# 将最终精度返回给 NNI
+nni.report_final_result(best_acc)
+```
+
+## 3. 文件结构
+
+Tuner 有大量的文件、函数和类。 这里只简单介绍最重要的文件：
+
+- `networkmorphism_tuner.py` 是使用 network morphism 算法的 Tuner。
+
+- `bayesian.py` 是用来基于已经搜索道德模型来预测未知模型指标的贝叶斯算法。
+
+- `graph.py` 是元图数据结构。 类 Graph 表示了模型的神经网络图。 
+  - Graph 从模型中抽取神经网络。 
+  - 图中的每个节点都是层之间的中间张量。
+  - 在图中，边表示层。
+  - 注意，多条边可能会表示同一层。
+
+- `graph_transformer.py` 包含了一些图转换，包括变宽，变深，或在图中增加跳跃连接。
+
+- `layers.py` 包括模型中用到的所有层。
+
+- `layer_transformer.py` 包含了一些层转换，包括变宽，变深，或在层中增加跳跃连接。
+- `nn.py` 包含生成初始化网的类。
+- `metric.py` 包括了一些指标类，如 Accuracy 和 MSE。
+- `utils.py` 是使用 Keras 在数据集 `cifar10` 上搜索神经网络的样例。
+
+## 4. 网络表示的 JSON 样例
+
+这是样例定义的中间表示 JSON 文件，它会在架构搜索过程中从 Tuner 传到 Trial。 可调用 "json\_to\_graph()" 函数来将 JSON 文件转化为 Pytoch 或 Keras 模型。 样例如下。
+
+```json
+{
+     "input_shape": [32, 32, 3],
+     "weighted": false,
+     "operation_history": [],
+     "layer_id_to_input_node_ids": {"0": [0],"1": [1],"2": [2],"3": [3],"4": [4],"5": [5],"6": [6],"7": [7],"8": [8],"9": [9],"10": [10],"11": [11],"12": [12],"13": [13],"14": [14],"15": [15],"16": [16]
+     },
+     "layer_id_to_output_node_ids": {"0": [1],"1": [2],"2": [3],"3": [4],"4": [5],"5": [6],"6": [7],"7": [8],"8": [9],"9": [10],"10": [11],"11": [12],"12": [13],"13": [14],"14": [15],"15": [16],"16": [17]
+     },
+     "adj_list": {
+         "0": [[1, 0]],
+         "1": [[2, 1]],
+         "2": [[3, 2]],
+         "3": [[4, 3]],
+         "4": [[5, 4]],
+         "5": [[6, 5]],
+         "6": [[7, 6]],
+         "7": [[8, 7]],
+         "8": [[9, 8]],
+         "9": [[10, 9]],
+         "10": [[11, 10]],
+         "11": [[12, 11]],
+         "12": [[13, 12]],
+         "13": [[14, 13]],
+         "14": [[15, 14]],
+         "15": [[16, 15]],
+         "16": [[17, 16]],
+         "17": []
+     },
+     "reverse_adj_list": {
+         "0": [],
+         "1": [[0, 0]],
+         "2": [[1, 1]],
+         "3": [[2, 2]],
+         "4": [[3, 3]],
+         "5": [[4, 4]],
+         "6": [[5, 5]],
+         "7": [[6, 6]],
+         "8": [[7, 7]],
+         "9": [[8, 8]],
+         "10": [[9, 9]],
+         "11": [[10, 10]],
+         "12": [[11, 11]],
+         "13": [[12, 12]],
+         "14": [[13, 13]],
+         "15": [[14, 14]],
+         "16": [[15, 15]],
+         "17": [[16, 16]]
+     },
+     "node_list": [
+         [0, [32, 32, 3]],
+         [1, [32, 32, 3]],
+         [2, [32, 32, 64]],
+         [3, [32, 32, 64]],
+         [4, [16, 16, 64]],
+         [5, [16, 16, 64]],
+         [6, [16, 16, 64]],
+         [7, [16, 16, 64]],
+         [8, [8, 8, 64]],
+         [9, [8, 8, 64]],
+         [10, [8, 8, 64]],
+         [11, [8, 8, 64]],
+         [12, [4, 4, 64]],
+         [13, [64]],
+         [14, [64]],
+         [15, [64]],
+         [16, [64]],
+         [17, [10]]
+     ],
+     "layer_list": [
+         [0, ["StubReLU", 0, 1]],
+         [1, ["StubConv2d", 1, 2, 3, 64, 3]],
+         [2, ["StubBatchNormalization2d", 2, 3, 64]],
+         [3, ["StubPooling2d", 3, 4, 2, 2, 0]],
+         [4, ["StubReLU", 4, 5]],
+         [5, ["StubConv2d", 5, 6, 64, 64, 3]],
+         [6, ["StubBatchNormalization2d", 6, 7, 64]],
+         [7, ["StubPooling2d", 7, 8, 2, 2, 0]],
+         [8, ["StubReLU", 8, 9]],
+         [9, ["StubConv2d", 9, 10, 64, 64, 3]],
+         [10, ["StubBatchNormalization2d", 10, 11, 64]],
+         [11, ["StubPooling2d", 11, 12, 2, 2, 0]],
+         [12, ["StubGlobalPooling2d", 12, 13]],
+         [13, ["StubDropout2d", 13, 14, 0.25]],
+         [14, ["StubDense", 14, 15, 64, 64]],
+         [15, ["StubReLU", 15, 16]],
+         [16, ["StubDense", 16, 17, 64, 10]]
+     ]
+ }
+```
+
+每个模型的定义都是一个 JSON 对象 （也可以认为模型是一个 [有向无环图](https://en.wikipedia.org/wiki/Directed_acyclic_graph))：
+
+- `input_shape` 是整数的列表，不包括批量维度。
+- `weighted` 表示是否权重和偏移值应该包含在此神经网络图中。
+- `operation_history` 是保存了所有网络形态操作的列表。
+- `layer_id_to_input_node_ids` 是字典实例，将层的标识映射到输入节点标识。
+- `layer_id_to_output_node_ids` 是字典实例，将层的标识映射到输出节点标识。
+- `adj_list` 是二维列表。 是图的邻接列表。 第一维是张量标识。 在每条边的列表中，元素是两元组（张量标识，层标识）。
+- `reverse_adj_list` 是与 adj_list 格式一样的反向邻接列表。
+- `node_list` 是一个整数列表。 列表的索引是标识。
+- `layer_list` 是层的列表。 列表的索引是标识。
+  
+  - 对于 `StubConv (StubConv1d, StubConv2d, StubConv3d)`，后面的数字表示节点的输入 id（或 id 列表），节点输出 id，input_channel，filters，kernel_size，stride 和 padding。
+  
+  - 对于 `StubDense`，后面的数字表示节点的输入 id （或 id 列表），节点输出 id，input_units 和 units。
+  
+  - 对于 `StubBatchNormalization (StubBatchNormalization1d, StubBatchNormalization2d, StubBatchNormalization3d)`，后面的数字表示节点输入 id（或 id 列表），节点输出 id，和特征数量。
+  
+  - 对于 `StubDropout(StubDropout1d, StubDropout2d, StubDropout3d)`，后面的数字表示节点的输入 id （或 id 列表），节点的输出 id 和 dropout 率。
+  
+  - 对于 `StubPooling (StubPooling1d, StubPooling2d, StubPooling3d)`后面的数字表示节点的输入 id（或 id 列表），节点输出 id，kernel_size, stride 和 padding。
+  
+  - 对于其它层，后面的数字表示节点的输入 id（或 id 列表）以及节点的输出 id。
+
+## 5. TODO
+
+下一步，会将 API 从固定的网络生成方法改为更多的网络操作生成方法。 此外，还会使用 ONNX 格式来替代 JSON 作为中间表示结果。
\ No newline at end of file

zh_CN/src/sdk/pynni/nni/smac_tuner/README.md

+# 集成文档：NNI 上使用 SMAC
\ No newline at end of file

zh_CN/src/webui/README.md

+# Web 界面
+
+## 查看概要页面
+
+点击标签 "Overview"。
+
+* 查看 Experiment 参数。
+* 查看最好结果的 Trial。
+* 查看搜索空间 JSON 文件。
+
+## 查看任务准确度
+
+点击 "Default Metric" 来查看所有 Trial 的点图。 将鼠标悬停到某个点查看其准确度。
+
+## 查看超参
+
+点击 "Hyper Parameter" 标签查看图像。
+
+* 可选择百分比查看最好的 Trial。
+* 选择两个轴来交换位置。
+
+## 查看 Trial 状态
+
+点击 "Trials Detail" 标签查看所有 Trial 的状态。 特别是：
+
+* Trial duration：Trial 执行时间的条形图。
+* Trial 详情：Trial 的 id，持续时间，开始时间，结束时间，状态，精度和搜索空间。
+* Kill: 可终止正在运行的任务。
+
+## 反馈
+
+[已知问题](https://github.com/Microsoft/nni/issues)
\ No newline at end of file