Merge pull request #19 from microsoft/master

pull code

docs/zh_CN/MetisTuner.md

+# Metis Tuner
+
+## Metis Tuner
+
+大多数调参工具仅仅预测最优配置，而 [Metis](https://www.microsoft.com/en-us/research/publication/metis-robustly-tuning-tail-latencies-cloud-systems/) 的优势在于有两个输出：(a) 最优配置的当前预测结果， 以及 (b) 下一次 Trial 的建议。 不再需要随机猜测!
+
+大多数工具假设训练集没有噪声数据，但 Metis 会知道是否需要对某个超参重新采样。
+
+大多数工具都有着重于在已有结果上继续发展的问题，而 Metis 的搜索策略可以在探索，发展和重新采样（可选）中进行平衡。
+
+Metis 属于基于序列的贝叶斯优化 (SMBO) 的类别，它也基于贝叶斯优化框架。 为了对超参-性能空间建模，Metis 同时使用了高斯过程（Gaussian Process）和高斯混合模型（GMM）。 由于每次 Trial 都可能有很高的时间成本，Metis 大量使用了已有模型来进行推理计算。 在每次迭代中，Metis 执行两个任务：
+
+在高斯过程空间中找到全局最优点。 这一点表示了最佳配置。
+
+它会标识出下一个超参的候选项。 这是通过对隐含信息的探索、挖掘和重采样来实现的。
+
+注意，搜索空间仅支持 `choice`, `quniform`, `uniform` 和 `randint`。
+
+更多详情，参考论文：https://www.microsoft.com/en-us/research/publication/metis-robustly-tuning-tail-latencies-cloud-systems/
\ No newline at end of file

docs/zh_CN/mnist_examples.md → docs/zh_CN/MnistExamples.md

@@ -5,7 +5,7 @@
 - [MNIST 中使用 NNI API](#mnist)
 - [MNIST 中使用 NNI 标记（annotation）](#mnist-annotation)
 - [在 Keras 中使用 MNIST](#mnist-keras)
-- [MNIST -- 用批处理调参器来调优](#mnist-batch)
+- [MNIST -- 用批处理 Tuner 来调优](#mnist-batch)
 - [MNIST -- 用 hyperband 调优](#mnist-hyperband)
 - [MNIST -- 用嵌套搜索空间调优](#mnist-nested)
 - [用 Kubeflow 运行分布式的 MNIST (tensorflow)](#mnist-kubeflow-tf)
@@ -14,7 +14,7 @@
 <a name="mnist"></a>
 **MNIST 中使用 NNI API**
 
-这是个简单的卷积网络，有两个卷积层，两个池化层和一个全连接层。 调优的超参包括 dropout 比率，卷积层大小，隐藏层（全连接层）大小等等。 它能用 NNI 中大部分内置的调参器来调优，如 TPE，SMAC，Random。 样例的 YAML 文件也启用了评估器来提前终止一些中间结果不好的尝试。
+这是个简单的卷积网络，有两个卷积层，两个池化层和一个全连接层。 调优的超参包括 dropout 比率，卷积层大小，隐藏层（全连接层）大小等等。 它能用 NNI 中大部分内置的 Tuner 来调优，如 TPE，SMAC，Random。 样例的 YAML 文件也启用了评估器来提前终止一些中间结果不好的尝试。
 
 `代码目录: examples/trials/mnist/`
 
@@ -33,9 +33,9 @@
 `代码目录: examples/trials/mnist-keras/`
 
 <a name="mnist-batch"></a>
-**MNIST -- 用批处理调参器来调优**
+**MNIST -- 用批处理 Tuner 来调优**
 
-此样例演示了如何使用批处理调参器。 只需要在搜索空间文件中列出所有要尝试的配置， NNI 会逐个尝试。
+此样例演示了如何使用批处理 Tuner。 只需要在搜索空间文件中列出所有要尝试的配置， NNI 会逐个尝试。
 
 `代码目录: examples/trials/mnist-batch-tune-keras/`
 
@@ -51,7 +51,7 @@
 
 此样例演示了 NNI 如何支持嵌套的搜索空间。 搜索空间文件示了如何定义嵌套的搜索空间。
 
-`代码目录: examples/trials/mnist-cascading-search-space/`
+`代码目录: examples/trials/mnist-nested-search-space/`
 
 <a name="mnist-kubeflow-tf"></a>
 **用 Kubeflow 运行分布式的 MNIST (tensorflow)**

docs/zh_CN/MultiPhase.md

+## 多阶段 Experiment
+
+通常，每个 Trial 任务只需要从 Tuner 获取一个配置（超参等），然后使用这个配置执行并报告结果，然后退出。 但有时，一个 Trial 任务可能需要从 Tuner 请求多次配置。 这是一个非常有用的功能。 例如：
+
+1. 在一些训练平台上，需要数十秒来启动一个任务。 如果一个配置只需要一分钟就能完成，那么每个 Trial 任务中只运行一个配置就会非常低效。 这种情况下，可以在同一个 Trial 任务中，完成一个配置后，再请求并完成另一个配置。 极端情况下，一个 Trial 任务可以运行无数个配置。 如果设置了并发（例如设为 6），那么就会有 6 个**长时间**运行的任务来不断尝试不同的配置。
+
+2. 有些类型的模型需要进行多阶段的训练，而下一个阶段的配置依赖于前一个阶段的结果。 例如，为了找到模型最好的量化结果，训练过程通常为：自动量化算法（例如 NNI 中的 TunerJ）选择一个位宽（如 16 位）， Trial 任务获得此配置，并训练数个 epoch，并返回结果（例如精度）。 算法收到结果后，决定是将 16 位改为 8 位，还是 32 位。 此过程会重复多次。
+
+上述情况都可以通过多阶段执行的功能来支持。 为了支持这些情况，一个 Trial 任务需要能从 Tuner 请求多个配置。 Tuner 需要知道两次配置请求是否来自同一个 Trial 任务。 同时，多阶段中的 Trial 任务需要多次返回最终结果。
+
+注意， `nni.get_next_parameter()` 和 `nni.report_final_result()` 需要被依次调用：**先调用前者，然后调用后者，并按此顺序重复调用**。 如果 `nni.get_next_parameter()` 被连续多次调用，然后再调用 `nni.report_final_result()`，这会造成最终结果只会与 get_next_parameter 所返回的最后一个配置相关联。 因此，前面的 get_next_parameter 调用都没有关联的结果，这可能会造成一些多阶段算法出问题。
+
+## 创建多阶段的 Experiment
+
+### 编写使用多阶段的 Trial 代码：
+
+**1. 更新 Trial 代码**
+
+Trial 代码中使用多阶段非常容易，样例如下：
+
+    ```python
+    # ...
+    for i in range(5):
+        # 从 Tuner 中获得参数
+        tuner_param = nni.get_next_parameter()
+    
+        # 使用参数
+        # ...
+        # 为上面获取的参数返回最终结果
+        nni.report_final_result()
+        # ...
+    # ...
+    ```
+    
+
+**2. 修改 Experiment 配置**
+
+要启用多阶段，需要在 Experiment 的 YAML 配置文件中增加 `multiPhase: true`。 如果不添加此参数，`nni.get_next_parameter()` 会一直返回同样的配置。 对于所有内置的 Tuner 和 Advisor，不需要修改任何代码，就直接支持多阶段请求配置。
+
+### 编写使用多阶段的 Tuner：
+
+强烈建议首先阅读[自定义 Tuner](https://nni.readthedocs.io/en/latest/Customize_Tuner.html)，再开始编写多阶段 Tuner。 与普通 Tuner 不同的是，必须继承于 `MultiPhaseTuner`（在 nni.multi_phase_tuner 中）。 `Tuner` 与 `MultiPhaseTuner` 之间最大的不同是，MultiPhaseTuner 多了一些信息，即 `trial_job_id`。 有了这个信息， Tuner 能够知道哪个 Trial 在请求配置信息， 返回的结果是哪个 Trial 的。 通过此信息，Tuner 能够灵活的为不同的 Trial 及其阶段实现功能。 例如，可在 generate_parameters 方法中使用 trial_job_id 来为特定的 Trial 任务生成超参。
+
+当然，要使用自定义的多阶段 Tuner ，也需要**在 Experiment 的 YAML 配置文件中增加`multiPhase: true`**。
+
+[ENAS Tuner](https://github.com/countif/enas_nni/blob/master/nni/examples/tuners/enas/nni_controller_ptb.py) 是多阶段 Tuner 的样例。
\ No newline at end of file

docs/zh_CN/NetworkmorphismTuner.md

+# Network Morphism Tuner
+
+## 1. 介绍
+
+[Autokeras](https://arxiv.org/abs/1806.10282) 是使用 Network Morphism 算法的流行的自动机器学习工具。 Autokeras 的基本理念是使用贝叶斯回归来预测神经网络架构的指标。 每次都会从父网络生成几个子网络。 然后使用朴素贝叶斯回归，从网络的历史训练结果来预测它的指标值。 接下来，会选择预测结果最好的子网络加入训练队列中。 在[此代码](https://github.com/jhfjhfj1/autokeras)的启发下，我们在 NNI 中实现了 Network Morphism 算法。
+
+要了解 Network Morphism Trial 的用法，参考 [Readme_zh_CN.md](https://github.com/Microsoft/nni/blob/master/examples/trials/network_morphism/README_zh_CN.md)，了解更多细节。
+
+## 2. 用法
+
+要使用 Network Morphism，需要如下配置 `config.yml` 文件：
+
+```yaml
+tuner:
+  #选择: NetworkMorphism
+  builtinTunerName: NetworkMorphism
+  classArgs:
+    #可选项: maximize, minimize
+    optimize_mode: maximize
+    #当前仅支持 cv 领域
+    task: cv
+    #修改来支持实际图像宽度
+    input_width: 32
+    #修改来支持实际图像通道
+    input_channel: 3
+    #修改来支持实际的分类数量
+    n_output_node: 10
+```
+
+在训练过程中，会生成一个 JSON 文件来表示网络图。 可调用 "json\_to\_graph()" 函数来将 JSON 文件转化为 Pytoch 或 Keras 模型。
+
+```python
+import nni
+from nni.networkmorphism_tuner.graph import json_to_graph
+
+def build_graph_from_json(ir_model_json):
+    """从 JSON 生成 Pytorch 模型
+    """
+    graph = json_to_graph(ir_model_json)
+    model = graph.produce_torch_model()
+    return model
+
+# 从网络形态 Tuner 中获得下一组参数
+RCV_CONFIG = nni.get_next_parameter()
+# 调用函数来生成 Pytorch 或 Keras 模型
+net = build_graph_from_json(RCV_CONFIG)
+
+# 训练过程
+# ....
+
+# 将最终精度返回给 NNI
+nni.report_final_result(best_acc)
+```
+
+如果需要保存并**读取最佳模型**，推荐采用以下方法。
+
+```python
+# 1. 使用 NNI API
+## 从 Web 界面获取最佳模型的 ID 
+## 或查看 `nni/experiments/experiment_id/log/model_path/best_model.txt' 文件
+
+## 从 JSON 文件中读取，并使用 NNI API 来加载
+with open("best-model.json") as json_file:
+    json_of_model = json_file.read()
+model = build_graph_from_json(json_of_model)
+
+# 2. 使用框架的 API (与具体框架相关) 
+## 2.1 Keras API
+
+## 在 Trial 代码中使用 Keras API 保存
+## 最好保存 NNI 的 ID
+model_id = nni.get_sequence_id()
+## 将模型序列化为 JSON
+model_json = model.to_json()
+with open("model-{}.json".format(model_id), "w") as json_file:
+    json_file.write(model_json)
+## 将权重序列化至 HDF5
+model.save_weights("model-{}.h5".format(model_id))
+
+## 重用模型时，使用 Keras API 读取
+## 读取 JSON 文件，并创建模型
+model_id = "" # 需要重用的模型 ID
+with open('model-{}.json'.format(model_id), 'r') as json_file:
+    loaded_model_json = json_file.read()
+loaded_model = model_from_json(loaded_model_json)
+## 将权重加载到新模型中
+loaded_model.load_weights("model-{}.h5".format(model_id))
+
+## 2.2 PyTorch API
+
+## 在 Trial 代码中使用 PyTorch API 保存
+model_id = nni.get_sequence_id()
+torch.save(model, "model-{}.pt".format(model_id))
+
+## 重用模型时，使用 PyTorch API 读取
+model_id = "" # 需要重用的模型 ID
+loaded_model = torch.load("model-{}.pt".format(model_id))
+
+```
+
+## 3. 文件结构
+
+Tuner 有大量的文件、函数和类。 这里只简单介绍最重要的文件：
+
+- `networkmorphism_tuner.py` 是使用 network morphism 算法的 Tuner。
+
+- `bayesian.py` 是用来基于已经搜索道德模型来预测未知模型指标的贝叶斯算法。
+
+- `graph.py` 是元图数据结构。 类 Graph 表示了模型的神经网络图。 
+  - Graph 从模型中抽取神经网络。 
+  - 图中的每个节点都是层之间的中间张量。
+  - 在图中，边表示层。
+  - 注意，多条边可能会表示同一层。
+
+- `graph_transformer.py` 包含了一些图转换，包括变宽，变深，或在图中增加跳跃连接。
+
+- `layers.py` 包括模型中用到的所有层。
+
+- `layer_transformer.py` 包含了一些层转换，包括变宽，变深，或在层中增加跳跃连接。
+- `nn.py` 包含生成初始化网的类。
+- `metric.py` 包括了一些指标类，如 Accuracy 和 MSE。
+- `utils.py` 是使用 Keras 在数据集 `cifar10` 上搜索神经网络的样例。
+
+## 4. 网络表示的 JSON 样例
+
+这是定义的中间表示 JSON 样例，在架构搜索过程中会从 Tuner 传到 Trial。 可调用 "json\_to\_graph()" 函数来将 JSON 文件转化为 Pytoch 或 Keras 模型。 样例如下。
+
+```json
+{
+     "input_shape": [32, 32, 3],
+     "weighted": false,
+     "operation_history": [],
+     "layer_id_to_input_node_ids": {"0": [0],"1": [1],"2": [2],"3": [3],"4": [4],"5": [5],"6": [6],"7": [7],"8": [8],"9": [9],"10": [10],"11": [11],"12": [12],"13": [13],"14": [14],"15": [15],"16": [16]
+     },
+     "layer_id_to_output_node_ids": {"0": [1],"1": [2],"2": [3],"3": [4],"4": [5],"5": [6],"6": [7],"7": [8],"8": [9],"9": [10],"10": [11],"11": [12],"12": [13],"13": [14],"14": [15],"15": [16],"16": [17]
+     },
+     "adj_list": {
+         "0": [[1, 0]],
+         "1": [[2, 1]],
+         "2": [[3, 2]],
+         "3": [[4, 3]],
+         "4": [[5, 4]],
+         "5": [[6, 5]],
+         "6": [[7, 6]],
+         "7": [[8, 7]],
+         "8": [[9, 8]],
+         "9": [[10, 9]],
+         "10": [[11, 10]],
+         "11": [[12, 11]],
+         "12": [[13, 12]],
+         "13": [[14, 13]],
+         "14": [[15, 14]],
+         "15": [[16, 15]],
+         "16": [[17, 16]],
+         "17": []
+     },
+     "reverse_adj_list": {
+         "0": [],
+         "1": [[0, 0]],
+         "2": [[1, 1]],
+         "3": [[2, 2]],
+         "4": [[3, 3]],
+         "5": [[4, 4]],
+         "6": [[5, 5]],
+         "7": [[6, 6]],
+         "8": [[7, 7]],
+         "9": [[8, 8]],
+         "10": [[9, 9]],
+         "11": [[10, 10]],
+         "12": [[11, 11]],
+         "13": [[12, 12]],
+         "14": [[13, 13]],
+         "15": [[14, 14]],
+         "16": [[15, 15]],
+         "17": [[16, 16]]
+     },
+     "node_list": [
+         [0, [32, 32, 3]],
+         [1, [32, 32, 3]],
+         [2, [32, 32, 64]],
+         [3, [32, 32, 64]],
+         [4, [16, 16, 64]],
+         [5, [16, 16, 64]],
+         [6, [16, 16, 64]],
+         [7, [16, 16, 64]],
+         [8, [8, 8, 64]],
+         [9, [8, 8, 64]],
+         [10, [8, 8, 64]],
+         [11, [8, 8, 64]],
+         [12, [4, 4, 64]],
+         [13, [64]],
+         [14, [64]],
+         [15, [64]],
+         [16, [64]],
+         [17, [10]]
+     ],
+     "layer_list": [
+         [0, ["StubReLU", 0, 1]],
+         [1, ["StubConv2d", 1, 2, 3, 64, 3]],
+         [2, ["StubBatchNormalization2d", 2, 3, 64]],
+         [3, ["StubPooling2d", 3, 4, 2, 2, 0]],
+         [4, ["StubReLU", 4, 5]],
+         [5, ["StubConv2d", 5, 6, 64, 64, 3]],
+         [6, ["StubBatchNormalization2d", 6, 7, 64]],
+         [7, ["StubPooling2d", 7, 8, 2, 2, 0]],
+         [8, ["StubReLU", 8, 9]],
+         [9, ["StubConv2d", 9, 10, 64, 64, 3]],
+         [10, ["StubBatchNormalization2d", 10, 11, 64]],
+         [11, ["StubPooling2d", 11, 12, 2, 2, 0]],
+         [12, ["StubGlobalPooling2d", 12, 13]],
+         [13, ["StubDropout2d", 13, 14, 0.25]],
+         [14, ["StubDense", 14, 15, 64, 64]],
+         [15, ["StubReLU", 15, 16]],
+         [16, ["StubDense", 16, 17, 64, 10]]
+     ]
+ }
+```
+
+每个模型的定义都是一个 JSON 对象 （也可以认为模型是一个 [有向无环图](https://en.wikipedia.org/wiki/Directed_acyclic_graph))：
+
+- `input_shape` 是整数的列表，不包括批量维度。
+- `weighted` 表示是否权重和偏移值应该包含在此神经网络图中。
+- `operation_history` 是保存了所有网络形态操作的列表。
+- `layer_id_to_input_node_ids` 是字典实例，将层的标识映射到输入节点标识。
+- `layer_id_to_output_node_ids` 是字典实例，将层的标识映射到输出节点标识。
+- `adj_list` 是二维列表。 是图的邻接列表。 第一维是张量标识。 在每条边的列表中，元素是两元组（张量标识，层标识）。
+- `reverse_adj_list` 是与 adj_list 格式一样的反向邻接列表。
+- `node_list` 是一个整数列表。 列表的索引是标识。
+- `layer_list` 是层的列表。 列表的索引是标识。
+  
+  - 对于 `StubConv (StubConv1d, StubConv2d, StubConv3d)`，后面的数字表示节点的输入 id（或 id 列表），节点输出 id，input_channel，filters，kernel_size，stride 和 padding。
+  
+  - 对于 `StubDense`，后面的数字表示节点的输入 id （或 id 列表），节点输出 id，input_units 和 units。
+  
+  - 对于 `StubBatchNormalization (StubBatchNormalization1d, StubBatchNormalization2d, StubBatchNormalization3d)`，后面的数字表示节点输入 id（或 id 列表），节点输出 id，和特征数量。
+  
+  - 对于 `StubDropout(StubDropout1d, StubDropout2d, StubDropout3d)`，后面的数字表示节点的输入 id （或 id 列表），节点的输出 id 和 dropout 率。
+  
+  - 对于 `StubPooling (StubPooling1d, StubPooling2d, StubPooling3d)`后面的数字表示节点的输入 id（或 id 列表），节点输出 id，kernel_size, stride 和 padding。
+  
+  - 对于其它层，后面的数字表示节点的输入 id（或 id 列表）以及节点的输出 id。
+
+## 5. TODO
+
+下一步，会将 API 从固定的网络生成方法改为更多的网络操作生成方法。 此外，还会使用 ONNX 格式来替代 JSON 作为中间表示结果。
\ No newline at end of file

docs/zh_CN/WindowsLocalMode.md → docs/zh_CN/NniOnWindows.md

-# Windows 本地模式（测试中）
+# Windows 上的 NNI（实验阶段的功能）
 
-当前 Windows 下仅支持本机模式。 推荐 Windows 10 的 1809 版，其经过了测试。
+当前 Windows 上支持本机、远程和 OpenPAI 模式。 推荐 Windows 10 的 1809 版，其经过了测试。
 
 ## **在 Windows 上安装**
 
-**强烈推荐使用 Anaconda python(64 位)。**
+**强烈推荐使用 Anaconda 或 Miniconda Python（64位）。**
 
 在第一次使用 PowerShell 运行脚本时，需要用**使用管理员权限**运行如下命令：
 
@@ -22,18 +22,18 @@ Set-ExecutionPolicy -ExecutionPolicy Unrestricted
 
 * __通过代码安装 NNI__
 
-  先决条件: `python >=3.5`, `git`, `powershell`
+  先决条件: `python >=3.5`, `git`, `PowerShell`
 
   ```bash
-  git clone -b v0.7 https://github.com/Microsoft/nni.git
+  git clone -b v0.8 https://github.com/Microsoft/nni.git
   cd nni
-  powershell ./install.ps1
+  powershell -file install.ps1
   ```
 
 运行完以上脚本后，从命令行使用 **config_windows.yml** 来启动 Experiment，完成安装验证。
 
 ```bash
-nnictl create --config nni/examples/trials/mnist/config_windows.yml
+nnictl create --config nni\examples\trials\mnist\config_windows.yml
 ```
 
 同样，其它示例的 YAML 配置中也需将 Trial 命令的 `python3` 替换为 `python`。
@@ -58,7 +58,7 @@ Set-ExecutionPolicy -ExecutionPolicy Unrestricted
 
 ### 在命令行或 PowerShell 中，Trial 因为缺少 DLL 而失败
 
-此错误因为缺少 LIBIFCOREMD.DLL 和 LIBMMD.DLL 文件，且 SciPy 安装失败。 使用 Anaconda Python(64-bit) 可解决此问题。
+此错误因为缺少 LIBIFCOREMD.DLL 和 LIBMMD.DLL 文件，且 SciPy 安装失败。 使用 Anaconda 或 Miniconda 和 Python（64位）可解决。
 
 > ImportError: DLL load failed
 

docs/zh_CN/NNICTLDOC.md → docs/zh_CN/Nnictl.md

@@ -461,7 +461,7 @@ nnictl 支持的命令：
     > 将数据导入运行中的 Experiment
     
     ```bash
-    nnictl experiment [experiment_id] -f experiment_data.json
+    nnictl experiment import [experiment_id] -f experiment_data.json
     ```
 
 <a name="config"></a>

docs/zh_CN/Overview.md

@@ -49,11 +49,11 @@ Experiment 的运行过程为：Tuner 接收搜索空间并生成配置。 这
 
 * [开始使用](QuickStart.md)
 * [如何为 NNI 调整代码？](Trials.md)
-* [NNI 支持哪些 Tuner？](Builtin_Tuner.md)
-* [如何自定义 Tuner？](Customize_Tuner.md)
-* [NNI 支持哪些 Assessor？](Builtin_Assessors.md)
-* [如何自定义 Assessor？](Customize_Assessor.md)
+* [NNI 支持哪些 Tuner？](BuiltinTuner.md)
+* [如何自定义 Tuner？](CustomizeTuner.md)
+* [NNI 支持哪些 Assessor？](BuiltinAssessors.md)
+* [如何自定义 Assessor？](CustomizeAssessor.md)
 * [如何在本机上运行 Experiment？](LocalMode.md)
 * [如何在多机上运行 Experiment？](RemoteMachineMode.md)
-* [如何在 OpenPAI 上运行 Experiment？](PAIMode.md)
-* [样例](mnist_examples.md)
+* [如何在 OpenPAI 上运行 Experiment？](PaiMode.md)
+* [样例](MnistExamples.md)
\ No newline at end of file

docs/zh_CN/PaiMode.md

+# **在 OpenPAI 上运行 Experiment**
+
+NNI 支持在 [OpenPAI](https://github.com/Microsoft/pai) （简称 pai）上运行 Experiment，即 pai 模式。 在使用 NNI 的 pai 模式前, 需要有 [OpenPAI](https://github.com/Microsoft/pai) 群集的账户。 如果没有 OpenPAI 账户，参考[这里](https://github.com/Microsoft/pai#how-to-deploy)来进行部署。 在 pai 模式中，会在 Docker 创建的容器中运行 Trial 程序。
+
+## 设置环境
+
+参考[指南](QuickStart.md)安装 NNI。
+
+## 运行 Experiment
+
+以 `examples/trials/mnist-annotation` 为例。 NNI 的 YAML 配置文件如下：
+
+```yaml
+authorName: your_name
+experimentName: auto_mnist
+# 并发运行的 Trial 数量
+trialConcurrency: 2
+# Experiment 的最长持续运行时间
+maxExecDuration: 3h
+# 空表示一直运行
+maxTrialNum: 100
+# 可选项: local, remote, pai
+trainingServicePlatform: pai
+# 可选项: true, false  
+useAnnotation: true
+tuner:
+  builtinTunerName: TPE
+  classArgs:
+    optimize_mode: maximize
+trial:
+  command: python3 mnist.py
+  codeDir: ~/nni/examples/trials/mnist-annotation
+  gpuNum: 0
+  cpuNum: 1
+  memoryMB: 8196
+  image: openpai/pai.example.tensorflow
+  dataDir: hdfs://10.1.1.1:9000/nni
+  outputDir: hdfs://10.1.1.1:9000/nni
+# 配置访问的 OpenPAI 集群
+paiConfig:
+  userName: your_pai_nni_user
+  passWord: your_pai_password
+  host: 10.1.1.1
+```
+
+注意：如果用 pai 模式运行，需要在 YAML 文件中设置 `trainingServicePlatform: pai`。
+
+与本机模式，以及[远程计算机模式](RemoteMachineMode.md)相比，pai 模式的 Trial 有额外的配置：
+
+* cpuNum 
+    * 必填。 Trial 程序的 CPU 需求，必须为正数。
+* memoryMB 
+    * 必填。 Trial 程序的内存需求，必须为正数。
+* image 
+    * 必填。 在 pai 模式中，Trial 程序由 OpenPAI 在 [Docker 容器](https://www.docker.com/)中安排运行。 此键用来指定 Trial 程序的容器使用的 Docker 映像。
+    * [Docker Hub](https://hub.docker.com/) 上有预制的 NNI Docker 映像 [nnimsra/nni](https://hub.docker.com/r/msranni/nni/)。 它包含了用来启动 NNI Experiment 所依赖的所有 Python 包，Node 模块和 JavaScript。 生成此 Docker 映像的文件在[这里](https://github.com/Microsoft/nni/tree/master/deployment/docker/Dockerfile)。 可以直接使用此映像，或参考它来生成自己的映像。
+* dataDir 
+    * 可选。 指定了 Trial 用于下载数据的 HDFS 数据目录。 格式应为 hdfs://{your HDFS host}:9000/{数据目录}
+* outputDir 
+    * 可选。 指定了 Trial 的 HDFS 输出目录。 Trial 在完成（成功或失败）后，Trial 的 stdout， stderr 会被 NNI 自动复制到此目录中。 格式应为 hdfs://{your HDFS host}:9000/{输出目录}
+* virtualCluster 
+    * 可选。 设置 OpenPAI 的 virtualCluster，即虚拟集群。 如果未设置此参数，将使用默认的虚拟集群。
+* shmMB 
+    * 可选。 设置 OpenPAI 的 shmMB，即 Docker 中的共享内存。
+
+完成并保存 NNI Experiment 配置文件后（例如可保存为：exp_pai.yml），运行以下命令：
+
+    nnictl create --config exp_pai.yml
+    
+
+来在 pai 模式下启动 Experiment。 NNI 会为每个 Trial 创建 OpenPAI 作业，作业名称的格式为 `nni_exp_{experiment_id}_trial_{trial_id}`。 可以在 OpenPAI 集群的网站中看到 NNI 创建的作业，例如： ![](../img/nni_pai_joblist.jpg)
+
+注意：pai 模式下，NNIManager 会启动 RESTful 服务，监听端口为 NNI 网页服务器的端口加1。 例如，如果网页端口为`8080`，那么 RESTful 服务器会监听在 `8081`端口，来接收运行在 Kubernetes 中的 Trial 作业的指标。 因此，需要在防火墙中启用端口 `8081` 的 TCP 协议，以允许传入流量。
+
+当一个 Trial 作业完成后，可以在 NNI 网页的概述页面（如：http://localhost:8080/oview）中查看 Trial 的信息。
+
+在 Trial 列表页面中展开 Trial 信息，点击如下的 logPath： ![](../img/nni_webui_joblist.jpg)
+
+接着将会打开 HDFS 的 WEB 界面，并浏览到 Trial 的输出文件： ![](../img/nni_trial_hdfs_output.jpg)
+
+在输出目录中可以看到三个文件：stderr, stdout, 以及 trial.log
+
+如果希望将 Trial 的模型数据等其它输出保存到HDFS中，可在 Trial 代码中使用 `NNI_OUTPUT_DIR` 来自己保存输出文件，NNI SDK会从 Trial 的容器中将 `NNI_OUTPUT_DIR` 中的文件复制到 HDFS 中。
+
+如果在使用 pai 模式时遇到任何问题，请到 [NNI Github](https://github.com/Microsoft/nni) 中创建问题。
+
+## 版本校验
+
+从 0.6 开始，NNI 支持版本校验。确保 NNIManager 与 trialKeeper 的版本一致，避免兼容性错误。  
+检查策略：
+
+1. 0.6 以前的 NNIManager 可与任何版本的 trialKeeper 一起运行，trialKeeper 支持向后兼容。
+2. 从 NNIManager 0.6 开始，与 triakKeeper 的版本必须一致。 例如，如果 NNIManager 是 0.6 版，则 trialKeeper 也必须是 0.6 版。 
+3. 注意，只有版本的前两位数字才会被检查。例如，NNIManager 0.6.1 可以和 trialKeeper 的 0.6 或 0.6.2 一起使用，但不能与 trialKeeper 的 0.5.1 或 0.7 版本一起使用。 
+
+如果 Experiment 无法运行，而且不能确认是否是因为版本不匹配造成的，可以在 Web 界面检查是否有相关的错误消息。  
+![](../img/version_check.png)
\ No newline at end of file

docs/zh_CN/QuickStart.md

@@ -2,7 +2,7 @@
 
 ## 安装
 
-当前支持 Linux，MacOS 和 Windows（本机模式），在 Ubuntu 16.04 或更高版本，MacOS 10.14.1 以及 Windows 10.1809 上进行了测试。 在 `python >= 3.5` 的环境中，只需要运行 `pip install` 即可完成安装。
+当前支持 Linux，MacOS 和 Windows，在 Ubuntu 16.04 或更高版本，MacOS 10.14.1 以及 Windows 10.1809 上进行了测试。 在 `python >= 3.5` 的环境中，只需要运行 `pip install` 即可完成安装。
 
 #### Linux 和 MacOS
 
@@ -12,7 +12,7 @@
 
 #### Windows
 
-如果选择 Windows 本机模式并使用 PowerShell 运行脚本，需要首次以管理员身份在 PowerShell 环境中运行以下命令。
+如果在 Windows 上使用 NNI，首次使用 PowerShell 时，需要以管理员身份运行下列命令。
 
 ```bash
     Set-ExecutionPolicy -ExecutionPolicy Unrestricted
@@ -161,13 +161,13 @@ trial:
 
 从命令行使用 **config_windows.yml** 文件启动 MNIST Experiment 。
 
-**注意**：如果使用了 Windows 本机模式，则需要在 config.yml 文件中，将 `python3` 改为 `python`，或者使用 config_windows.yml 来开始 Experiment。
+**注意**：如果使用 Windows，则需要在 config.yml 文件中，将 `python3` 改为 `python`，或者使用 config_windows.yml 来开始 Experiment。
 
 ```bash
     nnictl create --config nni/examples/trials/mnist/config_windows.yml
 ```
 
-注意：**nnictl** 是一个命令行工具，用来控制 NNI Experiment，如启动、停止、继续 Experiment，启动、停止 NNIBoard 等等。 查看[这里](NNICTLDOC.md)，了解 `nnictl` 更多用法。
+注意：**nnictl** 是一个命令行工具，用来控制 NNI Experiment，如启动、停止、继续 Experiment，启动、停止 NNIBoard 等等。 查看[这里](Nnictl.md)，了解 `nnictl` 更多用法。
 
 在命令行中等待输出 `INFO: Successfully started experiment!`。 此消息表明 Experiment 已成功启动。 期望的输出如下：
 
@@ -208,7 +208,7 @@ You can use these commands to get more information about the experiment
 The Web UI urls are: [IP 地址]:8080
 ```
 
-在浏览器中打开 `Web 界面地址`(即：`[IP 地址]:8080`)，就可以看到 Experiment 的详细信息，以及所有的 Trial 任务。
+在浏览器中打开 `Web 界面地址`(即：`[IP 地址]:8080`)，就可以看到 Experiment 的详细信息，以及所有的 Trial 任务。 如果无法打开终端中的 Web 界面链接，可以参考 [FAQ](FAQ.md)。
 
 #### 查看概要页面
 
@@ -254,12 +254,12 @@ Experiment 相关信息会显示在界面上，配置和搜索空间等。 可
 
 ## 相关主题
 
-* [尝试不同的 Tuner](Builtin_Tuner.md)
-* [尝试不同的 Assessor](Builtin_Assessors.md)
-* [使用命令行工具 nnictl](NNICTLDOC.md)
+* [尝试不同的 Tuner](BuiltinTuner.md)
+* [尝试不同的 Assessor](BuiltinAssessors.md)
+* [使用命令行工具 nnictl](Nnictl.md)
 * [如何编写 Trial 代码](Trials.md)
 * [如何在本机运行 Experiment (支持多 GPU 卡)？](LocalMode.md)
 * [如何在多机上运行 Experiment？](RemoteMachineMode.md)
-* [如何在 OpenPAI 上运行 Experiment？](PAIMode.md)
+* [如何在 OpenPAI 上运行 Experiment？](PaiMode.md)
 * [如何通过 Kubeflow 在 Kubernetes 上运行 Experiment？](KubeflowMode.md)
 * [如何通过 FrameworkController 在 Kubernetes 上运行 Experiment？](FrameworkControllerMode.md)
\ No newline at end of file

docs/zh_CN/RELEASE.md → docs/zh_CN/Release.md

@@ -6,9 +6,9 @@
 
 * [支持在 Windows 上使用 NNI](./WindowsLocalMode.md) 
   * NNI 可在 Windows 上使用本机模式
-* [支持新的 Advisor: BOHB](./bohbAdvisor.md) 
+* [支持新的 Advisor: BOHB](./BohbAdvisor.md) 
   * 支持新的 BOHB Advisor，这是一个健壮而有效的超参调优算法，囊括了贝叶斯优化和 Hyperband 的优点
-* [支持通过 nnictl 来导入导出 Experiment 数据](./NNICTLDOC.md#experiment) 
+* [支持通过 nnictl 来导入导出 Experiment 数据](./Nnictl.md#experiment) 
   * 在 Experiment 执行完后，可生成分析结果报告
   * 支持将先前的调优数据导入到 Tuner 和 Advisor 中
 * [可为 NNI Trial 任务指定 GPU](./ExperimentConfig.md#localConfig) 
@@ -31,7 +31,7 @@
 
 ### 主要功能
 
-* [版本检查](https://github.com/Microsoft/nni/blob/master/docs/en_US/PAIMode.md#version-check) 
+* [版本检查](https://github.com/Microsoft/nni/blob/master/docs/zh_CN/PaiMode.md#version-check) 
   * 检查 nniManager 和 trialKeeper 的版本是否一致
 * [提前终止的任务也可返回最终指标](https://github.com/Microsoft/nni/issues/776) 
   * 如果 includeIntermediateResults 为 true，最后一个 Assessor 的中间结果会被发送给 Tuner 作为最终结果。 includeIntermediateResults 的默认值为 false。
@@ -93,10 +93,10 @@
 
 #### 支持新的 Tuner 和 Assessor
 
-* 支持新的 [Metis Tuner](metisTuner.md)。 **在线**超参调优的场景下，Metis 算法已经被证明非常有效。
+* 支持新的 [Metis Tuner](MetisTuner.md)。 **在线**超参调优的场景下，Metis 算法已经被证明非常有效。
 * 支持 [ENAS customized tuner](https://github.com/countif/enas_nni)。由 GitHub 社区用户所贡献。它是神经网络的搜索算法，能够通过强化学习来学习神经网络架构，比 NAS 的性能更好。
-* 支持 [Curve fitting （曲线拟合）Assessor](curvefittingAssessor.md)，通过曲线拟合的策略来实现提前终止 Trial。
-* 进一步支持 [Weight Sharing（权重共享）](./AdvancedNAS.md)：为 NAS Tuner 通过 NFS 来提供权重共享。
+* 支持 [Curve fitting （曲线拟合）Assessor](CurvefittingAssessor.md)，通过曲线拟合的策略来实现提前终止 Trial。
+* 进一步支持 [Weight Sharing（权重共享）](./AdvancedNas.md)：为 NAS Tuner 通过 NFS 来提供权重共享。
 
 #### 改进训练平台
 
@@ -118,7 +118,7 @@
 
 #### 支持新的 Tuner
 
-* 支持新的 [network morphism](networkmorphismTuner.md) Tuner。
+* 支持新的 [network morphism](NetworkmorphismTuner.md) Tuner。
 
 #### 改进训练平台
 
@@ -152,8 +152,8 @@
 * [Kubeflow 训练服务](./KubeflowMode.md) 
   * 支持 tf-operator
   * 使用 Kubeflow 的[分布式 Trial 样例](https://github.com/Microsoft/nni/tree/master/examples/trials/mnist-distributed/dist_mnist.py)
-* [网格搜索 Tuner](gridsearchTuner.md) 
-* [Hyperband Tuner](hyperbandAdvisor.md)
+* [网格搜索 Tuner](GridsearchTuner.md) 
+* [Hyperband Tuner](HyperbandAdvisor.md)
 * 支持在 MAC 上运行 NNI Experiment
 * Web 界面 
   * 支持 hyperband Tuner
@@ -187,7 +187,7 @@
   nnictl create --port 8081 --config <config file path>
   ```
 
-* 支持更新最大 Trial 的数量。 使用 `nnictl update --help` 了解详情。 或参考 [NNICTL](NNICTLDOC.md) 查看完整帮助。
+* 支持更新最大 Trial 的数量。 使用 `nnictl update --help` 了解详情。 或参考 [NNICTL](Nnictl.md) 查看完整帮助。
 
 ### API 的新功能和更新
 
@@ -233,10 +233,10 @@
 
 ### 主要功能
 
-* 支持 [OpenPAI](https://github.com/Microsoft/pai) (又称 pai) 训练服务 (参考[这里](./PAIMode.md)来了解如何在 OpenPAI 下提交 NNI 任务) 
+* 支持 [OpenPAI](https://github.com/Microsoft/pai) (又称 pai) 训练服务 (参考[这里](./PaiMode.md)来了解如何在 OpenPAI 下提交 NNI 任务) 
   * 支持 pai 模式的训练服务。 NNI Trial 可发送至 OpenPAI 集群上运行
   * NNI Trial 输出 (包括日志和模型文件) 会被复制到 OpenPAI 的 HDFS 中。
-* 支持 [SMAC](https://www.cs.ubc.ca/~hutter/papers/10-TR-SMAC.pdf) Tuner (参考[这里](smacTuner.md)，了解如何使用 SMAC Tuner) 
+* 支持 [SMAC](https://www.cs.ubc.ca/~hutter/papers/10-TR-SMAC.pdf) Tuner (参考[这里](SmacTuner.md)，了解如何使用 SMAC Tuner) 
   * [SMAC](https://www.cs.ubc.ca/~hutter/papers/10-TR-SMAC.pdf) 基于 Sequential Model-Based Optimization (SMBO). 它会利用使用过的结果好的模型（高斯随机过程模型），并将随机森林引入到 SMBO 中，来处理分类参数。 NNI 的 SMAC 通过包装 [SMAC3](https://github.com/automl/SMAC3) 来支持。
 * 支持将 NNI 安装在 [conda](https://conda.io/docs/index.html) 和 Python 虚拟环境中。
 * 其它 

docs/zh_CN/RemoteMachineMode.md

@@ -56,6 +56,10 @@ machineList:
     passwd: bob123
 ```
 
+可以使用不同系统来在远程计算机上运行 Experiment。
+
+#### Linux 和 macOS
+
 填好 `machineList` 部分，然后运行：
 
 ```bash
@@ -64,6 +68,16 @@ nnictl create --config ~/nni/examples/trials/mnist-annotation/config_remote.yml
 
 来启动 Experiment。
 
+#### Windows
+
+填好 `machineList` 部分，然后运行：
+
+```bash
+nnictl create --config %userprofile%\nni\examples\trials\mnist-annotation\config_remote.yml
+```
+
+来启动 Experiment。
+
 ## 版本校验
 
-从 0.6 开始，NNI 支持版本校验，详情参考[这里](PAIMode.md)。
+从 0.6 开始，NNI 支持版本校验，详情参考[这里](PaiMode.md)。
\ No newline at end of file

docs/zh_CN/SearchSpaceSpec.md

@@ -27,7 +27,14 @@
 
 * {"_type":"choice","_value":options}
   
-  * 这表示变量值应该是列表中的选项之一。 选项的元素也可以是 [nested]（嵌套的）随机表达式。 在这种情况下，随机选项仅会在条件满足时出现。
+  * 表示变量的值是选项之一。 这里的 'options' 是一个数组。 选项的每个元素都是字符串。 也可以是嵌套的子搜索空间。此子搜索空间仅在相应的元素选中后才起作用。 该子搜索空间中的变量可看作是条件变量。
+  
+  * 这是个简单的 [nested] 搜索空间定义的[示例](https://github.com/microsoft/nni/tree/master/examples/trials/mnist-nested-search-space/search_space.json)。 如果选项列表中的元素是 dict，则它是一个子搜索空间，对于内置的 Tuner，必须在此 dict 中添加键 “_name”，这有助于标识选中的元素。 相应的，这是从 NNI 中获得的嵌套搜索空间定义的[示例](https://github.com/microsoft/nni/tree/master/examples/trials/mnist-nested-search-space/sample.json)。 以下 Tuner 支持嵌套搜索空间：
+    
+    * Random Search（随机搜索） 
+    * TPE
+    * Anneal（退火算法）
+    * Evolution
 
 * {"_type":"randint","_value":[upper]}
   

docs/zh_CN/SetupNNIDeveloperEnvironment.md → docs/zh_CN/SetupNniDeveloperEnvironment.md

@@ -57,4 +57,4 @@ Trial 启动 Experiment 来检查环境。 例如，运行命令
 
 * * *
 
-最后，希望一切顺利。 参考[贡献](./CONTRIBUTING.md)文档，来了解更多创建拉取请求或问题的指南。
+最后，希望一切顺利。 参考[贡献](./Contributing.md)文档，来了解更多创建拉取请求或问题的指南。
\ No newline at end of file

docs/zh_CN/SmacTuner.md

+# SMAC Tuner
+
+## SMAC
+
+[SMAC](https://www.cs.ubc.ca/~hutter/papers/10-TR-SMAC.pdf) 基于 Sequential Model-Based Optimization (SMBO). 它利用使用过的结果好的模型（高斯随机过程模型），并将随机森林引入到 SMBO 中，来处理分类参数。 NNI 的 SMAC 通过包装 [SMAC3](https://github.com/automl/SMAC3) 来支持。
+
+NNI 中的 SMAC 只支持部分类型的[搜索空间](SearchSpaceSpec.md)，包括`choice`, `randint`, `uniform`, `loguniform`, `quniform(q=1)`。
\ No newline at end of file

docs/zh_CN/Trials.md

@@ -43,7 +43,7 @@ RECEIVED_PARAMS = nni.get_next_parameter()
 nni.report_intermediate_result(metrics)
 ```
 
-`指标`可以是任意的 Python 对象。 如果使用了 NNI 内置的 Tuner/Assessor，`指标`只可以是两种类型：1) 数值类型，如 float、int， 2) dict 对象，其中必须由键名为 `default`，值为数值的项目。 `指标`会发送给[Assessor](Builtin_Assessors.md)。 通常，`指标`是损失值或精度。
+`指标`可以是任意的 Python 对象。 如果使用了 NNI 内置的 Tuner/Assessor，`指标`只可以是两种类型：1) 数值类型，如 float、int， 2) dict 对象，其中必须由键名为 `default`，值为数值的项目。 `指标`会发送给[Assessor](BuiltinAssessors.md)。 通常，`指标`是损失值或精度。
 
 * 返回配置的最终性能
 
@@ -51,7 +51,7 @@ nni.report_intermediate_result(metrics)
 nni.report_final_result(metrics)
 ```
 
-`指标`也可以是任意的 Python 对象。 如果使用了内置的 Tuner/Assessor，`指标`格式和 `report_intermediate_result` 中一样，这个数值表示模型的性能，如精度、损失值等。 `指标`会发送给 [Tuner](Builtin_Tuner.md)。
+`指标`也可以是任意的 Python 对象。 如果使用了内置的 Tuner/Assessor，`指标`格式和 `report_intermediate_result` 中一样，这个数值表示模型的性能，如精度、损失值等。 `指标`会发送给 [Tuner](BuiltinTuner.md)。
 
 ### 第三步：启用 NNI API
 
@@ -162,8 +162,8 @@ echo $? `date +%s000` >/home/user_name/nni/experiments/$experiment_id$/trials/$t
 
 ## 更多 Trial 的样例
 
-* [MNIST 样例](mnist_examples.md)
-* [为 CIFAR 10 分类找到最佳的 optimizer](cifar10_examples.md)
-* [如何在 NNI 调优 SciKit-learn 的参数](sklearn_examples.md)
-* [在阅读理解上使用自动模型架构搜索。](SQuAD_evolution_examples.md)
-* [如何在 NNI 上调优 GBDT](gbdt_example.md)
+* [MNIST 样例](MnistExamples.md)
+* [为 CIFAR 10 分类找到最佳的 optimizer](Cifar10Examples.md)
+* [如何在 NNI 调优 SciKit-learn 的参数](SklearnExamples.md)
+* [在阅读理解上使用自动模型架构搜索。](SquadEvolutionExamples.md)
+* [如何在 NNI 上调优 GBDT](GbdtExample.md)
\ No newline at end of file

docs/zh_CN/WebUI.md

@@ -6,6 +6,8 @@
 
 * 查看 Experiment 的配置和搜索空间内容。
 * 支持下载 Experiment 结果。
+* 支持导出 nni-manager 和 dispatcher 的日志文件。
+* 如果有任何问题，可以点击 “Feedback” 告诉我们。
 
 ![](../img/webui-img/over1.png)
 
@@ -52,6 +54,14 @@
 
 ![](../img/webui-img/detail-local.png)
 
+* "Add column" 按钮可选择在表格中显示的列。 如果 Experiment 的最终结果是 dict，则可以在表格中查看其它键。
+
+![](../img/webui-img/addColumn.png)
+
+* 可使用 "Copy as python" 按钮来拷贝 Trial 的参数。
+
+![](../img/webui-img/copyParameter.png)
+
 * 如果在 OpenPAI 或 Kubeflow 平台上运行，还可以看到 hdfsLog。
 
 ![](../img/webui-img/detail-pai.png)

docs/zh_CN/advanced.rst

@@ -2,5 +2,5 @@
 =====================
 
 ..  toctree::
-    多阶段<multiPhase>
-    高级网络架构搜索（AdvancedNAS）<AdvancedNAS>
+    多阶段<MultiPhase>
+    高级网络架构搜索<AdvancedNas>
\ No newline at end of file

docs/zh_CN/assessors.rst

@@ -15,5 +15,5 @@ Assessor 从 Trial 中接收中间结果，并通过指定的算法决定此 Tri
 ..  toctree::
     :maxdepth: 2
 
-    内置 Assessor<builtinAssessor>
-    自定义 Assessor<Customize_Assessor>
+    内置 Assessor<BuiltinAssessor>
+    自定义 Assessor<CustomizeAssessor>