Merge pull request #189 from microsoft/master

merge master

docs/en_US/index.rst

@@ -12,11 +12,11 @@ Contents
     :titlesonly:
 
     Overview
-    QuickStart<QuickStart>
+    QuickStart<Tutorial/QuickStart>
     Tutorials<tutorials>
     Examples<examples>
     Reference<reference>
-    FAQ
+    FAQ<Tutorial/FAQ>
     Contribution<contribution>
     Changelog<Release>
-    Community Sharings<community_sharings>
+    Community Sharings<CommunitySharings/community_sharings>

docs/en_US/nni_practice_sharing.rst

-#################
-Tutorials
-#################
-
-Sharing the practice of leveraging NNI to tune models and systems.
-
-..  toctree::
-    :maxdepth: 2
-
-    Tuning SVD of Recommenders on NNI<CommunitySharings/NniPracticeSharing/RecommendersSvd>
\ No newline at end of file

docs/en_US/reference.rst

@@ -4,9 +4,9 @@ References
 ..  toctree::
     :maxdepth: 3
 
-    Command Line <Nnictl>
+    Command Line <Tutorial/Nnictl>
     Python API <sdk_reference>
-    Annotation <AnnotationSpec>
-    Configuration<ExperimentConfig>
-    Search Space <SearchSpaceSpec>
-    TrainingService <HowToImplementTrainingService>
+    Annotation <Tutorial/AnnotationSpec>
+    Configuration<Tutorial/ExperimentConfig>
+    Search Space <Tutorial/SearchSpaceSpec>
+    TrainingService <TrainingService/HowToImplementTrainingService>

docs/en_US/training_services.rst

@@ -2,8 +2,8 @@ Introduction to NNI Training Services
 =====================================
 
 ..  toctree::
-    Local<LocalMode>
-    Remote<RemoteMachineMode>
-    OpenPAI<PaiMode>
-    Kubeflow<KubeflowMode>
-    FrameworkController<FrameworkControllerMode>
\ No newline at end of file
+    Local<./TrainingService/LocalMode>
+    Remote<./TrainingService/RemoteMachineMode>
+    OpenPAI<./TrainingService/PaiMode>
+    Kubeflow<./TrainingService/KubeflowMode>
+    FrameworkController<./TrainingService/FrameworkControllerMode>
\ No newline at end of file

docs/en_US/tuners.rst

@@ -13,6 +13,6 @@ For details, please refer to the following tutorials:
 ..  toctree::
     :maxdepth: 2
 
-    Builtin Tuners<BuiltinTuner>
-    Customized Tuners<CustomizeTuner>
-    Customized Advisor<CustomizeAdvisor>
\ No newline at end of file
+    Builtin Tuners <builtin_tuner>
+    Customized Tuners <Tuner/CustomizeTuner>
+    Customized Advisor <Tuner/CustomizeAdvisor>

docs/en_US/tutorials.rst

@@ -5,12 +5,13 @@ Tutorials
 ..  toctree::
     :maxdepth: 2
 
-    Installation
-    Write Trial<Trials>
-    Tuners<tuners>
-    Assessors<assessors>
-    WebUI
-    Training Platform<training_services>
-    How to use docker<HowToUseDocker>
+    Installation <Tutorial/Installation>
+    Write Trial <TrialExample/Trials>
+    Tuners <tuners>
+    Assessors <assessors>
+    WebUI <Tutorial/WebUI>
+    Training Platform <training_services>
+    How to use docker <Tutorial/HowToUseDocker>
     advanced
-    Debug HowTo<HowToDebug>
\ No newline at end of file
+    Debug HowTo <Tutorial/HowToDebug>
+    NNI on Windows <Tutorial/NniOnWindows>
\ No newline at end of file

docs/requirements.txt

@@ -9,4 +9,4 @@ json_tricks
 numpy
 scipy
 coverage
-sklearn
\ No newline at end of file
+sklearn

configspace @ f389e1d0

+Subproject commit f389e1d0a72564f7f1fd4d86039e5f393a45a058

docs/src/pip-delete-this-directory.txt

+This file is placed here by pip to indicate the source was put
+here by pip.
+
+Once this package is successfully installed this source code will be
+deleted (unless you remove this file).

docs/static/css/custom.css

+.wy-table-responsive table td, .wy-table-responsive table th{
+    white-space:normal
+}

docs/zh_CN/AnnotationSpec.md

@@ -28,7 +28,7 @@ NNI 中，有 4 种类型的 Annotation；
 
 **参数**
 
-- **sampling_algo**: 指定搜索空间的采样算法。 可将其换成 NNI 支持的其它采样函数，函数要以 `nni.` 开头。例如，`choice` 或 `uniform`，详见 [SearchSpaceSpec](SearchSpaceSpec.md)。 
+- **sampling_algo**: 指定搜索空间的采样算法。 可将其换成 NNI 支持的其它采样函数，函数要以 `nni.` 开头。例如，`choice` 或 `uniform`，详见 [SearchSpaceSpec](SearchSpaceSpec.md)。
 - **name**: 将被赋值的变量名称。 注意，此参数应该与下面一行等号左边的值相同。
 
 NNI 支持如下 10 种类型来表示搜索空间：

docs/zh_CN/BohbAdvisor.md

@@ -79,7 +79,7 @@ advisor:
 * **bandwidth_factor**(< 1>浮点数, 可选, 默认值为3.0 </em>): 为了鼓励多样性，把优化EI的点加宽，即把KDE中采样的点乘以这个因子，从而增加KDE中的带宽。 如果不熟悉 KDE，建议保留默认值。
 * **min_bandwidth**(< 1>float, 可选, 默认值 = 0.001 </em>): 为了保持多样性, 即使所有好的样本对其中一个参数具有相同的值，使用最小带宽 (默认值: 1e-3) 而不是零。 如果不熟悉 KDE，建议保留默认值。
 
-*请注意, 目前 NNI 的浮点类型仅支持十进制表示，必须使用0.333 来代替1/3，0.001来代替1e-3。*
+*目前 NNI 的浮点类型仅支持十进制表示，必须使用 0.333 来代替 1/3，0.001代替 1e-3。*
 
 ## 4. 文件结构
 

docs/zh_CN/BuiltinTuner.md

@@ -6,25 +6,24 @@ NNI 提供了先进的调优算法，使用上也很简单。 下面是内置 Tu
 
 当前支持的 Tuner：
 
-| Tuner                                    | 算法简介                                                                                                                                                                                                                                                                                           |
-| ---------------------------------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
-| [**TPE**](#TPE)                          | Tree-structured Parzen Estimator (TPE) 是一种 sequential model-based optimization（SMBO，即基于序列模型优化）的方法。 SMBO 方法根据历史指标数据来按顺序构造模型，来估算超参的性能，随后基于此模型来选择新的超参。 [参考论文](https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf)                                                  |
-| [**Random Search**](#Random)             | 在超参优化时，随机搜索算法展示了其惊人的简单和效果。 建议当不清楚超参的先验分布时，采用随机搜索作为基准。 [参考论文](http://www.jmlr.org/papers/volume13/bergstra12a/bergstra12a.pdf)                                                                                                                                                                  |
-| [**Anneal**](#Anneal)                    | 这种简单的退火算法从先前的采样开始，会越来越靠近发现的最佳点取样。 此算法是随机搜索的简单变体，利用了反应曲面的平滑性。 退火率不是自适应的。                                                                                                                                                                                                                        |
-| [**Naive Evolution**](#Evolution)        | 朴素进化算法来自于大规模图像分类进化。 它会基于搜索空间随机生成一个种群。 在每一代中，会选择较好的结果，并对其下一代进行一些变异（例如，改动一个超参，增加或减少一层）。 进化算法需要很多次 Trial 才能有效，但它也非常简单，也很容易扩展新功能。 [参考论文](https://arxiv.org/pdf/1703.01041.pdf)                                                                                                                     |
-| [**SMAC**](#SMAC)                        | SMAC 基于 Sequential Model-Based Optimization (SMBO，即序列的基于模型优化方法)。 它会利用使用过的结果好的模型（高斯随机过程模型），并将随机森林引入到 SMBO 中，来处理分类参数。 SMAC 算法包装了 Github 的 SMAC3。 注意：SMAC 需要通过 `nnictl package` 命令来安装。 [参考论文，](https://www.cs.ubc.ca/~hutter/papers/10-TR-SMAC.pdf) [Github 代码库](https://github.com/automl/SMAC3) |
-| [**Batch tuner**](#Batch)                | Batch Tuner 能让用户简单的提供几组配置（如，超参选项的组合）。 当所有配置都执行完后，Experiment 即结束。 Batch Tuner 仅支持 choice 类型。                                                                                                                                                                                                    |
-| [**Grid Search**](#GridSearch)           | Grid Search 会穷举定义在搜索空间文件中的所有超参组合。 网格搜索可以使用的类型有 choice, quniform, qloguniform。 quniform 和 qloguniform 中的数值 q 具有特别的含义（不同于搜索空间文档中的说明）。 它表示了在最高值与最低值之间采样的值的数量。                                                                                                                                     |
-| [**Hyperband**](#Hyperband)              | Hyperband 试图用有限的资源来探索尽可能多的组合，并发现最好的结果。 它的基本思路是生成大量的配置，并使用少量的资源来找到有可能好的配置，然后继续训练找到其中更好的配置。 [参考论文](https://arxiv.org/pdf/1603.06560.pdf)                                                                                                                                                         |
-| [**Network Morphism**](#NetworkMorphism) | Network Morphism 提供了深度学习模型的自动架构搜索功能。 每个子网络都继承于父网络的知识和形态，并变换网络的不同形态，包括深度，宽度，跨层连接（skip-connection）。 然后使用历史的架构和指标，来估计子网络的值。 最后会选择最有希望的模型进行训练。 [参考论文](https://arxiv.org/abs/1806.10282)                                                                                                            |
-| [**Metis Tuner**](#MetisTuner)           | 大多数调参工具仅仅预测最优配置，而 Metis 的优势在于有两个输出：(a) 最优配置的当前预测结果， 以及 (b) 下一次 Trial 的建议。 它不进行随机取样。 大多数工具假设训练集没有噪声数据，但 Metis 会知道是否需要对某个超参重新采样。 [参考论文](https://www.microsoft.com/en-us/research/publication/metis-robustly-tuning-tail-latencies-cloud-systems/)                                                |
-| [**BOHB**](#BOHB)                        | BOHB 是 Hyperband 算法的后续工作。 Hyperband 在生成新的配置时，没有利用已有的 Trial 结果，而本算法利用了 Trial 结果。 BOHB 中，HB 表示 Hyperband，BO 表示贝叶斯优化（Byesian Optimization）。 BOHB 会建立多个 TPE 模型，从而利用已完成的 Trial 生成新的配置。 [参考论文](https://arxiv.org/abs/1807.01774)                                                                     |
-
-<br />
+| Tuner（调参器）                               | 算法简介                                                                                                                                                                                                                                                                                          |
+| ---------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
+| [**TPE**](#TPE)                          | Tree-structured Parzen Estimator (TPE) 是一种 sequential model-based optimization（SMBO，即基于序列模型优化）的方法。 SMBO 方法根据历史指标数据来按顺序构造模型，来估算超参的性能，随后基于此模型来选择新的超参。 [参考论文](https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf)                                                 |
+| [**Random Search（随机搜索）**](#Random)       | 在超参优化时，随机搜索算法展示了其惊人的简单和效果。 建议当不清楚超参的先验分布时，采用随机搜索作为基准。 [参考论文](http://www.jmlr.org/papers/volume13/bergstra12a/bergstra12a.pdf)                                                                                                                                                                 |
+| [**Anneal（退火算法）**](#Anneal)              | 这种简单的退火算法从先前的采样开始，会越来越靠近发现的最佳点取样。 此算法是随机搜索的简单变体，利用了反应曲面的平滑性。 退火率不是自适应的。                                                                                                                                                                                                                       |
+| [**Naive Evolution（进化算法）**](#Evolution)  | 朴素进化算法来自于大规模图像分类进化。 它会基于搜索空间随机生成一个种群。 在每一代中，会选择较好的结果，并对其下一代进行一些变异（例如，改动一个超参，增加或减少一层）。 进化算法需要很多次 Trial 才能有效，但它也非常简单，也很容易扩展新功能。 [参考论文](https://arxiv.org/pdf/1703.01041.pdf)                                                                                                                    |
+| [**SMAC**](#SMAC)                        | SMAC 基于 Sequential Model-Based Optimization (SMBO，即序列的基于模型优化方法)。 它利用使用过的结果好的模型（高斯随机过程模型），并将随机森林引入到 SMBO 中，来处理分类参数。 SMAC 算法包装了 Github 的 SMAC3。 注意：SMAC 需要通过 `nnictl package` 命令来安装。 [参考论文，](https://www.cs.ubc.ca/~hutter/papers/10-TR-SMAC.pdf) [Github 代码库](https://github.com/automl/SMAC3) |
+| [**Batch Tuner（批量调参器）**](#Batch)         | Batch Tuner 能让用户简单的提供几组配置（如，超参选项的组合）。 当所有配置都执行完后，Experiment 即结束。 Batch Tuner 仅支持 choice 类型。                                                                                                                                                                                                   |
+| [**Grid Search（遍历搜索）**](#GridSearch)     | Grid Search 会穷举定义在搜索空间文件中的所有超参组合。 网格搜索可以使用的类型有 choice, quniform, qloguniform。 quniform 和 qloguniform 中的数值 q 具有特别的含义（不同于搜索空间文档中的说明）。 它表示了在最高值与最低值之间采样的值的数量。                                                                                                                                    |
+| [**Hyperband**](#Hyperband)              | Hyperband 试图用有限的资源来探索尽可能多的组合，并发现最好的结果。 它的基本思路是生成大量的配置，并使用少量的资源来找到有可能好的配置，然后继续训练找到其中更好的配置。 [参考论文](https://arxiv.org/pdf/1603.06560.pdf)                                                                                                                                                        |
+| [**Network Morphism**](#NetworkMorphism) | Network Morphism 提供了深度学习模型的自动架构搜索功能。 每个子网络都继承于父网络的知识和形态，并变换网络的不同形态，包括深度，宽度，跨层连接（skip-connection）。 然后使用历史的架构和指标，来估计子网络的值。 然后会选择最有希望的模型进行训练。 [参考论文](https://arxiv.org/abs/1806.10282)                                                                                                           |
+| [**Metis Tuner**](#MetisTuner)           | 大多数调参工具仅仅预测最优配置，而 Metis 的优势在于有两个输出：(a) 最优配置的当前预测结果， 以及 (b) 下一次 Trial 的建议。 它不进行随机取样。 大多数工具假设训练集没有噪声数据，但 Metis 会知道是否需要对某个超参重新采样。 [参考论文](https://www.microsoft.com/en-us/research/publication/metis-robustly-tuning-tail-latencies-cloud-systems/)                                               |
+| [**BOHB**](#BOHB)                        | BOHB 是 Hyperband 算法的后续工作。 Hyperband 在生成新的配置时，没有利用已有的 Trial 结果，而本算法利用了 Trial 结果。 BOHB 中，HB 表示 Hyperband，BO 表示贝叶斯优化（Byesian Optimization）。 BOHB 会建立多个 TPE 模型，从而利用已完成的 Trial 生成新的配置。 [参考论文](https://arxiv.org/abs/1807.01774)                                                                    |
+| [**GP Tuner**](#GPTuner)                 | Gaussian Process（高斯过程） Tuner 是序列化的基于模型优化（SMBO）的方法，并使用了高斯过程来替代。 [参考论文](https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf)，[Github 库](https://github.com/fmfn/BayesianOptimization)                                                                             |
 
 ## 用法
 
-要使用 NNI 内置的 Tuner，需要在 `config.yml` 文件中添加 **builtinTunerName** 和 **classArgs**。 这一节会介绍推荐的场景、参数等详细用法以及样例。
+要使用 NNI 内置的 Tuner，需要在 `config.yml` 文件中添加 **builtinTunerName** 和 **classArgs**。 这一节会介绍推荐的场景、参数等详细用法以及示例。
 
 注意：参考样例中的格式来创建新的 `config.yml` 文件。 一些内置的 Tuner 还需要通过 `nnictl package` 命令先安装，如 SMAC。
 
@@ -112,7 +111,7 @@ tuner:
 
 **建议场景**
 
-此算法对计算资源的需求相对较高。 需要非常大的初始种群，以免落入局部最优中。 如果 Trial 时间很短，或者使用了 Assessor，就非常适合此算法。 如果 Trial 代码支持权重迁移，即每次 Trial 会从上一轮继承已经收敛的权重，建议使用此算法。 这会大大提高训练速度。 [详细说明](./EvolutionTuner.md)
+此算法对计算资源的需求相对较高。 需要非常大的初始种群，以免落入局部最优中。 如果 Trial 时间很短，或使用了 Assessor，就非常合适。 如果 Trial 代码支持权重迁移，即每次 Trial 会从上一轮继承已经收敛的权重，建议使用此算法。 这会大大提高训练速度。 [详细说明](./EvolutionTuner.md)
 
 **示例**
 
@@ -192,8 +191,8 @@ tuner:
         "_value" : [{"optimizer": "Adam", "learning_rate": 0.00001},
                     {"optimizer": "Adam", "learning_rate": 0.0001},
                     {"optimizer": "Adam", "learning_rate": 0.001},
-                    {"optimizer": "SGD", "learning_rate": 0.01}, 
-                    {"optimizer": "SGD", "learning_rate": 0.005}, 
+                    {"optimizer": "SGD", "learning_rate": 0.01},
+                    {"optimizer": "SGD", "learning_rate": 0.005},
                     {"optimizer": "SGD", "learning_rate": 0.0002}]
     }
 }
@@ -327,7 +326,7 @@ tuner:
 
 **安装**
 
-BOHB Advisor 的使用依赖 [ConfigSpace](https://github.com/automl/ConfigSpace) 包，在第一次使用 BOHB 的时候，在命令行运行以下的指令来安装 ConfigSpace。
+BOHB Advisor 的使用依赖 [ConfigSpace](https://github.com/automl/ConfigSpace) 包，第一次使用 BOHB 时，在命令行运行以下命令安装 ConfigSpace。
 
 ```bash
 nnictl package install --name=BOHB
@@ -335,7 +334,7 @@ nnictl package install --name=BOHB
 
 **建议场景**
 
-与 Hyperband 类似, 当计算资源有限但搜索空间相对较大时, 建议使用此方法。 中间结果能够很好的反映最终结果的情况下，此算法会非常有效。 在这种情况下, 由于贝叶斯优化使用, 它可能会收敛到更好的配置。 [详细说明](./BohbAdvisor.md)
+与 Hyperband 类似，当计算资源有限但搜索空间相对较大时，建议使用此方法。 中间结果能够很好的反映最终结果的情况下，此算法会非常有效。 在这种情况下, 由于贝叶斯优化使用, 它可能会收敛到更好的配置。 [详细说明](./BohbAdvisor.md)
 
 **参数**
 
@@ -362,4 +361,46 @@ advisor:
     min_budget: 1
     max_budget: 27
     eta: 3
+```
+
+<a name="GPTuner"></a>
+
+![](https://placehold.it/15/1589F0/000000?text=+) `GP Tuner`
+
+> 名称：**GPTuner**
+
+注意，搜索空间接受的类型包括 `choice`, `randint`, `uniform`, `quniform`, `loguniform`, `qloguniform`。
+
+**建议场景**
+
+作为序列的基于模型的全局优化（SMBO）算法，GP Tuner 使用了代理优化问题（找到采集函数的最大值）。虽然这仍然是个难题，但成本更低（从计算的角度来看），并且有通用的工具。 因此，GP Tuner 适合于函数的优化成本非常高时来使用。 GP 也可在计算资源非常有限时使用。 由于需要反转 Gram 矩阵，GP Tuner 的计算复杂度以 *O(N^3)* 的速度增长，因此不适合于需要大量 Trial 的情形。 [详细说明](./GPTuner.md)
+
+**参数**
+
+* **optimize_mode** (*'maximize' 或 'minimize', 可选项, 默认值为 'maximize'*) - 如果为 'maximize'，表示 Tuner 的目标是将指标最大化。 如果为 'minimize'，表示 Tuner 的目标是将指标最小化。
+* **utility** (*'ei', 'ucb' 或 'poi', 可选, 默认值为 'ei'*) - 工具函数的类型（采集函数）。 'ei', 'ucb' 和 'poi' 分别对应 '期望的改进（Expected Improvement）', '上限置信度边界（Upper Confidence Bound）' 和 '改进概率（Probability of Improvement）'。 
+* **kappa** (*float, 可选, 默认值为 5*) - 用于 'ucb' 函数。 `kappa` 越大，Tuner 的探索性越高。
+* **xi** (*float, 可选, 默认值为 0*) - 用于 'ei' 和 'poi' 函数。 `xi` 越大，Tuner 的探索性越高。
+* **nu** (*float, 可选, 默认为 2.5*) - 用于指定 Matern 核。 nu 越小，近似函数的平滑度越低。
+* **alpha** (*float, 可选, 默认值为 1e-6*) - 用于高斯过程回归器。 值越大，表示观察中的噪声水平越高。
+* **cold_start_num** (*int, 可选, 默认值为 10*) - 在高斯过程前执行随机探索的数量。 随机探索可帮助提高探索空间的广泛性。
+* **selection_num_warm_up** (*int, 可选, 默认为 1e5*) - 用于获得最大采集函数而评估的随机点数量。
+* **selection_num_starting_points** (*int, 可选, 默认为 250*) - 预热后，从随机七十点运行 L-BFGS-B 的次数。
+
+**示例**
+
+```yaml
+# config.yml
+tuner:
+  builtinTunerName: GPTuner
+  classArgs:
+    optimize_mode: maximize
+    utility: 'ei'
+    kappa: 5.0
+    xi: 0.0
+    nu: 2.5
+    alpha: 1e-6
+    cold_start_num: 10
+    selection_num_warm_up: 100000
+    selection_num_starting_points: 250
 ```
\ No newline at end of file

docs/zh_CN/CommunitySharings/AutomlPracticeSharing/NasComparison.md

-# 神经网络结构搜索的对比
-
-*匿名作者*
-
-训练和比较 NAS（神经网络架构搜索）的模型，包括 Autokeras，DARTS，ENAS 和 NAO。
-
-源码链接如下：
-
-- Autokeras: <https://github.com/jhfjhfj1/autokeras>
-
-- DARTS: <https://github.com/quark0/darts>
-
-- ENAS: <https://github.com/melodyguan/enas>
-
-- NAO: <https://github.com/renqianluo/NAO>
-
-## 实验说明
-
-为了避免算法仅仅在 **CIFAR-10** 数据集上过拟合，还对比了包括 Fashion-MNIST, CIFAR-100, OUI-Adience-Age, ImageNet-10-1 (ImageNet的子集) 和 ImageNet-10-2 (ImageNet 的另一个子集) 在内的其它 5 个数据集。 分别从 ImageNet 中抽取 10 种不同类别标签的子集，组成 ImageNet10-1 和 ImageNet10-2 数据集 。
-
-| 数据集                                                                                     | 训练数据集大小 | 类别标签数 | 数据集说明                                                       |
-|:--------------------------------------------------------------------------------------- | ------- | ----- | ----------------------------------------------------------- |
-| [Fashion-MNIST](https://github.com/zalandoresearch/fashion-mnist)                       | 60,000  | 10    | T恤上衣，裤子，套头衫，连衣裙，外套，凉鞋，衬衫，运动鞋，包和踝靴。                          |
-| [CIFAR-10](https://www.cs.toronto.edu/~kriz/cifar.html)                                 | 50,000  | 10    | 飞机，汽车，鸟类，猫，鹿，狗，青蛙，马，船和卡车。                                   |
-| [CIFAR-100](https://www.cs.toronto.edu/~kriz/cifar.html)                                | 50,000  | 100   | 和 CIFAR-10 类似，但总共有 100 个类，每个类有 600 张图。                      |
-| [OUI-Adience-Age](https://talhassner.github.io/home/projects/Adience/Adience-data.html) | 26,580  | 8     | 8 个年龄组类别 (0-2, 4-6, 8-13, 15-20, 25-32, 38-43, 48-53, 60-)。 |
-| [ImageNet-10-1](http://www.image-net.org/)                                              | 9,750   | 10    | 咖啡杯、电脑键盘、餐桌、衣柜、割草机、麦克风、秋千、缝纫机、里程表和燃气泵。                      |
-| [ImageNet-10-2](http://www.image-net.org/)                                              | 9,750   | 10    | 鼓，班吉，口哨，三角钢琴，小提琴，管风琴，原声吉他，长号，长笛和萨克斯。                        |
-
-没有改变源码中的 Fine-tuning 方法。 为了匹配每个任务，改变了源码中模型的输入图片大小和输出类别数目的部分。
-
-所有 NAS 方法模型搜索时间和重训练时间都是**两天**。 所有结果都是基于**三次重复实验**。 评估计算机有一块 Nvidia Tesla P100 GPU、112GB 内存和 2.60GHz CPU (Intel E5-2690)。
-
-NAO 需要太多的计算资源，因此只使用提供 Pipeline 脚本的 NAO-WS。
-
-对于 AutoKeras，使用了 0.2.18 版本的代码, 因为这是开始实验时的最新版本。
-
-## NAS 结果对比
-
-| NAS             | AutoKeras (%) | ENAS (macro) (%) | ENAS (micro) (%) | DARTS (%) | NAO-WS (%) |
-| --------------- |:-------------:|:----------------:|:----------------:|:---------:|:----------:|
-| Fashion-MNIST   |     91.84     |      95.44       |      95.53       | **95.74** |   95.20    |
-| CIFAR-10        |     75.78     |      95.68       |    **96.16**     |   94.23   |   95.64    |
-| CIFAR-100       |     43.61     |      78.13       |      78.84       | **79.74** |   75.75    |
-| OUI-Adience-Age |     63.20     |    **80.34**     |      78.55       |   76.83   |   72.96    |
-| ImageNet-10-1   |     61.80     |      77.07       |      79.80       | **80.48** |   77.20    |
-| ImageNet-10-2   |     37.20     |      58.13       |      56.47       |   60.53   | **61.20**  |
-
-很遗憾，我们无法复现论文中所有的结果。
-
-论文中提供的最佳或平均结果：
-
-| NAS       | AutoKeras(%) | ENAS (macro) (%) | ENAS (micro) (%) |   DARTS (%)    | NAO-WS (%)  |
-| --------- | ------------ |:----------------:|:----------------:|:--------------:|:-----------:|
-| CIFAR- 10 | 88.56(best)  |   96.13(best)    |   97.11(best)    | 97.17(average) | 96.47(best) |
-
-AutoKeras，由于其算法中的随机因素，它在所有数据集中的表现相对较差。
-
-ENAS，ENAS（macro）在 OUI-Adience-Age 数据集中表现较好，并且 ENAS（micro）在 CIFAR-10 数据集中表现较好。
-
-对于DARTS，在某些数据集上具有良好的结果，但在某些数据集中具有比较大的方差。 DARTS 三次实验中的差异在 OUI-Audience-Age 数据集上可达 5.37％（绝对值），在 ImageNet-10-1 数据集上可达4.36％（绝对值）。
-
-NAO-WS 在 ImageNet-10-2 中表现良好，但在 OUI-Adience-Age 中表现非常差。
-
-## 参考文献
-
-1. Jin, Haifeng, Qingquan Song, and Xia Hu. "Efficient neural architecture search with network morphism." *arXiv preprint arXiv:1806.10282* (2018).
-
-2. Liu, Hanxiao, Karen Simonyan, and Yiming Yang. "Darts: Differentiable architecture search." arXiv preprint arXiv:1806.09055 (2018).
-
-3. Pham, Hieu, et al. "Efficient Neural Architecture Search via Parameters Sharing." international conference on machine learning (2018): 4092-4101.
-
-4. Luo, Renqian, et al. "Neural Architecture Optimization." neural information processing systems (2018): 7827-7838.
\ No newline at end of file

docs/zh_CN/CommunitySharings/HpoComparision.md

@@ -98,8 +98,11 @@
 | HyperBand     | 0.414065     | 0.415222      | 0.417628      |
 | HyperBand     | 0.416807     | 0.417549      | 0.418828      |
 | HyperBand     | 0.415550     | 0.415977      | 0.417186      |
+| GP            | 0.414353     | 0.418563      | 0.420263      |
+| GP            | 0.414395     | 0.418006      | 0.420431      |
+| GP            | 0.412943     | 0.416566      | 0.418443      |
 
-Metis 算法因为其高斯计算过程的复杂度为 O(n^3) 而运行非常慢，因此仅执行了 300 次 Trial。
+此例中，所有算法都使用了默认参数。 Metis 算法因为其高斯计算过程的复杂度为 O(n^3) 而运行非常慢，因此仅执行了 300 次 Trial。
 
 ## RocksDB 的 'fillrandom' 和 'readrandom' 基准测试
 

docs/zh_CN/CommunitySharings/NniPracticeSharing/HpoComparison.md

-# 超参数优化的对比
-
-*匿名作者*
-
-超参优化算法在几个问题上的对比。
-
-超参数优化算法如下：
-
-- [Random Search（随机搜索）](../Builtin_Tuner.md#Random)
-- [Grid Search（遍历搜索）](../Builtin_Tuner.md#Random)
-- [Evolution](../Builtin_Tuner.md#Evolution)
-- [Anneal（退火算法）](../Builtin_Tuner.md#Anneal)
-- [Metis](../Builtin_Tuner.md#MetisTuner)
-- [TPE](../Builtin_Tuner.md#TPE)
-- [SMAC](../Builtin_Tuner.md#SMAC)
-- [HyperBand](../Builtin_Tuner.md#Hyperband)
-- [BOHB](../Builtin_Tuner.md#BOHB)
-
-所有算法都在 NNI 本机环境下运行。
-
-环境：
-
-    OS: Linux Ubuntu 16.04 LTS
-    CPU: Intel(R) Xeon(R) CPU E5-2690 v3 @ 2.60GHz 2600 MHz
-    Memory: 112 GB
-    NNI Version: v0.7
-    NNI 模式(local|pai|remote): local
-    Python 版本: 3.6
-    使用的虚拟环境: Conda
-    是否在 Docker 中运行: no
-    
-
-## AutoGBDT 示例
-
-### 问题描述
-
-超参搜索上的非凸问题 [AutoGBDT](../gbdt_example.md)。
-
-### 搜索空间
-
-```json
-{
-  "num_leaves": {
-    "_type": "choice",
-    "_value": [10, 12, 14, 16, 18, 20, 22, 24, 28, 32, 48, 64, 96, 128]
-  },
-  "learning_rate": {
-    "_type": "choice",
-    "_value": [0.00001, 0.0001, 0.001, 0.01, 0.05, 0.1, 0.2, 0.5]
-  },
-  "max_depth": {
-    "_type": "choice",
-    "_value": [-1, 2, 3, 4, 5, 6, 8, 10, 12, 14, 16, 18, 20, 22, 24, 28, 32, 48, 64, 96, 128]
-  },
-  "feature_fraction": {
-    "_type": "choice",
-    "_value": [0.9, 0.8, 0.7, 0.6, 0.5, 0.4, 0.3, 0.2]
-  },
-  "bagging_fraction": {
-    "_type": "choice",
-    "_value": [0.9, 0.8, 0.7, 0.6, 0.5, 0.4, 0.3, 0.2]
-  },
-  "bagging_freq": {
-    "_type": "choice",
-    "_value": [1, 2, 4, 8, 10, 12, 14, 16]
-  }
-}
-```
-
-总搜索空间为 1, 204, 224 次，将最大 Trial 次数设置为1000。 时间限制为 48 小时。
-
-### 结果
-
-| 算法                  | 最好的损失值       | 最好的 5 次损失的平均值 | 最好的 10 次损失的平均 |
-| ------------------- | ------------ | ------------- | ------------- |
-| Random Search（随机搜索） | 0.418854     | 0.420352      | 0.421553      |
-| Random Search（随机搜索） | 0.417364     | 0.420024      | 0.420997      |
-| Random Search（随机搜索） | 0.417861     | 0.419744      | 0.420642      |
-| Grid Search（遍历搜索）   | 0.498166     | 0.498166      | 0.498166      |
-| Evolution           | 0.409887     | 0.409887      | 0.409887      |
-| Evolution           | 0.413620     | 0.413875      | 0.414067      |
-| Evolution           | 0.409887     | 0.409887      | 0.409887      |
-| Anneal（退火算法）        | 0.414877     | 0.417289      | 0.418281      |
-| Anneal（退火算法）        | 0.409887     | 0.409887      | 0.410118      |
-| Anneal（退火算法）        | 0.413683     | 0.416949      | 0.417537      |
-| Metis               | 0.416273     | 0.420411      | 0.422380      |
-| Metis               | 0.420262     | 0.423175      | 0.424816      |
-| Metis               | 0.421027     | 0.424172      | 0.425714      |
-| TPE                 | 0.414478     | 0.414478      | 0.414478      |
-| TPE                 | 0.415077     | 0.417986      | 0.418797      |
-| TPE                 | 0.415077     | 0.417009      | 0.418053      |
-| SMAC                | **0.408386** | **0.408386**  | **0.408386**  |
-| SMAC                | 0.414012     | 0.414012      | 0.414012      |
-| SMAC                | **0.408386** | **0.408386**  | **0.408386**  |
-| BOHB                | 0.410464     | 0.415319      | 0.417755      |
-| BOHB                | 0.418995     | 0.420268      | 0.422604      |
-| BOHB                | 0.415149     | 0.418072      | 0.418932      |
-| HyperBand           | 0.414065     | 0.415222      | 0.417628      |
-| HyperBand           | 0.416807     | 0.417549      | 0.418828      |
-| HyperBand           | 0.415550     | 0.415977      | 0.417186      |
-
-Metis 算法因为其高斯计算过程的复杂度为 O(n^3) 而运行非常慢，因此仅执行了 300 次 Trial。
-
-## RocksDB 的 'fillrandom' 和 'readrandom' 基准测试
-
-### 问题描述
-
-[DB_Bench](https://github.com/facebook/rocksdb/wiki/Benchmarking-tools) 是用来做 [RocksDB](https://rocksdb.org/) 性能基准测试的工具。 有多个参数需要调优。
-
-`DB_Bench` 的性能与计算机配置和安装方法有关。 在 `DB_Bench` Linux 系统上运行，并将 Rock 作为共享库安装。
-
-#### 计算机配置
-
-    RocksDB:    version 6.1
-    CPU:        6 * Intel(R) Xeon(R) CPU E5-2690 v4 @ 2.60GHz
-    CPUCache:   35840 KB
-    Keys:       16 bytes each
-    Values:     100 bytes each (50 bytes after compression)
-    Entries:    1000000
-    
-
-#### 存储性能
-
-**延迟**：每个 IO 请求都需要一些时间才能完成，这称为平均延迟。 有几个因素会影响此时间，包括网络连接质量和硬盘IO性能。
-
-**IOPS**： **每秒的 IO 操作数量**，这意味着可以在一秒钟内完成的*读取或写入操作次数*。
-
-**IO 大小**： **每个 IO 请求的大小**。 根据操作系统和需要磁盘访问的应用程序、服务，它将同时发出读取或写入一定数量数据的请求。
-
-**吞吐量（以 MB/s 为单位）= 平均 IO 大小 x IOPS **
-
-IOPS 与在线处理能力有关，我们在实验中使用 IOPS 作为指标。
-
-### 搜索空间
-
-```json
-{
-  "max_background_compactions": {
-    "_type": "quniform",
-    "_value": [1, 256, 1]
-  },
-  "block_size": {
-    "_type": "quniform",
-    "_value": [1, 500000, 1]
-  },
-  "write_buffer_size": {
-    "_type": "quniform",
-    "_value": [1, 130000000, 1]
-  },
-  "max_write_buffer_number": {
-    "_type": "quniform",
-    "_value": [1, 128, 1]
-  },
-  "min_write_buffer_number_to_merge": {
-    "_type": "quniform",
-    "_value": [1, 32, 1]
-  },
-  "level0_file_num_compaction_trigger": {
-    "_type": "quniform",
-    "_value": [1, 256, 1]
-  },
-  "level0_slowdown_writes_trigger": {
-    "_type": "quniform",
-    "_value": [1, 1024, 1]
-  },
-  "level0_stop_writes_trigger": {
-    "_type": "quniform",
-    "_value": [1, 1024, 1]
-  },
-  "cache_size": {
-    "_type": "quniform",
-    "_value": [1, 30000000, 1]
-  },
-  "compaction_readahead_size": {
-    "_type": "quniform",
-    "_value": [1, 30000000, 1]
-  },
-  "new_table_reader_for_compaction_inputs": {
-    "_type": "randint",
-    "_value": [1]
-  }
-}
-```
-
-搜索空间非常大（约10 的 40 次方），将最大 Trial 次数设置为 100 以限制资源。
-
-### 结果
-
-#### fillrandom 基准
-
-| 模型           | 最高 IOPS（重复 1 次） | 最高 IOPS（重复 2 次） | 最高 IOPS（重复 3 次） |
-| ------------ | --------------- | --------------- | --------------- |
-| Random       | 449901          | 427620          | 477174          |
-| Anneal（退火算法） | 461896          | 467150          | 437528          |
-| Evolution    | 436755          | 389956          | 389790          |
-| TPE          | 378346          | 482316          | 468989          |
-| SMAC         | 491067          | 490472          | **491136**      |
-| Metis        | 444920          | 457060          | 454438          |
-
-图：
-
-![](../../img/hpo_rocksdb_fillrandom.png)
-
-#### readrandom 基准
-
-| 模型           | 最高 IOPS（重复 1 次） | 最高 IOPS（重复 2 次） | 最高 IOPS（重复 3 次） |
-| ------------ | --------------- | --------------- | --------------- |
-| Random       | 2276157         | 2285301         | 2275142         |
-| Anneal（退火算法） | 2286330         | 2282229         | 2284012         |
-| Evolution    | 2286524         | 2283673         | 2283558         |
-| TPE          | 2287366         | 2282865         | 2281891         |
-| SMAC         | 2270874         | 2284904         | 2282266         |
-| Metis        | **2287696**     | 2283496         | 2277701         |
-
-图：
-
-![](../../img/hpo_rocksdb_readrandom.png)
\ No newline at end of file