Skip to content

GitLab

Unverified Commit 704b50e2 authored by SparkSnail's avatar SparkSnail Committed by GitHub
Browse files

Merge pull request #200 from microsoft/master 

merge master
parents 755ac5f0 3a6d1372
Hide whitespace changes
Inline Side-by-side
Showing with 138 additions and 302 deletions
docs/zh_CN/Tutorial/WebUI.md 0 → 100644
View file @ 704b50e2
# Web 界面
## 查看概要页面
点击标签 "Overview"。
* 查看 Experiment Trial 配置、搜索空间以及结果好的 Trial。
![](../../img/webui-img/over1.png) ![](../../img/webui-img/over2.png)
* 如果 Experiment 包含了较多 Trial，可改变刷新间隔。
![](../../img/webui-img/refresh-interval.png)
* 支持查看并下载 Experiment 结果，以及 NNI Manager、Dispatcher 的日志文件。
![](../../img/webui-img/download.png)
* 如果 Experiment 状态为 ERROR，可点击图标，查看 Experiment 错误日志。
![](../../img/webui-img/log-error.png) ![](../../img/webui-img/review-log.png)
* 点击 "Feedback" 反馈问题。
## 查看任务默认指标
* 点击 "Default Metric" 来查看所有 Trial 的点图。 悬停鼠标来查看默认指标和搜索空间信息。
![](../../img/webui-img/default-metric.png)
* 点击开关 "optimization curve" 来查看 Experiment 的优化曲线。
![](../../img/webui-img/best-curve.png)
## 查看超参
点击 "Hyper Parameter" 标签查看图像。
* 可选择百分比查看最好的 Trial。
* 选择两个轴来交换位置。
![](../../img/hyperPara.png)
## 查看 Trial 运行时间
点击 "Trial Duration" 标签来查看柱状图。
![](../../img/trial_duration.png)
## 查看 Trial 中间结果
单击 "Intermediate Result" 标签查看折线图。
![](../../img/webui-img/trials_intermeidate.png)
由于训练中可能有非常多的中间结果，因此中间结果图提供了过滤功能。 如果要使用过滤按钮查看部分 Trial，则需要提供数据。
第一个输入框应该填入什么？ 可能会发现一个 Trial 的中间结果点变得更好或者更差。 换句话说，这可能是非常重要的中间结果点。 只需将其输入第一个输入框中。
选择了中间结果序号后，要输入需要了解的该中间结果序号的指标范围。 即其最小值和最大值。 如此图中，中间结果点为 9，指标范围为 60 至 80。
Trial 中指标范围在 20 至 60 的 13 个结果就被过滤掉了。
![](../../img/webui-img/filter-intermediate.png)
## 查看 Trial 状态
点击 "Trials Detail" 标签查看所有 Trial 的状态。 包括：
* Trial 详情：Trial 的 id，持续时间，开始时间，结束时间，状态，精度和搜索空间。
![](../../img/webui-img/detail-local.png)
* "Add column" 按钮可选择在表格中显示的列。 如果 Experiment 的最终结果是 dict，则可以在表格中查看其它键。 可选择 "Intermediate count" 列来查看 Trial 进度。
![](../../img/webui-img/addColumn.png)
* 如果要比较某些 Trial，可选择并点击 "Compare" 来查看结果。
![](../../img/webui-img/select-trial.png) ![](../../img/webui-img/compare.png)
* 支持通过 id，状态，Trial 编号， 以及参数来搜索。
![](../../img/webui-img/search-trial.png)
* 可使用 "Copy as python" 按钮来拷贝 Trial 的参数。
![](../../img/webui-img/copyParameter.png)
* 如果在 OpenPAI 或 Kubeflow 平台上运行，还可以看到 hdfsLog。
![](../../img/webui-img/detail-pai.png)
* 中间结果图：可在此图中通过点击 operation 中的按钮来查看默认和其它键值。
![](../../img/webui-img/intermediate-btn.png) ![](../../img/webui-img/intermediate.png)
* Kill: 可终止正在运行的任务。
![](../../img/webui-img/kill-running.png) ![](../../img/webui-img/canceled.png)
\ No newline at end of file
docs/zh_CN/Tutorials.rst deleted 100644 → 0
View file @ 755ac5f0
######################
教程
######################
.. toctree::
:maxdepth: 2
安装<Installation>
实现 Trial<Trials>
Tuner<tuners>
Assessor<assessors>
Web 界面<WebUI>
训练平台<training_services>
如何使用 Docker <HowToUseDocker>
高级功能<advanced>
如何调试<HowToDebug>
\ No newline at end of file
docs/zh_CN/WebUI.md deleted 100644 → 0
View file @ 755ac5f0
# Web 界面
## 查看概要页面
点击标签 "Overview"。
* 查看 Experiment 的配置和搜索空间内容。
* 支持下载 Experiment 结果。
* 支持导出 nni-manager 和 dispatcher 的日志文件。
* 如果有任何问题，可以点击 “Feedback” 告诉我们。
* 如果 Experiment 包含了超过 1000 个 Trial，可改变刷新间隔。
![](../img/webui-img/over1.png)
* 查看最好结果的 Trial。
![](../img/webui-img/over2.png)
## 查看任务默认指标
点击 "Default Metric" 来查看所有 Trial 的点图。 悬停鼠标来查看默认指标和搜索空间信息。
![](../img/accuracy.png)
## 查看超参
点击 "Hyper Parameter" 标签查看图像。
* 可选择百分比查看最好的 Trial。
* 选择两个轴来交换位置。
![](../img/hyperPara.png)
## 查看 Trial 运行时间
点击 "Trial Duration" 标签来查看柱状图。
![](../img/trial_duration.png)
## 查看 Trial 中间结果
单击 "Intermediate Result" 标签查看折线图。
![](../img/webui-img/trials_intermeidate.png)
该图有筛选功能。 点击筛选按钮， 在第一个输入框中输入关注点的序号， 在第二个输入框中输入中间结果的范围，选出需要的数据。
![](../img/webui-img/filter_intermediate.png)
## 查看 Trial 状态
点击 "Trials Detail" 标签查看所有 Trial 的状态。 特别是：
* Trial 详情：Trial 的 id，持续时间，开始时间，结束时间，状态，精度和搜索空间。
![](../img/webui-img/detail-local.png)
* "Add column" 按钮可选择在表格中显示的列。 如果 Experiment 的最终结果是 dict，则可以在表格中查看其它键。
![](../img/webui-img/addColumn.png)
* 如果要比较某些 Trial，可选择并点击 "Compare" 来查看结果。
![](../img/webui-img/compare.png)
* 可使用 "Copy as python" 按钮来拷贝 Trial 的参数。
![](../img/webui-img/copyParameter.png)
* 如果在 OpenPAI 或 Kubeflow 平台上运行，还可以看到 hdfsLog。
![](../img/webui-img/detail-pai.png)
* Kill: 可终止正在运行的任务。
* 支持搜索某个特定的 Trial。
* Intermediate Result Graph: 可看到图中默认和其它的键值。
![](../img/webui-img/intermediate.png)
\ No newline at end of file
docs/zh_CN/advanced.rst
View file @ 704b50e2
......@@ -2,6 +2,6 @@
=====================
.. toctree::
多阶段<MultiPhase>
高级网络架构搜索<AdvancedNas>
NAS 编程接口<GeneralNasInterfaces>
\ No newline at end of file
多阶段<./AdvancedFeature/MultiPhase>
高级网络架构搜索<./AdvancedFeature/AdvancedNas>
NAS 编程接口<./AdvancedFeature/GeneralNasInterfaces>
\ No newline at end of file
docs/zh_CN/assessors.rst
View file @ 704b50e2
......@@ -15,5 +15,5 @@ Assessor 从 Trial 中接收中间结果，并通过指定的算法决定此 Tri
.. toctree::
:maxdepth: 2
内置 Assessor<BuiltinAssessor>
自定义 Assessor<CustomizeAssessor>
内置 Assessor<builtin_assessor>
自定义 Assessor<Assessor/CustomizeAssessor>
docs/zh_CN/builtin_assessor.rst
View file @ 704b50e2
......@@ -4,6 +4,6 @@
.. toctree::
:maxdepth: 1
介绍<BuiltinAssessor>
Medianstop<MedianstopAssessor>
Curvefitting<CurvefittingAssessor>
\ No newline at end of file
概述<./Assessor/BuiltinAssessor>
Medianstop<./Assessor/MedianstopAssessor>
Curvefitting（曲线拟合）<./Assessor/CurvefittingAssessor>
\ No newline at end of file
docs/zh_CN/builtin_tuner.rst
View file @ 704b50e2
......@@ -4,15 +4,16 @@
.. toctree::
:maxdepth: 1
介绍<BuiltinTuner>
TPE<HyperoptTuner>
Random Search<HyperoptTuner>
Anneal<HyperoptTuner>
Naive Evolution<EvolutionTuner>
SMAC<SmacTuner>
Batch Tuner<BatchTuner>
Grid Search<GridsearchTuner>
Hyperband<HyperbandAdvisor>
Network Morphism<NetworkmorphismTuner>
Metis Tuner<MetisTuner>
BOHB<BohbAdvisor>
\ No newline at end of file
概述<Tuner/BuiltinTuner>
TPE<Tuner/HyperoptTuner>
Random Search（随机搜索）<Tuner/HyperoptTuner>
Anneal（退火）<Tuner/HyperoptTuner>
Naïve Evolution（朴素进化）<Tuner/EvolutionTuner>
SMAC<Tuner/SmacTuner>
Metis Tuner<Tuner/MetisTuner>
Batch Tuner（批处理）<Tuner/BatchTuner>
Grid Search（遍历）<Tuner/GridsearchTuner>
GP Tuner<Tuner/GPTuner>
Network Morphism<Tuner/NetworkmorphismTuner>
Hyperband<Tuner/HyperbandAdvisor>
BOHB<Tuner/BohbAdvisor>
docs/zh_CN/contribution.rst
View file @ 704b50e2
......@@ -3,5 +3,5 @@
###############################
.. toctree::
设置开发环境<SetupNniDeveloperEnvironment>
贡献指南<Contributing>
\ No newline at end of file
设置开发环境<./Tutorial/SetupNniDeveloperEnvironment>
贡献指南<./Tutorial/Contributing>
\ No newline at end of file
docs/zh_CN/curvefittingAssessor.md deleted 100644 → 0
View file @ 755ac5f0
# NNI 中的 Curve Fitting Assessor
## 1. 介绍
Curve Fitting Assessor 是一个 LPA (learning, predicting, assessing，即学习、预测、评估) 的算法。 如果预测的Trial X 在 step S 比性能最好的 Trial 要差，就会提前终止它。
此算法中，使用了 12 条曲线来拟合学习曲线，从[参考论文](http://aad.informatik.uni-freiburg.de/papers/15-IJCAI-Extrapolation_of_Learning_Curves.pdf)中选择了大量的参数曲线模型。 学习曲线的形状与先验知识是一致的：都是典型的递增的、饱和的函数。
![](../img/curvefitting_learning_curve.PNG)
所有学习曲线模型被合并到了单个，更强大的模型中。 合并的模型通过加权线性混合：
![](../img/curvefitting_f_comb.gif)
合并后的参数向量
![](../img/curvefitting_expression_xi.gif)
假设增加一个高斯噪声，且噪声参数初始化为最大似然估计。
通过学习历史数据来确定新的组合参数向量的最大概率值。 用这样的方法来预测后面的 Trial 性能，并停止不好的 Trial 来节省计算资源。
具体来说，该算法有学习、预测和评估三个阶段。
* 步骤 1：学习。 从当前 Trial 的历史中学习，并从贝叶斯角度决定 \xi 。 首先，使用最小二乘法 (由 `fit_theta` 实现) 来节省时间。 获得参数后，过滤曲线并移除异常点（由 `filter_curve` 实现）。 最后，使用 MCMC 采样方法 (由 `mcmc_sampling` 实现) 来调整每个曲线的权重。 至此，确定了 \xi 中的所有参数。
* 步骤 2：预测。 用 \xi 和混合模型公式，在目标位置（例如 epoch 的总数）来计算期望的最终结果精度（由 `f_comb` 实现）。
* 步骤 3：如果拟合结果没有收敛，预测结果会是 `None`，并返回 `AssessResult.Good`，待下次有了更多精确信息后再次预测。 此外，会通过 `predict()` 函数获得正数。如果该值大于 __历史最好结果__ * `THRESHOLD`(默认为 0.95)，则返回 `AssessResult.Good`，否则返回 `AssessResult.Bad`。
下图显示了此算法在 MNIST Trial 历史数据上结果。其中绿点表示 Assessor 获得的数据，蓝点表示将来，但未知的数据，红色线条是 Curve fitting Assessor 的预测曲线。
![](../img/curvefitting_example.PNG)
## 2. 用法
要使用 Curve Fitting Assessor，需要在 Experiment 的 YAML 配置文件进行如下改动。
assessor:
builtinAssessorName: Curvefitting
classArgs:
# (必须) epoch 的总数。
# 需要此数据来决定需要预测的点。
epoch_num: 20
# (可选) 选项: maximize, minimize
* optimize_mode 的默认值是 maximize
optimize_mode: maximize
# (可选) 为了节约计算资源，在收到了 start_step 个中间结果后，才开始预测。
# start_step 的默认值是 6。
start_step: 6
# (可选) 决定是否提前终止的阈值。
# 例如，如果 threshold = 0.95, optimize_mode = maximize，最好的历史结果是 0.9，那么会在 Trial 的预测值低于 0.95 * 0.9 = 0.855 时停止。
* 阈值的默认值是 0.95。
# 注意：如果选择了 minimize 模式，要让 threshold >= 1.0 (如 threshold=1.1)
threshold: 0.95
# (可选) gap 是两次评估之间的间隔次数。
# 例如：如果 gap = 2, start_step = 6，就会评估第 6, 8, 10, 12... 个中间结果。
* gap 的默认值是 1。
gap: 1
## 3. 文件结构
Assessor 有大量的文件、函数和类。 这里只简单介绍最重要的文件：
* `curvefunctions.py` 包含了所有函数表达式和默认参数。
* `modelfactory.py` 包括学习和预测部分，并实现了相应的计算部分。
* `curvefitting_assessor.py` 是接收 Trial 历史数据并评估是否需要提前终止的 Assessor。
## 4. TODO
* 进一步提高预测精度，并在更多模型上测试。
\ No newline at end of file
docs/zh_CN/evolutionTuner.md deleted 100644 → 0
View file @ 755ac5f0
# Naive Evolution Tuner
## Naive Evolution（进化算法）
进化算法来自于 [Large-Scale Evolution of Image Classifiers](https://arxiv.org/pdf/1703.01041.pdf)。 它会基于搜索空间随机生成一个种群。 在每一代中，会选择较好的结果，并对其下一代进行一些变异（例如，改动一个超参，增加或减少一层）。 进化算法需要很多次 Trial 才能有效，但它也非常简单，也很容易扩展新功能。
\ No newline at end of file
docs/zh_CN/examples.rst
View file @ 704b50e2
......@@ -5,8 +5,8 @@
.. toctree::
:maxdepth: 2
MNIST<MnistExamples>
Cifar10<Cifar10Examples>
Scikit-learn<SklearnExamples>
EvolutionSQuAD<SquadEvolutionExamples>
GBDT<GbdtExample>
MNIST<./TrialExample/MnistExamples>
Cifar10<./TrialExample/Cifar10Examples>
Scikit-learn<./TrialExample/SklearnExamples>
EvolutionSQuAD<./TrialExample/SquadEvolutionExamples>
GBDT<./TrialExample/GbdtExample>
docs/zh_CN/gridsearchTuner.md deleted 100644 → 0
View file @ 755ac5f0
# Grid Search
## Grid Search（遍历搜索）
Grid Search 会穷举定义在搜索空间文件中的所有超参组合。 注意，搜索空间仅支持 `choice`, `quniform`, `qloguniform`。 `quniform` 和 `qloguniform` 中的 **数字 `q` 有不同的含义（与[搜索空间](SearchSpaceSpec.md)说明不同）。 这里的意义是在 `low` 和 `high` 之间均匀取值的数量。</p>
\ No newline at end of file
docs/zh_CN/hyperbandAdvisor.md deleted 100644 → 0
View file @ 755ac5f0
# NNI 中使用 Hyperband
## 1. 介绍
[Hyperband](https://arxiv.org/pdf/1603.06560.pdf) 是一种流行的自动机器学习算法。 Hyperband 的基本思想是对配置分组，每组有 `n` 个随机生成的超参配置，每个配置使用 `r` 次资源（如，epoch 数量，批处理数量等）。 当 `n` 个配置完成后，会选择最好的 `n/eta` 个配置，并增加 `r*eta` 次使用的资源。 最后，会选择出的最好配置。
## 2. 实现并行
首先，此样例是基于 MsgDispatcherBase 来实现的自动机器学习算法，而不是基于 Tuner 和Assessor。 这种实现方法下，Hyperband 集成了 Tuner 和 Assessor 两者的功能，因而将它叫做 Advisor。
其次，本实现完全利用了 Hyperband 内部的并行性。 具体来说，下一个分组不会严格的在当前分组结束后再运行，只要有资源，就可以开始运行新的分组。
## 3. 用法
要使用 Hyperband，需要在 Experiment 的 YAML 配置文件进行如下改动。
advisor:
#可选项: Hyperband
builtinAdvisorName: Hyperband
classArgs:
#R: 最大的步骤
R: 100
#eta: 丢弃的 Trial 的比例
eta: 3
#可选项: maximize, minimize
optimize_mode: maximize
注意，一旦使用了 Advisor，就不能在配置文件中添加 Tuner 和 Assessor。 使用 Hyperband 时，Trial 代码收到的超参（如键值对）中，除了用户定义的超参，会多一个 `TRIAL_BUDGET`。 **使用 `TRIAL_BUDGET`，Trial 能够控制其运行的时间。</p>
对于 Trial 代码中 `report_intermediate_result(metric)` 和 `report_final_result(metric)` 的**`指标` 应该是数值，或者用一个 dict，并保证其中有键值为 default 的项目，其值也为数值型**。 这是需要进行最大化或者最小化优化的数值，如精度或者损失度。
`R` 和 `eta` 是 Hyperband 中可以改动的参数。 `R` 表示可以分配给 Trial 的最大资源。 这里，资源可以代表 epoch 或 批处理数量。 `TRIAL_BUDGET` 应该被尝试代码用来控制运行的次数。 参考样例 `examples/trials/mnist-advisor/` ，了解详细信息。
`eta` 表示 `n` 个配置中的 `n/eta` 个配置会留存下来，并用更多的资源来运行。
下面是 `R=81` 且 `eta=3` 时的样例：
| | s=4 | s=3 | s=2 | s=1 | s=0 |
| - | ---- | ---- | ---- | ---- | ---- |
| i | n r | n r | n r | n r | n r |
| 0 | 81 1 | 27 3 | 9 9 | 6 27 | 5 81 |
| 1 | 27 3 | 9 9 | 3 27 | 2 81 | |
| 2 | 9 9 | 3 27 | 1 81 | | |
| 3 | 3 27 | 1 81 | | | |
| 4 | 1 81 | | | | |
`s` 表示分组， `n` 表示生成的配置数量，相应的 `r` 表示配置使用多少资源来运行。 `i` 表示轮数，如分组 4 有 5 轮，分组 3 有 4 轮。
关于如何实现 Trial 代码，参考 `examples/trials/mnist-hyperband/` 中的说明。
## 4. 待改进
当前实现的 Hyperband 算法可以通过改进支持的提前终止算法来提高，原因是最好的 `n/eta` 个配置并不一定都表现很好。 不好的配置可以更早的终止。
在当前实现中，遵循了[此论文](https://arxiv.org/pdf/1603.06560.pdf)的设计，配置都是随机生成的。 要进一步提升，配置生成过程可以利用更高级的算法。
\ No newline at end of file
docs/zh_CN/hyperoptTuner.md deleted 100644 → 0
View file @ 755ac5f0
# TPE, Random Search, Anneal Tuners
## TPE
Tree-structured Parzen Estimator (TPE) 是一种 sequential model-based optimization（SMBO，即基于序列模型优化）的方法。 SMBO 方法根据历史指标数据来按顺序构造模型，来估算超参的性能，随后基于此模型来选择新的超参。 TPE 方法对 P(x|y) 和 P(y) 建模，其中 x 表示超参，y 表示相关的评估指标。 P(x|y) 通过变换超参的生成过程来建模，用非参数密度（non-parametric densities）代替配置的先验分布。 细节可参考 [Algorithms for Hyper-Parameter Optimization](https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf)。 ​
## Random Search（随机搜索）
[Random Search for Hyper-Parameter Optimization](http://www.jmlr.org/papers/volume13/bergstra12a/bergstra12a.pdf) 中介绍了随机搜索惊人的简单和效果。 建议当不清楚超参的先验分布时，采用随机搜索作为基准。
## Anneal（退火算法）
这种简单的退火算法从先前的采样开始，会越来越靠近发现的最佳点取样。 此算法是随机搜索的简单变体，利用了响应面的平滑性。 退火率不是自适应的。
\ No newline at end of file
docs/zh_CN/index.rst
View file @ 704b50e2
......@@ -12,11 +12,11 @@ Neural Network Intelligence（NNI）文档
:titlesonly:
概述<Overview>
入门<QuickStart>
入门<Tutorial/QuickStart>
教程<tutorials>
示例<examples>
参考<reference>
常见问答<FAQ>
FAQ<Tutorial/FAQ>
贡献<contribution>
更改日志<Release>
社区经验分享<community_sharings>
社区分享<CommunitySharings/community_sharings>
docs/zh_CN/medianstopAssessor.md deleted 100644 → 0
View file @ 755ac5f0
# Medianstop Assessor
## Median Stop
Medianstop 是一种简单的提前终止 Trial 的策略，可参考[论文](https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/46180.pdf)。 如果 Trial X 的在步骤 S 的最好目标值比所有已完成 Trial 的步骤 S 的中位数值明显要低，这个 Trial 就会被提前停止。
\ No newline at end of file
docs/zh_CN/nni_practice_sharing.rst deleted 100644 → 0
View file @ 755ac5f0
#################
教程
#################
分享使用 NNI 来调优模型和系统的经验
.. toctree::
:maxdepth: 2
在 NNI 上调优 Recommenders 的 SVD<CommunitySharings/NniPracticeSharing/RecommendersSvd>
\ No newline at end of file
docs/zh_CN/reference.rst
View file @ 704b50e2
......@@ -4,9 +4,9 @@
.. toctree::
:maxdepth: 3
命令行<Nnictl>
命令行<Tutorial/Nnictl>
Python API<sdk_reference>
Annotation<AnnotationSpec>
配置<ExperimentConfig>
搜索空间<SearchSpaceSpec>
实现训练平台<HowToImplementTrainingService>
Annotation<Tutorial/AnnotationSpec>
配置<Tutorial/ExperimentConfig>
搜索空间<Tutorial/SearchSpaceSpec>
实现训练平台<TrainingService/HowToImplementTrainingService>
docs/zh_CN/sdk_reference.rst
View file @ 704b50e2
......@@ -8,6 +8,8 @@ Trial（尝试）
.. autofunction:: nni.get_current_parameter
.. autofunction:: nni.report_intermediate_result
.. autofunction:: nni.report_final_result
.. autofunction:: nni.get_experiment_id
.. autofunction:: nni.get_trial_id
.. autofunction:: nni.get_sequence_id
......
docs/zh_CN/smacTuner.md deleted 100644 → 0
View file @ 755ac5f0
# SMAC Tuner
## SMAC
[SMAC](https://www.cs.ubc.ca/~hutter/papers/10-TR-SMAC.pdf) 基于 Sequential Model-Based Optimization (SMBO). 它利用使用过的结果好的模型（高斯随机过程模型），并将随机森林引入到 SMBO 中，来处理分类参数。 NNI 的 SMAC 通过包装 [SMAC3](https://github.com/automl/SMAC3) 来支持。
NNI 中的 SMAC 只支持部分类型的[搜索空间](SearchSpaceSpec.md)，包括`choice`, `randint`, `uniform`, `loguniform`, `quniform(q=1)`。
\ No newline at end of file
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment