Merge pull request #200 from microsoft/master

merge master

docs/zh_CN/Tutorial/WebUI.md

+# Web 界面
+
+## 查看概要页面
+
+点击标签 "Overview"。
+
+* 查看 Experiment Trial 配置、搜索空间以及结果好的 Trial。
+
+![](../../img/webui-img/over1.png) ![](../../img/webui-img/over2.png)
+
+* 如果 Experiment 包含了较多 Trial，可改变刷新间隔。
+
+![](../../img/webui-img/refresh-interval.png)
+
+* 支持查看并下载 Experiment 结果，以及 NNI Manager、Dispatcher 的日志文件。
+
+![](../../img/webui-img/download.png)
+
+* 如果 Experiment 状态为 ERROR，可点击图标，查看 Experiment 错误日志。
+
+![](../../img/webui-img/log-error.png) ![](../../img/webui-img/review-log.png)
+
+* 点击 "Feedback" 反馈问题。
+
+## 查看任务默认指标
+
+* 点击 "Default Metric" 来查看所有 Trial 的点图。 悬停鼠标来查看默认指标和搜索空间信息。
+
+![](../../img/webui-img/default-metric.png)
+
+* 点击开关 "optimization curve" 来查看 Experiment 的优化曲线。
+
+![](../../img/webui-img/best-curve.png)
+
+## 查看超参
+
+点击 "Hyper Parameter" 标签查看图像。
+
+* 可选择百分比查看最好的 Trial。
+* 选择两个轴来交换位置。
+
+![](../../img/hyperPara.png)
+
+## 查看 Trial 运行时间
+
+点击 "Trial Duration" 标签来查看柱状图。
+
+![](../../img/trial_duration.png)
+
+## 查看 Trial 中间结果
+
+单击 "Intermediate Result" 标签查看折线图。
+
+![](../../img/webui-img/trials_intermeidate.png)
+
+由于训练中可能有非常多的中间结果，因此中间结果图提供了过滤功能。 如果要使用过滤按钮查看部分 Trial，则需要提供数据。
+
+第一个输入框应该填入什么？ 可能会发现一个 Trial 的中间结果点变得更好或者更差。 换句话说，这可能是非常重要的中间结果点。 只需将其输入第一个输入框中。
+
+选择了中间结果序号后，要输入需要了解的该中间结果序号的指标范围。 即其最小值和最大值。 如此图中，中间结果点为 9，指标范围为 60 至 80。
+
+Trial 中指标范围在 20 至 60 的 13 个结果就被过滤掉了。
+
+![](../../img/webui-img/filter-intermediate.png)
+
+## 查看 Trial 状态
+
+点击 "Trials Detail" 标签查看所有 Trial 的状态。 包括：
+
+* Trial 详情：Trial 的 id，持续时间，开始时间，结束时间，状态，精度和搜索空间。
+
+![](../../img/webui-img/detail-local.png)
+
+* "Add column" 按钮可选择在表格中显示的列。 如果 Experiment 的最终结果是 dict，则可以在表格中查看其它键。 可选择 "Intermediate count" 列来查看 Trial 进度。
+
+![](../../img/webui-img/addColumn.png)
+
+* 如果要比较某些 Trial，可选择并点击 "Compare" 来查看结果。
+
+![](../../img/webui-img/select-trial.png) ![](../../img/webui-img/compare.png)
+
+* 支持通过 id，状态，Trial 编号， 以及参数来搜索。
+
+![](../../img/webui-img/search-trial.png)
+
+* 可使用 "Copy as python" 按钮来拷贝 Trial 的参数。
+
+![](../../img/webui-img/copyParameter.png)
+
+* 如果在 OpenPAI 或 Kubeflow 平台上运行，还可以看到 hdfsLog。
+
+![](../../img/webui-img/detail-pai.png)
+
+* 中间结果图：可在此图中通过点击 operation 中的按钮来查看默认和其它键值。
+
+![](../../img/webui-img/intermediate-btn.png) ![](../../img/webui-img/intermediate.png)
+
+* Kill: 可终止正在运行的任务。
+
+![](../../img/webui-img/kill-running.png) ![](../../img/webui-img/canceled.png)
\ No newline at end of file

docs/zh_CN/Tutorials.rst

-######################
-教程
-######################
-
-..  toctree::
-    :maxdepth: 2
-
-    安装<Installation>
-    实现 Trial<Trials>
-    Tuner<tuners>
-    Assessor<assessors>
-    Web 界面<WebUI>
-    训练平台<training_services>
-    如何使用 Docker <HowToUseDocker>
-    高级功能<advanced>
-    如何调试<HowToDebug>
\ No newline at end of file

docs/zh_CN/WebUI.md

-# Web 界面
-
-## 查看概要页面
-
-点击标签 "Overview"。
-
-* 查看 Experiment 的配置和搜索空间内容。
-* 支持下载 Experiment 结果。
-* 支持导出 nni-manager 和 dispatcher 的日志文件。
-* 如果有任何问题，可以点击 “Feedback” 告诉我们。
-* 如果 Experiment 包含了超过 1000 个 Trial，可改变刷新间隔。
-
-![](../img/webui-img/over1.png)
-
-* 查看最好结果的 Trial。
-
-![](../img/webui-img/over2.png)
-
-## 查看任务默认指标
-
-点击 "Default Metric" 来查看所有 Trial 的点图。 悬停鼠标来查看默认指标和搜索空间信息。
-
-![](../img/accuracy.png)
-
-## 查看超参
-
-点击 "Hyper Parameter" 标签查看图像。
-
-* 可选择百分比查看最好的 Trial。
-* 选择两个轴来交换位置。
-
-![](../img/hyperPara.png)
-
-## 查看 Trial 运行时间
-
-点击 "Trial Duration" 标签来查看柱状图。
-
-![](../img/trial_duration.png)
-
-## 查看 Trial 中间结果
-
-单击 "Intermediate Result" 标签查看折线图。
-
-![](../img/webui-img/trials_intermeidate.png)
-
-该图有筛选功能。 点击筛选按钮， 在第一个输入框中输入关注点的序号， 在第二个输入框中输入中间结果的范围，选出需要的数据。
-
-![](../img/webui-img/filter_intermediate.png)
-
-## 查看 Trial 状态
-
-点击 "Trials Detail" 标签查看所有 Trial 的状态。 特别是：
-
-* Trial 详情：Trial 的 id，持续时间，开始时间，结束时间，状态，精度和搜索空间。
-
-![](../img/webui-img/detail-local.png)
-
-* "Add column" 按钮可选择在表格中显示的列。 如果 Experiment 的最终结果是 dict，则可以在表格中查看其它键。
-
-![](../img/webui-img/addColumn.png)
-
-* 如果要比较某些 Trial，可选择并点击 "Compare" 来查看结果。
-
-![](../img/webui-img/compare.png)
-
-* 可使用 "Copy as python" 按钮来拷贝 Trial 的参数。
-
-![](../img/webui-img/copyParameter.png)
-
-* 如果在 OpenPAI 或 Kubeflow 平台上运行，还可以看到 hdfsLog。
-
-![](../img/webui-img/detail-pai.png)
-
-* Kill: 可终止正在运行的任务。
-* 支持搜索某个特定的 Trial。
-* Intermediate Result Graph: 可看到图中默认和其它的键值。
-
-![](../img/webui-img/intermediate.png)
\ No newline at end of file

docs/zh_CN/advanced.rst

@@ -2,6 +2,6 @@
 =====================
 
 ..  toctree::
-    多阶段<MultiPhase>
-    高级网络架构搜索<AdvancedNas>
-    NAS 编程接口<GeneralNasInterfaces>
+    多阶段<./AdvancedFeature/MultiPhase>
+    高级网络架构搜索<./AdvancedFeature/AdvancedNas>
+    NAS 编程接口<./AdvancedFeature/GeneralNasInterfaces>
\ No newline at end of file

docs/zh_CN/assessors.rst

@@ -15,5 +15,5 @@ Assessor 从 Trial 中接收中间结果，并通过指定的算法决定此 Tri
 ..  toctree::
     :maxdepth: 2
 
-    内置 Assessor<BuiltinAssessor>
-    自定义 Assessor<CustomizeAssessor>
+    内置 Assessor<builtin_assessor>
+    自定义 Assessor<Assessor/CustomizeAssessor>

docs/zh_CN/builtin_assessor.rst

@@ -4,6 +4,6 @@
 ..  toctree::
     :maxdepth: 1
 
-    介绍<BuiltinAssessor>
-    Medianstop<MedianstopAssessor>
-    Curvefitting<CurvefittingAssessor>
+    概述<./Assessor/BuiltinAssessor>
+    Medianstop<./Assessor/MedianstopAssessor>
+    Curvefitting（曲线拟合）<./Assessor/CurvefittingAssessor>
\ No newline at end of file

docs/zh_CN/builtin_tuner.rst

@@ -4,15 +4,16 @@
 ..  toctree::
     :maxdepth: 1
     
-    介绍<BuiltinTuner>
-    TPE<HyperoptTuner>
-    Random Search<HyperoptTuner>
-    Anneal<HyperoptTuner>
-    Naive Evolution<EvolutionTuner>
-    SMAC<SmacTuner>
-    Batch Tuner<BatchTuner>
-    Grid Search<GridsearchTuner>
-    Hyperband<HyperbandAdvisor>
-    Network Morphism<NetworkmorphismTuner>
-    Metis Tuner<MetisTuner>
-    BOHB<BohbAdvisor>
+    概述<Tuner/BuiltinTuner>
+    TPE<Tuner/HyperoptTuner>
+    Random Search（随机搜索）<Tuner/HyperoptTuner>
+    Anneal（退火）<Tuner/HyperoptTuner>
+    Naïve Evolution（朴素进化）<Tuner/EvolutionTuner>
+    SMAC<Tuner/SmacTuner>
+    Metis Tuner<Tuner/MetisTuner>
+    Batch Tuner（批处理）<Tuner/BatchTuner>
+    Grid Search（遍历）<Tuner/GridsearchTuner>
+    GP Tuner<Tuner/GPTuner>
+    Network Morphism<Tuner/NetworkmorphismTuner>
+    Hyperband<Tuner/HyperbandAdvisor>
\ No newline at end of file
+    BOHB<Tuner/BohbAdvisor>

docs/zh_CN/contribution.rst

@@ -3,5 +3,5 @@
 ###############################
 
 ..  toctree::
-    设置开发环境<SetupNniDeveloperEnvironment>
-    贡献指南<Contributing>
+    设置开发环境<./Tutorial/SetupNniDeveloperEnvironment>
+    贡献指南<./Tutorial/Contributing>
\ No newline at end of file

docs/zh_CN/curvefittingAssessor.md

-# NNI 中的 Curve Fitting Assessor
-
-## 1. 介绍
-
-Curve Fitting Assessor 是一个 LPA (learning, predicting, assessing，即学习、预测、评估) 的算法。 如果预测的Trial X 在 step S 比性能最好的 Trial 要差，就会提前终止它。
-
-此算法中，使用了 12 条曲线来拟合学习曲线，从[参考论文](http://aad.informatik.uni-freiburg.de/papers/15-IJCAI-Extrapolation_of_Learning_Curves.pdf)中选择了大量的参数曲线模型。 学习曲线的形状与先验知识是一致的：都是典型的递增的、饱和的函数。
-
-![](../img/curvefitting_learning_curve.PNG)
-
-所有学习曲线模型被合并到了单个，更强大的模型中。 合并的模型通过加权线性混合：
-
-![](../img/curvefitting_f_comb.gif)
-
-合并后的参数向量
-
-![](../img/curvefitting_expression_xi.gif)
-
-假设增加一个高斯噪声，且噪声参数初始化为最大似然估计。
-
-通过学习历史数据来确定新的组合参数向量的最大概率值。 用这样的方法来预测后面的 Trial 性能，并停止不好的 Trial 来节省计算资源。
-
-具体来说，该算法有学习、预测和评估三个阶段。
-
-* 步骤 1：学习。 从当前 Trial 的历史中学习，并从贝叶斯角度决定 \xi 。 首先，使用最小二乘法 (由 `fit_theta` 实现) 来节省时间。 获得参数后，过滤曲线并移除异常点（由 `filter_curve` 实现）。 最后，使用 MCMC 采样方法 (由 `mcmc_sampling` 实现) 来调整每个曲线的权重。 至此，确定了 \xi 中的所有参数。
-
-* 步骤 2：预测。 用 \xi 和混合模型公式，在目标位置（例如 epoch 的总数）来计算期望的最终结果精度（由 `f_comb` 实现）。
-
-* 步骤 3：如果拟合结果没有收敛，预测结果会是 `None`，并返回 `AssessResult.Good`，待下次有了更多精确信息后再次预测。 此外，会通过 `predict()` 函数获得正数。如果该值大于 __历史最好结果__ * `THRESHOLD`(默认为 0.95)，则返回 `AssessResult.Good`，否则返回 `AssessResult.Bad`。
-
-下图显示了此算法在 MNIST Trial 历史数据上结果。其中绿点表示 Assessor 获得的数据，蓝点表示将来，但未知的数据，红色线条是 Curve fitting Assessor 的预测曲线。
-
-![](../img/curvefitting_example.PNG)
-
-## 2. 用法
-
-要使用 Curve Fitting Assessor，需要在 Experiment 的 YAML 配置文件进行如下改动。
-
-    assessor:
-        builtinAssessorName: Curvefitting
-        classArgs:
-          # (必须) epoch 的总数。
-          # 需要此数据来决定需要预测的点。
-          epoch_num: 20
-          # (可选) 选项: maximize, minimize
-          *  optimize_mode 的默认值是 maximize
-          optimize_mode: maximize
-          # (可选) 为了节约计算资源，在收到了 start_step 个中间结果后，才开始预测。
-          # start_step 的默认值是 6。
-          start_step: 6
-          # (可选) 决定是否提前终止的阈值。
-          # 例如，如果 threshold = 0.95, optimize_mode = maximize，最好的历史结果是 0.9，那么会在 Trial 的预测值低于 0.95 * 0.9 = 0.855 时停止。
-          * 阈值的默认值是 0.95。
-          # 注意：如果选择了 minimize 模式，要让 threshold >= 1.0 (如 threshold=1.1)
-          threshold: 0.95
-          # (可选) gap 是两次评估之间的间隔次数。
-          # 例如：如果 gap = 2, start_step = 6，就会评估第 6, 8, 10, 12... 个中间结果。
-          * gap 的默认值是 1。
-          gap: 1
-    
-
-## 3. 文件结构
-
-Assessor 有大量的文件、函数和类。 这里只简单介绍最重要的文件：
-
-* `curvefunctions.py` 包含了所有函数表达式和默认参数。
-* `modelfactory.py` 包括学习和预测部分，并实现了相应的计算部分。
-* `curvefitting_assessor.py` 是接收 Trial 历史数据并评估是否需要提前终止的 Assessor。
-
-## 4. TODO
-
-* 进一步提高预测精度，并在更多模型上测试。
\ No newline at end of file

docs/zh_CN/evolutionTuner.md

-# Naive Evolution Tuner
-
-## Naive Evolution（进化算法）
-
-进化算法来自于 [Large-Scale Evolution of Image Classifiers](https://arxiv.org/pdf/1703.01041.pdf)。 它会基于搜索空间随机生成一个种群。 在每一代中，会选择较好的结果，并对其下一代进行一些变异（例如，改动一个超参，增加或减少一层）。 进化算法需要很多次 Trial 才能有效，但它也非常简单，也很容易扩展新功能。
\ No newline at end of file

docs/zh_CN/examples.rst

@@ -5,8 +5,8 @@
 ..  toctree::
     :maxdepth: 2
 
-    MNIST<MnistExamples>
-    Cifar10<Cifar10Examples>
-    Scikit-learn<SklearnExamples>
-    EvolutionSQuAD<SquadEvolutionExamples>
-    GBDT<GbdtExample>
+    MNIST<./TrialExample/MnistExamples>
+    Cifar10<./TrialExample/Cifar10Examples>
+    Scikit-learn<./TrialExample/SklearnExamples>
+    EvolutionSQuAD<./TrialExample/SquadEvolutionExamples>
+    GBDT<./TrialExample/GbdtExample>

docs/zh_CN/gridsearchTuner.md

-# Grid Search
-
-## Grid Search（遍历搜索）
-
-Grid Search 会穷举定义在搜索空间文件中的所有超参组合。 注意，搜索空间仅支持 `choice`, `quniform`, `qloguniform`。 `quniform` 和 `qloguniform` 中的 **数字 `q` 有不同的含义（与[搜索空间](SearchSpaceSpec.md)说明不同）。 这里的意义是在 `low` 和 `high` 之间均匀取值的数量。</p>
\ No newline at end of file

docs/zh_CN/hyperbandAdvisor.md

-# NNI 中使用 Hyperband
-
-## 1. 介绍
-
-[Hyperband](https://arxiv.org/pdf/1603.06560.pdf) 是一种流行的自动机器学习算法。 Hyperband 的基本思想是对配置分组，每组有 `n` 个随机生成的超参配置，每个配置使用 `r` 次资源（如，epoch 数量，批处理数量等）。 当 `n` 个配置完成后，会选择最好的 `n/eta` 个配置，并增加 `r*eta` 次使用的资源。 最后，会选择出的最好配置。
-
-## 2. 实现并行
-
-首先，此样例是基于 MsgDispatcherBase 来实现的自动机器学习算法，而不是基于 Tuner 和Assessor。 这种实现方法下，Hyperband 集成了 Tuner 和 Assessor 两者的功能，因而将它叫做 Advisor。
-
-其次，本实现完全利用了 Hyperband 内部的并行性。 具体来说，下一个分组不会严格的在当前分组结束后再运行，只要有资源，就可以开始运行新的分组。
-
-## 3. 用法
-
-要使用 Hyperband，需要在 Experiment 的 YAML 配置文件进行如下改动。
-
-    advisor:
-      #可选项: Hyperband
-      builtinAdvisorName: Hyperband
-      classArgs:
-        #R: 最大的步骤
-        R: 100
-        #eta: 丢弃的 Trial 的比例
-        eta: 3
-        #可选项: maximize, minimize
-        optimize_mode: maximize
-    
-
-注意，一旦使用了 Advisor，就不能在配置文件中添加 Tuner 和 Assessor。 使用 Hyperband 时，Trial 代码收到的超参（如键值对）中，除了用户定义的超参，会多一个 `TRIAL_BUDGET`。 **使用 `TRIAL_BUDGET`，Trial 能够控制其运行的时间。</p> 
-
-对于 Trial 代码中 `report_intermediate_result(metric)` 和 `report_final_result(metric)` 的**`指标` 应该是数值，或者用一个 dict，并保证其中有键值为 default 的项目，其值也为数值型**。 这是需要进行最大化或者最小化优化的数值，如精度或者损失度。
-
-`R` 和 `eta` 是 Hyperband 中可以改动的参数。 `R` 表示可以分配给 Trial 的最大资源。 这里，资源可以代表 epoch 或 批处理数量。 `TRIAL_BUDGET` 应该被尝试代码用来控制运行的次数。 参考样例 `examples/trials/mnist-advisor/` ，了解详细信息。
-
-`eta` 表示 `n` 个配置中的 `n/eta` 个配置会留存下来，并用更多的资源来运行。
-
-下面是 `R=81` 且 `eta=3` 时的样例：
-
-|   | s=4  | s=3  | s=2  | s=1  | s=0  |
-| - | ---- | ---- | ---- | ---- | ---- |
-| i | n r  | n r  | n r  | n r  | n r  |
-| 0 | 81 1 | 27 3 | 9 9  | 6 27 | 5 81 |
-| 1 | 27 3 | 9 9  | 3 27 | 2 81 |      |
-| 2 | 9 9  | 3 27 | 1 81 |      |      |
-| 3 | 3 27 | 1 81 |      |      |      |
-| 4 | 1 81 |      |      |      |      |
-
-`s` 表示分组， `n` 表示生成的配置数量，相应的 `r` 表示配置使用多少资源来运行。 `i` 表示轮数，如分组 4 有 5 轮，分组 3 有 4 轮。
-
-关于如何实现 Trial 代码，参考 `examples/trials/mnist-hyperband/` 中的说明。
-
-## 4. 待改进
-
-当前实现的 Hyperband 算法可以通过改进支持的提前终止算法来提高，原因是最好的 `n/eta` 个配置并不一定都表现很好。 不好的配置可以更早的终止。
-
-在当前实现中，遵循了[此论文](https://arxiv.org/pdf/1603.06560.pdf)的设计，配置都是随机生成的。 要进一步提升，配置生成过程可以利用更高级的算法。
\ No newline at end of file

docs/zh_CN/hyperoptTuner.md

-# TPE, Random Search, Anneal Tuners
-
-## TPE
-
-Tree-structured Parzen Estimator (TPE) 是一种 sequential model-based optimization（SMBO，即基于序列模型优化）的方法。 SMBO 方法根据历史指标数据来按顺序构造模型，来估算超参的性能，随后基于此模型来选择新的超参。 TPE 方法对 P(x|y) 和 P(y) 建模，其中 x 表示超参，y 表示相关的评估指标。 P(x|y) 通过变换超参的生成过程来建模，用非参数密度（non-parametric densities）代替配置的先验分布。 细节可参考 [Algorithms for Hyper-Parameter Optimization](https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf)。 ​
-
-## Random Search（随机搜索）
-
-[Random Search for Hyper-Parameter Optimization](http://www.jmlr.org/papers/volume13/bergstra12a/bergstra12a.pdf) 中介绍了随机搜索惊人的简单和效果。 建议当不清楚超参的先验分布时，采用随机搜索作为基准。
-
-## Anneal（退火算法）
-
-这种简单的退火算法从先前的采样开始，会越来越靠近发现的最佳点取样。 此算法是随机搜索的简单变体，利用了响应面的平滑性。 退火率不是自适应的。
\ No newline at end of file

docs/zh_CN/index.rst

@@ -12,11 +12,11 @@ Neural Network Intelligence（NNI）文档
     :titlesonly:
 
     概述<Overview>
-    入门<QuickStart>
+    入门<Tutorial/QuickStart>
     教程<tutorials>
     示例<examples>
     参考<reference>
-    常见问答<FAQ>
+    FAQ<Tutorial/FAQ>
     贡献<contribution>
     更改日志<Release>
-    社区经验分享<community_sharings>
+    社区分享<CommunitySharings/community_sharings>

docs/zh_CN/medianstopAssessor.md

-# Medianstop Assessor
-
-## Median Stop
-
-Medianstop 是一种简单的提前终止 Trial 的策略，可参考[论文](https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/46180.pdf)。 如果 Trial X 的在步骤 S 的最好目标值比所有已完成 Trial 的步骤 S 的中位数值明显要低，这个 Trial 就会被提前停止。
\ No newline at end of file

docs/zh_CN/nni_practice_sharing.rst

-#################
-教程
-#################
-
-分享使用 NNI 来调优模型和系统的经验
-
-..  toctree::
-    :maxdepth: 2
-
-    在 NNI 上调优 Recommenders 的 SVD<CommunitySharings/NniPracticeSharing/RecommendersSvd>
\ No newline at end of file

docs/zh_CN/reference.rst

@@ -4,9 +4,9 @@
 ..  toctree::
     :maxdepth: 3
 
-    命令行<Nnictl>
+    命令行<Tutorial/Nnictl>
     Python API<sdk_reference>
-    Annotation<AnnotationSpec>
-    配置<ExperimentConfig>
-    搜索空间<SearchSpaceSpec>
-    实现训练平台<HowToImplementTrainingService>
+    Annotation<Tutorial/AnnotationSpec>
+    配置<Tutorial/ExperimentConfig>
+    搜索空间<Tutorial/SearchSpaceSpec>
+    实现训练平台<TrainingService/HowToImplementTrainingService>

docs/zh_CN/sdk_reference.rst

@@ -8,6 +8,8 @@ Trial（尝试）
 ..  autofunction:: nni.get_current_parameter
 ..  autofunction:: nni.report_intermediate_result
 ..  autofunction:: nni.report_final_result
+..  autofunction:: nni.get_experiment_id
+..  autofunction:: nni.get_trial_id
 ..  autofunction:: nni.get_sequence_id
 
 

docs/zh_CN/smacTuner.md

-# SMAC Tuner
-
-## SMAC
-
-[SMAC](https://www.cs.ubc.ca/~hutter/papers/10-TR-SMAC.pdf) 基于 Sequential Model-Based Optimization (SMBO). 它利用使用过的结果好的模型（高斯随机过程模型），并将随机森林引入到 SMBO 中，来处理分类参数。 NNI 的 SMAC 通过包装 [SMAC3](https://github.com/automl/SMAC3) 来支持。
-
-NNI 中的 SMAC 只支持部分类型的[搜索空间](SearchSpaceSpec.md)，包括`choice`, `randint`, `uniform`, `loguniform`, `quniform(q=1)`。
\ No newline at end of file