Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
OpenDAS
nni
Commits
fbf4668b
"tasks/vision/classification/eval_utils.py" did not exist on "ccae9dbdeb71ccb2809bc41b10dd3440ee1d037a"
Unverified
Commit
fbf4668b
authored
Feb 26, 2019
by
Chi Song
Committed by
GitHub
Feb 26, 2019
Browse files
update Chinese file path as en_US (#764)
parent
7242098e
Changes
135
Show whitespace changes
Inline
Side-by-side
Showing
20 changed files
with
38 additions
and
37 deletions
+38
-37
docs/zh_CN/Installation.md
docs/zh_CN/Installation.md
+0
-0
docs/zh_CN/KubeflowMode.md
docs/zh_CN/KubeflowMode.md
+2
-2
docs/zh_CN/Makefile
docs/zh_CN/Makefile
+0
-0
docs/zh_CN/NNICTLDOC.md
docs/zh_CN/NNICTLDOC.md
+5
-5
docs/zh_CN/Overview.md
docs/zh_CN/Overview.md
+0
-0
docs/zh_CN/PAIMode.md
docs/zh_CN/PAIMode.md
+4
-4
docs/zh_CN/QuickStart.md
docs/zh_CN/QuickStart.md
+7
-7
docs/zh_CN/RELEASE.md
docs/zh_CN/RELEASE.md
+2
-2
docs/zh_CN/Reference.rst
docs/zh_CN/Reference.rst
+1
-0
docs/zh_CN/RemoteMachineMode.md
docs/zh_CN/RemoteMachineMode.md
+0
-0
docs/zh_CN/SQuAD_evolution_examples.md
docs/zh_CN/SQuAD_evolution_examples.md
+2
-2
docs/zh_CN/SearchSpaceSpec.md
docs/zh_CN/SearchSpaceSpec.md
+0
-0
docs/zh_CN/SetupNNIDeveloperEnvironment.md
docs/zh_CN/SetupNNIDeveloperEnvironment.md
+0
-0
docs/zh_CN/Trials.md
docs/zh_CN/Trials.md
+1
-1
docs/zh_CN/Tutorials.rst
docs/zh_CN/Tutorials.rst
+0
-0
docs/zh_CN/WebUI.md
docs/zh_CN/WebUI.md
+8
-8
docs/zh_CN/advanced.rst
docs/zh_CN/advanced.rst
+0
-0
docs/zh_CN/assessors.rst
docs/zh_CN/assessors.rst
+3
-3
docs/zh_CN/batchTuner.md
docs/zh_CN/batchTuner.md
+2
-2
docs/zh_CN/cifar10_examples.md
docs/zh_CN/cifar10_examples.md
+1
-1
No files found.
zh_CN
/docs
/Installation.md
→
docs/
zh_CN/Installation.md
View file @
fbf4668b
File moved
zh_CN
/docs
/KubeflowMode.md
→
docs/
zh_CN/KubeflowMode.md
View file @
fbf4668b
...
...
@@ -26,7 +26,7 @@ NNI 支持在 [Kubeflow](https://github.com/kubeflow/kubeflow)上运行,称为
## 设计

Kubeflow 训练服务会实例化一个 kubernetes 客户端来与 Kubernetes 集群的 API 服务器交互。

Kubeflow 训练服务会实例化一个 kubernetes 客户端来与 Kubernetes 集群的 API 服务器交互。
对于每个 Trial,会上传本机 codeDir 路径(在 nni_config.yml 中配置)中的所有文件,包括 parameter.cfg 这样的生成的文件到存储卷中。 当前支持两种存储卷:
[
nfs
](
https://en.wikipedia.org/wiki/Network_File_System
)
和
[
Azure 文件存储
](
https://azure.microsoft.com/en-us/services/storage/files/
)
,需要在 NNI 的 YAML 文件中进行配置。 当文件准备好后,Kubeflow 训练服务会调用 Kubernetes 的 API 来创建 Kubeflow 作业 (
[
tf-operator
](
https://github.com/kubeflow/tf-operator
)
作业或
[
pytorch-operator
](
https://github.com/kubeflow/pytorch-operator
)
作业) ,并将存储卷挂载到作业的 pod 中。 Kubeflow 作业的输出文件,例如 stdout, stderr, trial.log 以及模型文件,也会被复制回存储卷。 NNI 会在网页中显示每个 Trial 的存储卷的 URL,以便浏览日志和输出文件。
...
...
@@ -185,7 +185,7 @@ Kubeflow 模式的配置有下列主键:
*
gpuNum
*
image
*
必填。 在 kubeflow 模式中,Kubernetes 会安排 Trial 程序在
[
Pod
](
https://kubernetes.io/docs/concepts/workloads/pods/pod/
)
中执行。 此键用来指定 Trial 程序的 pod 使用的 Docker 映像。
*
[
Docker Hub
](
https://hub.docker.com/
)
上有预制的 NNI Docker 映像
[
msranni/nni
](
https://hub.docker.com/r/msranni/nni/
)
。 它包含了用来启动 NNI Experiment 所依赖的所有 Python 包,Node 模块和 JavaScript。 生成此 Docker 映像的文件在
[
这里
](
https://github.com/Microsoft/nni/tree/master/deployment/Dockerfile
.build.base
)
。 可以直接使用此映像,或参考它来生成自己的映像。
*
[
Docker Hub
](
https://hub.docker.com/
)
上有预制的 NNI Docker 映像
[
msranni/nni
](
https://hub.docker.com/r/msranni/nni/
)
。 它包含了用来启动 NNI Experiment 所依赖的所有 Python 包,Node 模块和 JavaScript。 生成此 Docker 映像的文件在
[
这里
](
https://github.com/Microsoft/nni/tree/master/deployment/
docker/
Dockerfile
)
。 可以直接使用此映像,或参考它来生成自己的映像。
*
apiVersion
*
必填。 Kubeflow 的 API 版本。
*
ps (可选)。 此部分用于配置 TensorFlow 的 parameter 服务器角色。
...
...
zh_CN
/docs
/Makefile
→
docs/
zh_CN/Makefile
View file @
fbf4668b
File moved
zh_CN
/docs
/NNICTLDOC.md
→
docs/
zh_CN/NNICTLDOC.md
View file @
fbf4668b
...
...
@@ -14,7 +14,7 @@ nnictl 支持的命令:
*
[
nnictl update
](
#update
)
*
[
nnictl trial
](
#trial
)
*
[
nnictl top
](
#top
)
*
[
nnictl experiment
show
](
#experiment
)
*
[
nnictl experiment
](
#experiment
)
*
[
nnictl config
](
#config
)
*
[
nnictl log
](
#log
)
*
[
nnictl webui
](
#webui
)
...
...
@@ -88,7 +88,7 @@ nnictl 支持的命令:
2.
如果没有指定 id,并且当前有运行的 Experiment,则会停止该 Experiment,否则会输出错误信息。
3.
如果 id 以
*
结尾,nnictl 会停止所有匹配此通配符的 Experiment。
4.
如果 id 不存在,但匹配了某个Experiment 的 id 前缀,nnictl 会停止匹配的Experiment 。
5.
如果 id 不存在,但匹配多个 Experiment id 的前缀,nnictl 会输出这些 id 的信息。
5.
如果 id 不存在,但匹配
了
多个 Experiment id 的前缀,nnictl 会输出这些 id 的信息。
6.
可使用 'nnictl stop all' 来停止所有的 Experiment。
<a
name=
"update"
></a>
...
...
@@ -415,8 +415,8 @@ nnictl 支持的命令:
*
选项
| 参数及缩写 | 是否必需 | 默认值 | 说明 |
| ----- | ----- | --- | ----------- |
| id | False | | 需要设置的
实验
的 id |
| ----- | ----- | --- | -----------
----------
|
| id | False | | 需要设置的
Experiment
的 id |
<a
name=
"package"
></a>
...
...
zh_CN
/docs
/Overview.md
→
docs/
zh_CN/Overview.md
View file @
fbf4668b
File moved
zh_CN
/docs
/PAIMode.md
→
docs/
zh_CN/PAIMode.md
View file @
fbf4668b
...
...
@@ -53,7 +53,7 @@ paiConfig:
*
必填。 Trial 程序的内存需求,必须为正数。
*
image
*
必填。 在 pai 模式中,Trial 程序由 OpenPAI 在
[
Docker 容器
](
https://www.docker.com/
)
中安排运行。 此键用来指定 Trial 程序的容器使用的 Docker 映像。
*
[
Docker Hub
](
https://hub.docker.com/
)
上有预制的 NNI Docker 映像
[
nnimsra/nni
](
https://hub.docker.com/r/msranni/nni/
)
。 它包含了用来启动 NNI Experiment 所依赖的所有 Python 包,Node 模块和 JavaScript。 生成此 Docker 映像的文件在
[
这里
](
https://github.com/Microsoft/nni/tree/master/deployment/Dockerfile
.build.base
)
。 可以直接使用此映像,或参考它来生成自己的映像。
*
[
Docker Hub
](
https://hub.docker.com/
)
上有预制的 NNI Docker 映像
[
nnimsra/nni
](
https://hub.docker.com/r/msranni/nni/
)
。 它包含了用来启动 NNI Experiment 所依赖的所有 Python 包,Node 模块和 JavaScript。 生成此 Docker 映像的文件在
[
这里
](
https://github.com/Microsoft/nni/tree/master/deployment/
docker/
Dockerfile
)
。 可以直接使用此映像,或参考它来生成自己的映像。
*
dataDir
*
可选。 指定了 Trial 用于下载数据的 HDFS 数据目录。 格式应为 hdfs://{your HDFS host}:9000/{数据目录}
*
outputDir
...
...
@@ -64,15 +64,15 @@ paiConfig:
nnictl create --config exp_pai.yml
来在 pai 模式下启动 Experiment。 NNI 会为每个 Trial 创建 OpenPAI 作业,作业名称的格式为
`nni_exp_{experiment_id}_trial_{trial_id}`
。 可以在 OpenPAI 集群的网站中看到 NNI 创建的作业,例如: !
[](
./img/nni_pai_joblist.jpg
)
来在 pai 模式下启动 Experiment。 NNI 会为每个 Trial 创建 OpenPAI 作业,作业名称的格式为
`nni_exp_{experiment_id}_trial_{trial_id}`
。 可以在 OpenPAI 集群的网站中看到 NNI 创建的作业,例如: !
[](
.
.
/img/nni_pai_joblist.jpg
)
注意:pai 模式下,NNIManager 会启动 RESTful 服务,监听端口为 NNI 网页服务器的端口加1。 例如,如果网页端口为
`8080`
,那么 RESTful 服务器会监听在
`8081`
端口,来接收运行在 Kubernetes 中的 Trial 作业的指标。 因此,需要在防火墙中启用端口
`8081`
的 TCP 协议,以允许传入流量。
当一个 Trial 作业完成后,可以在 NNI 网页的概述页面(如:http://localhost:8080/oview)中查看 Trial 的信息。
在 Trial 列表页面中展开 Trial 信息,点击如下的 logPath: !
[](
./img/nni_webui_joblist.jpg
)
在 Trial 列表页面中展开 Trial 信息,点击如下的 logPath: !
[](
.
.
/img/nni_webui_joblist.jpg
)
接着将会打开 HDFS 的 WEB 界面,并浏览到 Trial 的输出文件: !
[](
./img/nni_trial_hdfs_output.jpg
)
接着将会打开 HDFS 的 WEB 界面,并浏览到 Trial 的输出文件: !
[](
.
.
/img/nni_trial_hdfs_output.jpg
)
在输出目录中可以看到三个文件:stderr, stdout, 以及 trial.log
...
...
zh_CN
/docs
/QuickStart.md
→
docs/
zh_CN/QuickStart.md
View file @
fbf4668b
...
...
@@ -183,28 +183,28 @@ trial:
Experiment 相关信息会显示在界面上,配置和搜索空间等。 可通过
**Download**
按钮来
`下载信息和参数`
。 可以在运行中或结束后,随时下载 Experiment 的结果。


前 10 个 Trial 结果也会列在 Overview 页面中,可以在 "Trials Detail" 部分浏览所有的 Trial。


#### 查看 Trial 详情页面
点击 "Default Metric" 来查看所有 Trial 的点图。 悬停鼠标来查看默认指标和搜索空间信息。


点击 "Hyper Parameter" 标签查看图像。
*
可选择百分比查看最好的 Trial。
*
选择两个轴来交换位置。


点击 "Trial Duration" 标签来查看柱状图。


下面是所有 Trial 的状态。 包括:
...
...
@@ -213,11 +213,11 @@ Experiment 相关信息会显示在界面上,配置和搜索空间等。 可
*
Kill: 可终止正在运行的任务。
*
支持搜索某个特定的 Trial。


*
中间结果图


## 相关主题
...
...
zh_CN
/docs
/RELEASE.md
→
docs/
zh_CN/RELEASE.md
View file @
fbf4668b
...
...
@@ -117,7 +117,7 @@
nnictl create
--port
8081
--config
<config file path>
```
*
支持更新最大 Trial 的数量。 使用
`nnictl update --help`
了解详情。 或参考
[
NNICTL
说明
](
NNICTLDOC.md
)
来
查看完整帮助。
*
支持更新最大 Trial 的数量。 使用
`nnictl update --help`
了解详情。 或参考
[
NNICTL
](
NNICTLDOC.md
)
查看完整帮助。
### API 的新功能和更新
...
...
@@ -137,7 +137,7 @@
*
float
*
包含有 'default' 键值的 dict,'default' 的值必须为 int 或 float。 dict 可以包含任何其它键值对。
###
支持
新的 Tuner
### 新的
内置
Tuner
*
**Batch Tuner(批处理调参器)**
会执行所有超参组合,可被用来批量提交 Trial 任务。
...
...
zh_CN
/docs
/Reference.rst
→
docs/
zh_CN/Reference.rst
View file @
fbf4668b
...
...
@@ -5,6 +5,7 @@
:maxdepth: 3
命令行<NNICTLDOC>
Python API<sdk_reference>
Annotation<AnnotationSpec>
配置<ExperimentConfig>
搜索空间<SearchSpaceSpec>
\ No newline at end of file
zh_CN
/docs
/RemoteMachineMode.md
→
docs/
zh_CN/RemoteMachineMode.md
View file @
fbf4668b
File moved
zh_CN
/docs
/SQuAD_evolution_examples.md
→
docs/
zh_CN/SQuAD_evolution_examples.md
View file @
fbf4668b
...
...
@@ -14,7 +14,7 @@
6.
ADD-SKIP (在随机层之间一致).
7.
REMOVE-SKIP (移除随机跳过).


### 新版本
...
...
@@ -130,7 +130,7 @@ paiConfig:
将默认值改为个人账户和服务器信息。 包括
`nniManagerIp`
,
`dataDir`
,
`outputDir`
,
`userName`
,
`passWord`
和
`host`
。
在 "
t
rial" 部分中,如果需要使用 GPU 来进行架构搜索,可将
`gpuNum`
从
`0`
改为
`1`
。 根据训练时长,可以增加
`maxTrialNum`
和
`maxExecDuration`
。
在 "
T
rial" 部分中,如果需要使用 GPU 来进行架构搜索,可将
`gpuNum`
从
`0`
改为
`1`
。 根据训练时长,可以增加
`maxTrialNum`
和
`maxExecDuration`
。
`trialConcurrency`
是并发运行的 Trial 的数量。如果将
`gpuNum`
设置为 1,则需要与 GPU 数量一致。
...
...
zh_CN
/docs
/SearchSpaceSpec.md
→
docs/
zh_CN/SearchSpaceSpec.md
View file @
fbf4668b
File moved
zh_CN
/docs
/SetupNNIDeveloperEnvironment.md
→
docs/
zh_CN/SetupNNIDeveloperEnvironment.md
View file @
fbf4668b
File moved
zh_CN
/docs
/Trials.md
→
docs/
zh_CN/Trials.md
View file @
fbf4668b
...
...
@@ -64,7 +64,7 @@ searchSpacePath: /path/to/your/search_space.json
参考
[
这里
](
ExperimentConfig.md
)
进一步了解如何配置实验。
*
参考
[
这里
](
sdk_reference.
md
)
,了解更多 NNI API
(
例如
:
`nni.get_sequence_id()`
)
。
*
参考
[
这里
](
https://nni.readthedocs.io/en/latest/
sdk_reference.
html
)
,了解更多 NNI API
(
例如
`nni.get_sequence_id()`
)
。
<a
name=
"nni-annotation"
></a>
...
...
zh_CN
/docs
/Tutorials.rst
→
docs/
zh_CN/Tutorials.rst
View file @
fbf4668b
File moved
zh_CN
/docs
/WebUI.md
→
docs/
zh_CN/WebUI.md
View file @
fbf4668b
...
...
@@ -7,17 +7,17 @@
*
查看 Experiment 的配置和搜索空间内容。
*
支持下载 Experiment 结果。


*
查看最好结果的 Trial。


## 查看任务默认指标
点击 "Default Metric" 来查看所有 Trial 的点图。 悬停鼠标来查看默认指标和搜索空间信息。


## 查看超参
...
...
@@ -26,13 +26,13 @@
*
可选择百分比查看最好的 Trial。
*
选择两个轴来交换位置。


## 查看 Trial 运行时间
点击 "Trial Duration" 标签来查看柱状图。


## 查看 Trial 状态
...
...
@@ -40,14 +40,14 @@
*
Trial 详情:Trial 的 id,持续时间,开始时间,结束时间,状态,精度和搜索空间。


*
如果在 OpenPAI 或 Kubeflow 平台上运行,还可以看到 hdfsLog。


*
Kill: 可终止正在运行的任务。
*
支持搜索某个特定的 Trial。
*
中间结果图。

\ No newline at end of file

\ No newline at end of file
zh_CN
/docs
/advanced.rst
→
docs/
zh_CN/advanced.rst
View file @
fbf4668b
File moved
zh_CN
/docs
/assessors.rst
→
docs/
zh_CN/assessors.rst
View file @
fbf4668b
Assessor(评估器)
==============
==============
====
为了节省计算资源,在 NNI 中可通过创建 **Assessor**,来配置提前终止策略。
Assessor 从 Trial 中接收中间结果,并通过指定的算法决定此 Trial 是否应该终止。 一旦 Trial 满足了提前终止策略(这表示 Assessor 认为最终结果不会太好),Assessor 会终止此 Trial,并将其状态标志为 `"EARLY_STOPPED"`。
这是 MNIST 在使用了 'Curvefitting' Assessor 的 'maximize' 模式后的实验结果,可以看到 Assessor 成功的将大量最终结果不好的 Trial **提前结束**
了
。 使用 Assessor,能在相同的计算资源下,得到更好的结果。
这是 MNIST 在使用了 'Curvefitting' Assessor 的 'maximize' 模式后的实验结果,可以看到 Assessor 成功的将大量最终结果不好的 Trial **提前结束**
。 使用 Assessor,能在相同的计算资源下,得到更好的结果。
*实现代码:config_assessor.yml <https://github.com/Microsoft/nni/blob/master/examples/trials/mnist/config_assessor.yml>*
.. image:: ./img/Assessor.png
.. image::
.
./img/Assessor.png
与 Tuner 类似,可使用内置的 Assessor,也可以自定义 Assessor。 参考下列教程,获取详细信息:
...
...
zh_CN/
src/sdk/pynni/nni/
batch
_t
uner
/README
.md
→
docs/
zh_CN/batch
T
uner.md
View file @
fbf4668b
# Batch Tuner
## Batch Tuner(批
处理
调参器)
## Batch Tuner(批
量
调参器)
Batch Tuner 能让用户简单的提供几组配置(如,超参选项的组合)。 当所有配置都执行完后,Experiment 即结束。 Batch Tuner
仅支持
[
搜索空间
](
../../../../../docs/
SearchSpaceSpec.md
)
中的
choice。
Batch Tuner 能让用户简单的提供几组配置(如,超参选项的组合)。 当所有配置都执行完后,Experiment 即结束。 Batch Tuner
的
[
搜索空间
](
SearchSpaceSpec.md
)
只支持
`
choice
`
。
建议场景:如果 Experiment 配置已确定,可通过 choice 将它们罗列到搜索空间文件中运行即可。
\ No newline at end of file
zh_CN
/docs
/cifar10_examples.md
→
docs/
zh_CN/cifar10_examples.md
View file @
fbf4668b
...
...
@@ -51,7 +51,7 @@ python3 -m pip install torchvision
*实现代码:[main.py](https://github.com/Microsoft/nni/blob/master/examples/trials/cifar10_pytorch/main.py)*
也可以直接使用以前的代码来修改
,参考:
[
如何编写 Trial
](
./
Trials.md
)
。
还可直接修改现有的代码来支持 NNI
,参考:
[
如何编写 Trial
](
Trials.md
)
。
**配置**
...
...
Prev
1
2
3
4
5
6
7
Next
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment