Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
OpenDAS
ColossalAI
Commits
e90fdb10
Commit
e90fdb10
authored
May 24, 2023
by
digger yu
Committed by
Frank Lee
May 24, 2023
Browse files
fix typo docs/
parent
34966378
Changes
23
Hide whitespace changes
Inline
Side-by-side
Showing
3 changed files
with
3 additions
and
3 deletions
+3
-3
docs/source/zh-Hans/basics/colotensor_concept.md
docs/source/zh-Hans/basics/colotensor_concept.md
+1
-1
docs/source/zh-Hans/features/mixed_precision_training.md
docs/source/zh-Hans/features/mixed_precision_training.md
+1
-1
docs/source/zh-Hans/features/nvme_offload.md
docs/source/zh-Hans/features/nvme_offload.md
+1
-1
No files found.
docs/source/zh-Hans/basics/colotensor_concept.md
View file @
e90fdb10
...
...
@@ -53,7 +53,7 @@ ColoTensor 包含额外的属性[ColoTensorSpec](https://colossalai.readthedocs.
## Example
让我们看一个例子。 使用 tp_degree=4, dp_dgree=2 在 8 个 GPU 上初始化并Shard一个ColoTensor。 然后tensor被沿着 TP 进程组中的最后一个维度进行分片。 最后,我们沿着 TP 进程组中的第一个维度(dim 0)对其进行重新Shard。 我们鼓励用户运行代码并观察每个张量的形状。
让我们看一个例子。 使用 tp_degree=4, dp_d
e
gree=2 在 8 个 GPU 上初始化并Shard一个ColoTensor。 然后tensor被沿着 TP 进程组中的最后一个维度进行分片。 最后,我们沿着 TP 进程组中的第一个维度(dim 0)对其进行重新Shard。 我们鼓励用户运行代码并观察每个张量的形状。
```
python
...
...
docs/source/zh-Hans/features/mixed_precision_training.md
View file @
e90fdb10
...
...
@@ -203,7 +203,7 @@ Naive AMP 的默认参数:
-
initial_scale(int): gradient scaler 的初始值
-
growth_factor(int): loss scale 的增长率
-
backoff_factor(float): loss scale 的下降率
-
hyster
i
sis(int): 动态 loss scaling 的延迟偏移
-
hyster
e
sis(int): 动态 loss scaling 的延迟偏移
-
max_scale(int): loss scale 的最大允许值
-
verbose(bool): 如果被设为
`True`
,将打印调试信息
...
...
docs/source/zh-Hans/features/nvme_offload.md
View file @
e90fdb10
...
...
@@ -53,7 +53,7 @@ optimizer = HybridAdam(model.parameters(), lr=1e-3, nvme_offload_fraction=1.0, n
> ⚠ 它只会卸载在 CPU 上的优化器状态。这意味着它只会影响 CPU 训练或者使用卸载的 Zero/Gemini。
## Exampls
## Exampl
e
s
Let's start from two simple examples -- training GPT with different methods. These examples relies on
`transformers`
.
首先让我们从两个简单的例子开始 -- 用不同的方法训练 GPT。这些例子依赖
`transformers`
。
...
...
Prev
1
2
Next
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment