Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
bert4torch_pytorch
Commits
b33bb867
Commit
b33bb867
authored
May 06, 2025
by
chenzk
Browse files
Update sf.md
parent
c9678312
Changes
1
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
5 additions
and
5 deletions
+5
-5
README.md
README.md
+5
-5
No files found.
README.md
View file @
b33bb867
...
@@ -14,7 +14,7 @@ BERT的主模型是BERT中最重要组件,BERT通过预训练(pre-training
...
@@ -14,7 +14,7 @@ BERT的主模型是BERT中最重要组件,BERT通过预训练(pre-training
如图:
如图:


其中
其中
...
@@ -30,7 +30,7 @@ BERT模型是基于Transformer模型的,但是与原始的Transformer模型不
...
@@ -30,7 +30,7 @@ BERT模型是基于Transformer模型的,但是与原始的Transformer模型不
-
预训练(pre-training):先对大量语料进行无监督学习;
-
预训练(pre-training):先对大量语料进行无监督学习;
-
微调(Fine-tuning):再对少量标注语料进行监督学习,提升模型针对特定任务的表现能力。
-
微调(Fine-tuning):再对少量标注语料进行监督学习,提升模型针对特定任务的表现能力。


## 环境配置
## 环境配置
...
@@ -61,7 +61,7 @@ python3 setup.py install
...
@@ -61,7 +61,7 @@ python3 setup.py install
```
```
1.创建conda虚拟环境:
1.创建conda虚拟环境:
conda create -n bert4torch python=3.10
conda create -n bert4torch python=3.10
2.关于本项目DCU显卡所需的工具包、深度学习库等均可从光合开发者社区下载安装:https://developer.
hpccube.com
/tool/
2.关于本项目DCU显卡所需的工具包、深度学习库等均可从光合开发者社区下载安装:https://developer.
sourcefind.cn
/tool/
DTK驱动:dtk24.04.1
DTK驱动:dtk24.04.1
python:python3.10
python:python3.10
torch:2.1.0
torch:2.1.0
...
@@ -115,7 +115,7 @@ cd examples/sequence_labeling/
...
@@ -115,7 +115,7 @@ cd examples/sequence_labeling/
./multi_train.sh
./multi_train.sh
```
```
## result
## result


### 精度
### 精度
| 卡数 | 类型 | batch_size | f1 | p | r |
| 卡数 | 类型 | batch_size | f1 | p | r |
...
@@ -140,7 +140,7 @@ cd examples/sequence_labeling/
...
@@ -140,7 +140,7 @@ cd examples/sequence_labeling/
## 源码仓库及问题反馈
## 源码仓库及问题反馈
-
https://developer.
hpccube.com
/codes/modelzoo/bert4torch
-
https://developer.
sourcefind.cn
/codes/modelzoo/bert4torch
## 参考资料
## 参考资料
-
https://github.com/Tongjilibo/bert4torch
-
https://github.com/Tongjilibo/bert4torch
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment