Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
Multilingual_E5_pytorch
Commits
f37204ce
"tests/experimental/__init__.py" did not exist on "44b9bcd811cb7f38980a265f53342bee2b602507"
Commit
f37204ce
authored
Jun 27, 2025
by
zhangwq5
Browse files
third commit
parent
eadda121
Changes
1
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
3 additions
and
34 deletions
+3
-34
README.md
README.md
+3
-34
No files found.
README.md
View file @
f37204ce
...
...
@@ -36,8 +36,6 @@ docker build --no-cache -t xxx:latest .
docker run xxx
```
### Anaconda(方法三)
此处提供本地配置、编译的详细步骤,例如:
关于本项目DCU显卡所需的特殊深度学习库可从
[
光合
](
https://developer.sourcefind.cn/tool/
)
开发者社区下载安装。
```
bash
DTK: 25.04
...
...
@@ -54,38 +52,9 @@ pip install transformers>=4.51.0
pip
install
sentence-transformers>
=
2.7.0
```
## 数据集
`此处填写公开数据集名称`
-
此处填写公开数据集在公司内部的下载地址(数据集存放中心为:
[
SCNet AIDatasets
](
http://111.11.100.223:58001/ui/aihub/datasets
)
(非必须),模型用到的各公开数据集请分别填上具体地址。),过小权重文件可打包到项目里。
-
此处填写公开数据集官网下载地址(必须)。
此处提供数据预处理脚本的使用方法
```
python xxx.py
```
项目中已提供用于试验训练的迷你数据集,训练数据目录结构如下,用于正常训练的完整数据集请按此目录结构进行制备:
```
── dataset
│ ├── label_1
│ ├── xxx.png
│ ├── xxx.png
│ └── ...
│ └── label_2
│ ├── xxx.png
│ ├── xxx.png
│ └── ...
```
暂无
## 训练
一般情况下,ModelZoo上的项目提供单机训练的启动方法即可,单机多卡、单机单卡至少提供其一训练方法。
### 单机多卡
```
sh xxx.sh # 或python xxx.py
```
### 单机单卡
```
sh xxx.sh 或python xxx.py
```
暂无
## 推理
### vllm推理方法
```
...
...
@@ -131,7 +100,7 @@ DCU与GPU精度一致,推理框架:vllm。
## 预训练权重
-
[
multilingual-e5-large
](
https://huggingface.co/intfloat/multilingual-e5-large
)
## 源码仓库及问题反馈
-
-
https://developer.sourcefind.cn/codes/modelzoo/multilingual-e5_pytorch
## 参考资料
-
https://github.com/microsoft/unilm/tree/master/e5
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment