"vscode:/vscode.git/clone" did not exist on "4aee46138ce33e9080db44e6f8308b6d5da9ea17"
Commit f37204ce authored by zhangwq5's avatar zhangwq5
Browse files

third commit

parent eadda121
...@@ -36,8 +36,6 @@ docker build --no-cache -t xxx:latest . ...@@ -36,8 +36,6 @@ docker build --no-cache -t xxx:latest .
docker run xxx docker run xxx
``` ```
### Anaconda(方法三) ### Anaconda(方法三)
此处提供本地配置、编译的详细步骤,例如:
关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.sourcefind.cn/tool/)开发者社区下载安装。 关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.sourcefind.cn/tool/)开发者社区下载安装。
```bash ```bash
DTK: 25.04 DTK: 25.04
...@@ -54,38 +52,9 @@ pip install transformers>=4.51.0 ...@@ -54,38 +52,9 @@ pip install transformers>=4.51.0
pip install sentence-transformers>=2.7.0 pip install sentence-transformers>=2.7.0
``` ```
## 数据集 ## 数据集
`此处填写公开数据集名称` 暂无
- 此处填写公开数据集在公司内部的下载地址(数据集存放中心为:[SCNet AIDatasets](http://111.11.100.223:58001/ui/aihub/datasets) (非必须),模型用到的各公开数据集请分别填上具体地址。),过小权重文件可打包到项目里。
- 此处填写公开数据集官网下载地址(必须)。
此处提供数据预处理脚本的使用方法
```
python xxx.py
```
项目中已提供用于试验训练的迷你数据集,训练数据目录结构如下,用于正常训练的完整数据集请按此目录结构进行制备:
```
── dataset
│   ├── label_1
│    ├── xxx.png
│    ├── xxx.png
│ └── ...
│   └── label_2
│    ├── xxx.png
│    ├── xxx.png
│ └── ...
```
## 训练 ## 训练
一般情况下,ModelZoo上的项目提供单机训练的启动方法即可,单机多卡、单机单卡至少提供其一训练方法。 暂无
### 单机多卡
```
sh xxx.sh # 或python xxx.py
```
### 单机单卡
```
sh xxx.sh 或python xxx.py
```
## 推理 ## 推理
### vllm推理方法 ### vllm推理方法
``` ```
...@@ -131,7 +100,7 @@ DCU与GPU精度一致,推理框架:vllm。 ...@@ -131,7 +100,7 @@ DCU与GPU精度一致,推理框架:vllm。
## 预训练权重 ## 预训练权重
- [multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) - [multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large)
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
- - https://developer.sourcefind.cn/codes/modelzoo/multilingual-e5_pytorch
## 参考资料 ## 参考资料
- https://github.com/microsoft/unilm/tree/master/e5 - https://github.com/microsoft/unilm/tree/master/e5
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment