Commit f37204ce authored by zhangwq5's avatar zhangwq5
Browse files

third commit

parent eadda121
......@@ -36,8 +36,6 @@ docker build --no-cache -t xxx:latest .
docker run xxx
```
### Anaconda(方法三)
此处提供本地配置、编译的详细步骤,例如:
关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.sourcefind.cn/tool/)开发者社区下载安装。
```bash
DTK: 25.04
......@@ -54,38 +52,9 @@ pip install transformers>=4.51.0
pip install sentence-transformers>=2.7.0
```
## 数据集
`此处填写公开数据集名称`
- 此处填写公开数据集在公司内部的下载地址(数据集存放中心为:[SCNet AIDatasets](http://111.11.100.223:58001/ui/aihub/datasets) (非必须),模型用到的各公开数据集请分别填上具体地址。),过小权重文件可打包到项目里。
- 此处填写公开数据集官网下载地址(必须)。
此处提供数据预处理脚本的使用方法
```
python xxx.py
```
项目中已提供用于试验训练的迷你数据集,训练数据目录结构如下,用于正常训练的完整数据集请按此目录结构进行制备:
```
── dataset
│   ├── label_1
│    ├── xxx.png
│    ├── xxx.png
│ └── ...
│   └── label_2
│    ├── xxx.png
│    ├── xxx.png
│ └── ...
```
暂无
## 训练
一般情况下,ModelZoo上的项目提供单机训练的启动方法即可,单机多卡、单机单卡至少提供其一训练方法。
### 单机多卡
```
sh xxx.sh # 或python xxx.py
```
### 单机单卡
```
sh xxx.sh 或python xxx.py
```
暂无
## 推理
### vllm推理方法
```
......@@ -131,7 +100,7 @@ DCU与GPU精度一致,推理框架:vllm。
## 预训练权重
- [multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large)
## 源码仓库及问题反馈
-
- https://developer.sourcefind.cn/codes/modelzoo/multilingual-e5_pytorch
## 参考资料
- https://github.com/microsoft/unilm/tree/master/e5
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment