Commit 767ca979 authored by dcuai's avatar dcuai
Browse files

Update README—dtk24.04.1

parent a767cef0
......@@ -19,15 +19,14 @@ GLM是一个开放的双语(中英)双向密集模型,使用通用语言
### Docker(方法一)
```
docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-ubuntu22.04-dtk23.10.1-py310
docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-ubuntu20.04-dtk24.04.1-py3.10
docker run -it -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro --shm-size=64G --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name fingpt <your imageID> bash
docker run -it -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro --network=host --shm-size=64G --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name fingpt <your imageID> bash
cd /path/your_code_data/
pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
pip install deepspeed-0.12.3+gitfe61783.abi0.dtk2310.torch2.1.0a0-cp310-cp310-manylinux2014_x86_64.whl
```
### Dockerfile(方法二)
......@@ -36,16 +35,15 @@ cd /path/your_code_data/docker
docker build --no-cache -t fingpt:latest .
docker run --shm-size=64G --name fingpt -v /opt/hyhal:/opt/hyhal:ro --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video -v /path/your_code_data/:/path/your_code_data/ -it fingpt bash
docker run --shm-size=64G --name fingpt -v /opt/hyhal:/opt/hyhal:ro --network=host --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video -v /path/your_code_data/:/path/your_code_data/ -it fingpt bash
pip install deepspeed-0.12.3+gitfe61783.abi0.dtk2310.torch2.1.0a0-cp310-cp310-manylinux2014_x86_64.whl
```
### Anaconda(方法三)
关于本项目DCU显卡所需的特殊深度学习库可从光合开发者社区下载安装:
https://developer.hpccube.com/tool/
```
DTK驱动:dtk23.10
DTK驱动:dtk24.04.1
python:python3.10
torch: 2.1.0
torchvision: 0.16.0
......@@ -81,7 +79,7 @@ pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple
python data_process.py
```
项目中已提供用于试验训练的迷你数据集,训练数据目录结构如下,用于正常训练的完整数据集请按此目录结构进行制备:
训练数据目录结构如下,用于正常训练的完整数据集请按此目录结构进行制备:
```
── dataset
│   ├── dataset_new
......@@ -96,6 +94,8 @@ python data_process.py
│ └── dataset_new.jsonl   
│   
```
项目中已提供用于试验训练的迷你数据集,即脚本中的默认数据集路径[LLaMA-Factory-main/data](https://developer.sourcefind.cn/codes/modelzoo/fingpt-glm_pytorch/-/tree/main/LLaMA-Factory-main/data)
## 训练
根据实际情况在脚本中修改权重相关路径
......@@ -121,6 +121,15 @@ python inference_FinGPT.py
<img src="./figs/single_task_cn.png"/>
</div>
### 精度
测试数据:[twitter-financial-news-sentiment](../FinGPT/dataset/dataset_new.jsonl),使用的加速卡:V100S/K100。
根据测试结果情况填写表格:
| device | train_loss |eval_los |
| :------: | :------: | :------: |
| V100s | 0.371248 | 0.06542 |
| K100 | 0.371148 | 0.06536 |
## 应用场景
### 算法类别
`对话问答`
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment