Commit e25524e9 authored by dongchy920's avatar dongchy920
Browse files

Update README.md, icon.png, model.properties files

parent 4a835b73
......@@ -68,6 +68,9 @@ export HF_ENDPOINT=https://hf-mirror.com
```
## 数据集
下载[ScienceQA](https://huggingface.co/datasets/derek-thomas/ScienceQA/tree/main)数据集
SCNet快速下载链接:
- http://113.200.138.88:18080/aimodels/findsource-dependency/vicuna-13b-v1.1
对ScienceQA进行预处理:
```
# 修改预处理代码中scienceqa数据集解压位置
......@@ -79,6 +82,12 @@ python scienceqa_data_preprocess.py
```
## 训练
使用预训练权重[vicuna-7b-v1.1](https://huggingface.co/lmsys/vicuna-7b-v1.1)或者[vicuna-13b-v1.1](https://huggingface.co/lmsys/vicuna-13b-v1.1)进行LoRA微调
SCNet vicuna-7b-v1.1快速下载链接:
- http://113.200.138.88:18080/aimodels/findsource-dependency/minigpt-4
SCNet vicuna-13b-v1.1快速下载链接:
- http://113.200.138.88:18080/aimodels/findsource-dependency/vicuna-13b-v1.1
修改lavis/config/datasets/scienceqa/default.yaml的数据集路径
开始训练:
......@@ -115,7 +124,7 @@ python projects/instructblip/run_demo.py
## 应用场景
### 算法类别
多模态
文生图
### 热点应用行业
AIGC,设计,教育
......
icon.png

64.5 KB

......@@ -5,7 +5,7 @@ modelName=InstructBLIP_pytorch
# 模型描述
modelDescription=InstructBLIP是BLIP系列的最新模型,将LLM领域的指令微调技术应用到视觉语言多模态领域中,在多项视觉和语言任务取得SOTA。
# 应用场景
appScenario=推理,训练,多模态,AIGC,设计,教育
appScenario=推理,训练,文生图,AIGC,设计,教育
# 框架类型
frameType=pytorch
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment