Commit db3f60b0 authored by dcuai's avatar dcuai
Browse files

Update README.md

parent 12f8806d
# 介绍 # XrayGLM
通用领域的大语言模型 (LLM),例如 ChatGPT,在遵循指令和产生类似人类响应方面取得了显著的成功,这种成功间接促进了多模态大模型的研究和发展,如通用领域的多模态大模型MiniGPT-4、mPLUG-Owl、Multimodal-GPT和LLaVA ,然而,此类多模态大模型却很少出现在医学领域的研究中,阻碍了相关研究发展。visual-med-alpaca虽然在医学多模态大模型方面做出了一些很有成效的工作,然而其数据为英文诊断报告,不利于促进中文领域医学多模态大模型的研究发展。为此,我们开发了XrayGLM以解决上述问题。XrayGLM在医学影像诊断和多轮交互对话上显示出了非凡的潜力。 ## 论文
- 此处填写算法论文的在线pdf地址
## 模型结构
# 模型结构 通用领域的大语言模型 (LLM),例如 ChatGPT,在遵循指令和产生类似人类响应方面取得了显著的成功,这种成功间接促进了多模态大模型的研究和发展,如通用领域的多模态大模型MiniGPT-4、mPLUG-Owl、Multimodal-GPT和LLaVA ,然而,此类多模态大模型却很少出现在医学领域的研究中,阻碍了相关研究发展。visual-med-alpaca虽然在医学多模态大模型方面做出了一些很有成效的工作,然而其数据为英文诊断报告,不利于促进中文领域医学多模态大模型的研究发展。为此,我们开发了XrayGLM以解决上述问题。XrayGLM在医学影像诊断和多轮交互对话上显示出了非凡的潜力。借助ChatGPT以及公开的数据集,构造了一个X光影像-诊断报告对的医学多模态数据集;把数据集分为TP和FN。
借助ChatGPT以及公开的数据集,构造了一个X光影像-诊断报告对的医学多模态数据集;把数据集分为TP和FN。
![Alt text](./images/image2.png) ![Alt text](./images/image2.png)
## 算法原理
# 算法原理
诊断数据集在VisualGLM-6B进行微调训练, 最后输出对胸片的询问结果 诊断数据集在VisualGLM-6B进行微调训练, 最后输出对胸片的询问结果
![Alt text](./images/image1.png) ![Alt text](./images/image1.png)
# 环境配置 ## 环境配置
Docker(方式一) ### Docker(方式一)
推荐使用docker方式运行,提供拉取的docker镜像: 推荐使用docker方式运行,提供拉取的docker镜像:
``` ```
...@@ -30,7 +28,7 @@ docker exec -it xrayglm /bin/bash ...@@ -30,7 +28,7 @@ docker exec -it xrayglm /bin/bash
pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
``` ```
Dockerfile(方式二) ### Dockerfile(方式二)
``` ```
docker build -t xrayglm:latest . docker build -t xrayglm:latest .
...@@ -39,7 +37,7 @@ docker exec -it xrayglm /bin/bash ...@@ -39,7 +37,7 @@ docker exec -it xrayglm /bin/bash
``` ```
Conda(方式三) ### Conda(方式三)
1.创建conda虚拟环境: 1.创建conda虚拟环境:
...@@ -64,24 +62,17 @@ python setup.py install ...@@ -64,24 +62,17 @@ python setup.py install
pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
``` ```
# 数据集 ## 数据集
暂无 暂无
# 训练 ## 训练
暂无 暂无
# 推理 ## 推理
## 模型
需下载模型 xrayGLM-300和visualglm-6b模型
- [checkpoints-XrayGLM-300](https://huggingface.co/wangrongsheng/XrayGLM-300/tree/main)
- [visualglm-6b](http://113.200.138.88:18080/aimodels/visualglm-6b)
## cli推理 cli推理
根据需要修改预训练模型以及cli_demo.py中48行visualglm-6b模型的位置 根据需要修改预训练模型以及cli_demo.py中48行visualglm-6b模型的位置
...@@ -89,31 +80,41 @@ pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trus ...@@ -89,31 +80,41 @@ pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trus
python cli_demo.py --from_pretrained checkpoints/checkpoints-XrayGLM-300 --prompt_zh '详细描述这张胸部X光片的诊断结果' python cli_demo.py --from_pretrained checkpoints/checkpoints-XrayGLM-300 --prompt_zh '详细描述这张胸部X光片的诊断结果'
``` ```
## 精度 ## result
### 精度
![Alt text](./images/image3.png) ![Alt text](./images/image3.png)
# 算法类别 ## 算法类别
NLP NLP
## 应用场景 ### 应用场景
科研 科研
## 热点应用行业 ### 热点应用行业
科研 医疗 教育 科研 医疗 教育
# 源码仓库及问题反馈 ## 预训练模型
需下载模型 xrayGLM-300和visualglm-6b模型
- [checkpoints-XrayGLM-300](https://huggingface.co/wangrongsheng/XrayGLM-300/tree/main)
- [visualglm-6b](http://113.200.138.88:18080/aimodels/visualglm-6b)
## 源码仓库及问题反馈
http://developer.sourcefind.cn/codes/modelzoo/xrayglm.git http://developer.sourcefind.cn/codes/modelzoo/xrayglm.git
# 参考资料 ## 参考资料
https://github.com/WangRongsheng/XrayGLM.git https://github.com/WangRongsheng/XrayGLM.git
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment