Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
XrayGLM_pytorch
Commits
db3f60b0
Commit
db3f60b0
authored
Dec 03, 2024
by
dcuai
Browse files
Update README.md
parent
12f8806d
Changes
1
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
30 additions
and
29 deletions
+30
-29
README.md
README.md
+30
-29
No files found.
README.md
View file @
db3f60b0
# 介绍
# XrayGLM
通用领域的大语言模型 (LLM),例如 ChatGPT,在遵循指令和产生类似人类响应方面取得了显著的成功,这种成功间接促进了多模态大模型的研究和发展,如通用领域的多模态大模型MiniGPT-4、mPLUG-Owl、Multimodal-GPT和LLaVA ,然而,此类多模态大模型却很少出现在医学领域的研究中,阻碍了相关研究发展。visual-med-alpaca虽然在医学多模态大模型方面做出了一些很有成效的工作,然而其数据为英文诊断报告,不利于促进中文领域医学多模态大模型的研究发展。为此,我们开发了XrayGLM以解决上述问题。XrayGLM在医学影像诊断和多轮交互对话上显示出了非凡的潜力。
## 论文
-
此处填写算法论文的在线pdf地址
## 模型结构
# 模型结构
通用领域的大语言模型 (LLM),例如 ChatGPT,在遵循指令和产生类似人类响应方面取得了显著的成功,这种成功间接促进了多模态大模型的研究和发展,如通用领域的多模态大模型MiniGPT-4、mPLUG-Owl、Multimodal-GPT和LLaVA ,然而,此类多模态大模型却很少出现在医学领域的研究中,阻碍了相关研究发展。visual-med-alpaca虽然在医学多模态大模型方面做出了一些很有成效的工作,然而其数据为英文诊断报告,不利于促进中文领域医学多模态大模型的研究发展。为此,我们开发了XrayGLM以解决上述问题。XrayGLM在医学影像诊断和多轮交互对话上显示出了非凡的潜力。借助ChatGPT以及公开的数据集,构造了一个X光影像-诊断报告对的医学多模态数据集;把数据集分为TP和FN。
借助ChatGPT以及公开的数据集,构造了一个X光影像-诊断报告对的医学多模态数据集;把数据集分为TP和FN。


## 算法原理
# 算法原理
诊断数据集在VisualGLM-6B进行微调训练, 最后输出对胸片的询问结果
诊断数据集在VisualGLM-6B进行微调训练, 最后输出对胸片的询问结果


# 环境配置
#
# 环境配置
Docker(方式一)
###
Docker(方式一)
推荐使用docker方式运行,提供拉取的docker镜像:
推荐使用docker方式运行,提供拉取的docker镜像:
```
```
...
@@ -30,7 +28,7 @@ docker exec -it xrayglm /bin/bash
...
@@ -30,7 +28,7 @@ docker exec -it xrayglm /bin/bash
pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
```
```
Dockerfile(方式二)
###
Dockerfile(方式二)
```
```
docker build -t xrayglm:latest .
docker build -t xrayglm:latest .
...
@@ -39,7 +37,7 @@ docker exec -it xrayglm /bin/bash
...
@@ -39,7 +37,7 @@ docker exec -it xrayglm /bin/bash
```
```
Conda(方式三)
###
Conda(方式三)
1.
创建conda虚拟环境:
1.
创建conda虚拟环境:
...
@@ -64,24 +62,17 @@ python setup.py install
...
@@ -64,24 +62,17 @@ python setup.py install
pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
```
```
# 数据集
#
# 数据集
暂无
暂无
# 训练
#
# 训练
暂无
暂无
# 推理
## 推理
## 模型
需下载模型 xrayGLM-300和visualglm-6b模型
-
[
checkpoints-XrayGLM-300
](
https://huggingface.co/wangrongsheng/XrayGLM-300/tree/main
)
-
[
visualglm-6b
](
http://113.200.138.88:18080/aimodels/visualglm-6b
)
##
cli推理
cli推理
根据需要修改预训练模型以及cli_demo.py中48行visualglm-6b模型的位置
根据需要修改预训练模型以及cli_demo.py中48行visualglm-6b模型的位置
...
@@ -89,31 +80,41 @@ pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trus
...
@@ -89,31 +80,41 @@ pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trus
python cli_demo.py --from_pretrained checkpoints/checkpoints-XrayGLM-300 --prompt_zh '详细描述这张胸部X光片的诊断结果'
python cli_demo.py --from_pretrained checkpoints/checkpoints-XrayGLM-300 --prompt_zh '详细描述这张胸部X光片的诊断结果'
```
```
## 精度
## result
### 精度


# 算法类别
#
# 算法类别
NLP
NLP
## 应用场景
##
#
应用场景
科研
科研
## 热点应用行业
##
#
热点应用行业
科研 医疗 教育
科研 医疗 教育
# 源码仓库及问题反馈
## 预训练模型
需下载模型 xrayGLM-300和visualglm-6b模型
-
[
checkpoints-XrayGLM-300
](
https://huggingface.co/wangrongsheng/XrayGLM-300/tree/main
)
-
[
visualglm-6b
](
http://113.200.138.88:18080/aimodels/visualglm-6b
)
## 源码仓库及问题反馈
http://developer.sourcefind.cn/codes/modelzoo/xrayglm.git
http://developer.sourcefind.cn/codes/modelzoo/xrayglm.git
# 参考资料
#
# 参考资料
https://github.com/WangRongsheng/XrayGLM.git
https://github.com/WangRongsheng/XrayGLM.git
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment