Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
VITA_pytorch
Commits
78f552f2
Commit
78f552f2
authored
Apr 17, 2025
by
chenzk
Browse files
Update url.md
parent
ffcd4891
Changes
1
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
1 addition
and
3 deletions
+1
-3
README.md
README.md
+1
-3
No files found.
README.md
View file @
78f552f2
...
...
@@ -85,7 +85,7 @@ chmod +x /usr/local/lib/python3.10/site-packages/gradio/frpc_linux_amd64_v0.3
```
## 数据集
[
ShareGPT4V
](
http://
113.200.138.88:18080/aidatasets/project-dependency/l
in-
c
hen/ShareGPT4V
.git
)
、
[
coco2017
](
http://
113.200.138.88:18080/aidatasets/coco2017.git
)
、
[
LLaVA-Pretrain
](
http://
113.200.138.88:18080/ai
datasets/liuhaotian/
llava-p
retrain
.git
)
、
`sam`
、
`web-celebrity`
等为需要的公共数据集,其中,后面一些数据集可向论文作者咨询下载源,
`自建数据集custom`
为用户在自己应用场景微调需要自己制作的数据集,
`input_wavs`
为custom需要的音频文件,
`input_imgs`
为custom需要的图像文件,它们用于prompt,以上数据集皆不影响推理。
[
ShareGPT4V
](
http
s
://
huggingface.co/datasets/L
in-
C
hen/ShareGPT4V
)
、
[
coco2017
](
http
s
://
cocodataset.org/#home
)
、
[
LLaVA-Pretrain
](
http
s
://
huggingface.co/
datasets/liuhaotian/
LLaVA-P
retrain
)
、
`sam`
、
`web-celebrity`
等为需要的公共数据集,其中,后面一些数据集可向论文作者咨询下载源,
`自建数据集custom`
为用户在自己应用场景微调需要自己制作的数据集,
`input_wavs`
为custom需要的音频文件,
`input_imgs`
为custom需要的图像文件,它们用于prompt,以上数据集皆不影响推理。
1、用户在自己应用场景微调所需数据集按如下方式制作json文件
`custom.json`
,json中的数据为多模态配对数据,其中set:
`sharegpt4`
是提示加载图像或视频数据的关键字。
```
...
...
@@ -202,8 +202,6 @@ DCU与GPU精度一致,推理框架:pytorch。
└── InternViT-300M-448px
```
预训练权重快速下载中心:
[
SCNet AIModels
](
http://113.200.138.88:18080/aimodels
)
,项目中的预训练权重可从快速下载通道下载:
[
VITA/VITA_ckpt
](
http://113.200.138.88:18080/aimodels/vita-mllm/VITA.git
)
、
[
InternViT-300M-448px
](
http://113.200.138.88:18080/aimodels/opengvlab/InternViT-300M-448px.git
)
。
Hugging Face下载地址为:
[
VITA/VITA_ckpt
](
https://huggingface.co/VITA-MLLM/VITA
)
、
[
InternViT-300M-448px
](
https://huggingface.co/OpenGVLab/InternViT-300M-448px
)
。
## 源码仓库及问题反馈
-
http://developer.sourcefind.cn/codes/modelzoo/vita_pytorch.git
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment