Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
ImageGenerate_paddle
Commits
fb1c6cbf
Commit
fb1c6cbf
authored
Jul 17, 2023
by
dengjb
Browse files
update readme
parent
d8864e63
Changes
3
Hide whitespace changes
Inline
Side-by-side
Showing
3 changed files
with
39 additions
and
34 deletions
+39
-34
README.md
README.md
+39
-34
resources/pic_readme/model.png
resources/pic_readme/model.png
+0
-0
resources/pic_readme/text_inversion.jpg
resources/pic_readme/text_inversion.jpg
+0
-0
No files found.
README.md
View file @
fb1c6cbf
# ImageGenerate by paddle
# ImageGenerate by paddle
## 模型介绍
##
一、
模型介绍
文图生成模型-【使用
文生图、图生图进行图像的生成
】
基于stable diffusion的网络模型实现-
文生图、图生图
等
进行图像的生成
主要分享如何定制自己的文图生成模型,只需要几张图片,即可定制开发自己想要的文图生成模型。
主要分享如何定制自己的文图生成模型,只需要几张图片,即可定制开发自己想要的文图生成模型。
文图生成任务要求模型根据所提供的描述性文本生成一张与之相对应的图片。这极大地释放了AI的想象力,也激发了人类的创意,给视觉内容创作者、文字内容创作者和大众用户带来了方便。用户可以生成多样化创意图片,并从中汲取创意灵感,打破创意瓶颈,从而可以进行创作出更优质的作品。
文图生成任务要求模型根据所提供的描述性文本生成一张与之相对应的图片。这极大地释放了AI的想象力,也激发了人类的创意,给视觉内容创作者、文字内容创作者和大众用户带来了方便。用户可以生成多样化创意图片,并从中汲取创意灵感,打破创意瓶颈,从而可以进行创作出更优质的作品。
## 模型结构
### 1.1 模型结构
!
[
模型图
](
./resources/pic_readme/model.png
)
## 二、模型结构
文生图、图生图使用模型[MoososCap/NOVEL-MODEL]:
文生图、图生图使用模型[MoososCap/NOVEL-MODEL]:
默认使用该模型进行文生图、图生图等功能实现,也可切换其他模型
默认使用该模型进行文生图、图生图等功能实现,也可切换其他模型
-
MoososCap/NOVEL-MODEL:
-
MoososCap/NOVEL-MODEL:
...
@@ -20,40 +22,43 @@ falsr_a,falsr_b,falsr_c,falsr 三个超分模型
...
@@ -20,40 +22,43 @@ falsr_a,falsr_b,falsr_c,falsr 三个超分模型
[
论文地址
](
https://arxiv.org/abs/1901.07261
)
[
论文地址
](
https://arxiv.org/abs/1901.07261
)


## 推理和训练
##
三、
推理和训练
### 环境配置
###
3.1
环境配置
提供
[
光源
](
https://www.sourcefind.cn/#/service-details
)
拉取的训练以及推理的docker镜像:
提供
[
光源
](
https://www.sourcefind.cn/#/service-details
)
拉取的训练以及推理的docker镜像:
*
推理和训练镜像:
*
3.1.1 下载推理和训练镜像:
```
bash
*
python依赖安装:
docker pull image.sourcefind.cn:5000/dcu/admin/base/paddlepaddle:2.4.2-centos7.6-dtk-23.04-py39-latest
```
bash
```
*
3.1.2 python依赖安装:
```
bash
pip
install
-r
requirement.txt
pip
install
-r
requirement.txt
```
```
### 测试
###
3.2
测试
测试命令:
3.
2.1
测试命令:
-
测试环境、功能是否够能够正常
-
测试环境、功能是否够能够正常
```
python
```
python
python
varify
.
py
python
varify
.
py
```
```
### 推理\训练代码
###
3.3
推理\训练代码
【使用jupyter进行推理】
3.
3.1
【使用jupyter进行推理】
命令-jupyter:
命令-jupyter:
-
运行main.ipynb
-
运行main.ipynb
-
根据提示步骤运行推理、训练代码
-
根据提示步骤运行推理、训练代码
### 预训练模型
### 3.4 使用预训练模型定制化训练图像生成模型
预训练模型采用[MoososCap/NOVEL-MODEL]
#### 3.4.1 预训练模型采用[MoososCap/NOVEL-MODEL]
-
MoososCap/NOVEL-MODEL:
命令-jupyter:
-
feature_extractor/preprocessor_config.json
-
运行main.ipynb
-
model_index.json
-
根据提示步骤运行推理、训练代码
-
scheduler/scheduler_config.json
#### 3.4.2 使用starble diffusion-text_inversion方法进行训练
-
text_encoder/[model_config.json,model_state.pdparams]
-
论文arxiv:
[
论文
](
https://arxiv.org/abs/2208.01618
)
-
tokenizer/[added_tokens.json,merges.txt,special_tokens_map.json,tokenizer_config.json,vocab.json]
-
训练过程图解:
-
unet/[config.json,model_state.pdparams]

-
vae/[config.json, model_state.pdparams]
## 生成效果
##
四、
生成效果
| 文生图 | 图生图 | 定制化训练 |
| 文生图 | 图生图 | 定制化训练 |
| :----: | :-----: | :------: |
| :----: | :-----: | :------: |
...
@@ -62,7 +67,7 @@ python varify.py
...
@@ -62,7 +67,7 @@ python varify.py
## 源码仓库及问题反馈
##
五、
源码仓库及问题反馈
*
https://developer.hpccube.com/codes/modelzoo/imagegenerate_paddle
*
https://developer.hpccube.com/codes/modelzoo/imagegenerate_paddle
## 参考
##
六、
参考
*
https://aistudio.baidu.com/aistudio/projectdetail/4905623
*
https://aistudio.baidu.com/aistudio/projectdetail/4905623
resources/pic_readme/model.png
0 → 100644
View file @
fb1c6cbf
1.12 MB
resources/pic_readme/text_inversion.jpg
0 → 100644
View file @
fb1c6cbf
101 KB
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment