创建 dataset
文件夹,将数据集放入这个文件夹。数据集下载:百度网盘 | 源地址
接着在 dataset
中创建一个 layout
文件夹
然后在 models
文件夹中放入 GoogleNews-vectors-negative300.bin
,下载链接:GoogleNews-vectors
最终项目结构如下:
.
├── README.md
├── assets
├── dataset
│ ├── annotations
│ ├── images
│ └── layout
├── fonts
├── models
│ ├── GoogleNews-vectors-negative300.bin
│ └── Instr.md
├── utils
├── layout_gn.py
├── multi_en.py
├── playgound.py
├── recover.py
└── train.py
首先运行 multi_en.py
生成多模态融合向量,结果将生成至 ./models/multimodal.pt
中。
然后运行 train.py
即可在 ./dataset/layout
文件夹中看到生成结果
./utils/read_data.py
基础的读取各个数据的模块
./utils/settings.py
全局的一些配置,包括颜色,布局尺寸
multi_en.py
多模态融合网络
layout_en.py
布局生成网络
recover.py
从布局信息生成布局图片,比如从数据集的layout标注中生成布局图片,也可以从3*60*45的Tensor生成布局图片
train.py
网络训练(未完成)
playground.py
测试用的模块
原始数据集中的布局(fashion_0030):
网格化后(60*45)的布局:
从初始网络中生成的 Tensor 转换后的布局: