This repository contains code reproductions of existing state-of-the-art image fusion models, our work is still in progress.
| 方法 | 标题 | 论文 | 代码 | 发表期刊或会议 | 基础框架 | 监督范式 | 发表年份 | 引用量 | 复现情况 |
|---|---|---|---|---|---|---|---|---|---|
| DenseFuse | DenseFuse: A Fusion Approach to Infrared and Visible Images | Paper | Code | TIP | AE | 自监督 | 2019 | 569 | ✓ |
| FusionGAN | FusionGAN: A generative adversarial network for infrared and visible image fusion | Paper | Code | InfFus | GAN | 无监督 | 2019 | 711 | |
| DDcGAN | Learning a Generative Model for Fusing Infrared and Visible Images via Conditional Generative Adversarial Network with Dual Discriminators | Paper | Code | IJCAI | GAN | 无监督 | 2019 | 51 | |
| NestFuse | NestFuse: An Infrared and Visible Image Fusion Architecture Based on Nest Connection and Spatial/Channel Attention Models | Paper | Code | TIM | AE | 自监督 | 2020 | 125 | ✓ |
| DDcGAN | DDcGAN: A dual-discriminator conditional generative adversarial network for multi-resolution image fusion | Paper | Code | TIP | GAN | 无监督 | 2020 | 307 | ✓ |
| DIDFuse | DIDFuse: Deep Image Decomposition for Infrared and Visible Image Fusion | Paper | Code | IJCAI | AE | 自监督 | 2020 | 40 | |
| RFN-Nest | RFN-Nest: An end-to-end residual fusion network for infrared and visible images | Paper | Code | InfFus | AE | 自监督 | 2021 | 112 | ✓ |
| CSF | Classification Saliency-Based Rule for Visible and Infrared Image Fusion | Paper | Code | TCI | AE | 自监督 | 2021 | 19 | |
| DRF | DRF: Disentangled Representation for Visible and Infrared Image Fusion | Paper | Code | TIM | AE | 自监督 | 2021 | 41 | |
| SEDRFuse | SEDRFuse: A Symmetric Encoder–Decoder With Residual Block Network for Infrared and Visible Image Fusion | Paper | Code | TIM | AE | 自监督 | 2021 | 43 | ✓ |
| MFEIF | Learning a Deep Multi-Scale Feature Ensemble and an Edge-Attention Guidance for Image Fusion | Paper | TCSVT | AE | 自监督 | 2021 | 38 | ||
| Meta-Learning | Different Input Resolutions and Arbitrary Output Resolution: A Meta Learning-Based Deep Framework for Infrared and Visible Image Fusion | Paper | TIP | CNN | 无监督 | 2021 | 15 | ||
| RXDNFuse | RXDNFuse: A aggregated residual dense network for infrared and visible image fusion | Paper | Code | InfFus | CNN | 无监督 | 2021 | 27 | |
| STDFusionNet | STDFusionNet: An Infrared and Visible Image Fusion Network Based on Salient Target Detection | Paper | Code | TIM | CNN | 无监督 | 2021 | 67 | |
| D2LE | A Bilevel Integrated Model With Data-Driven Layer Ensemble for Multi-Modality Image Fusion | Paper | TIP | CNN | 无监督 | 2021 | 33 | ||
| HAF | Searching a Hierarchically Aggregated Fusion Architecture for Fast Multi-Modality Image Fusion | Paper | Code | ACM MM | CNN | 无监督 | 2021 | 5 | |
| SDDGAN | Semantic-supervised Infrared and Visible Image Fusion via a Dual-discriminator Generative Adversarial Network | Paper | Code | TMM | GAN | 无监督 | 2021 | 7 | |
| Detail-GAN | Infrared and visible image fusion via detail preserving adversarial learning | Paper | Code | InfFus | GAN | 无监督 | 2021 | 206 | |
| Perception-GAN | Image fusion based on generative adversarial network consistent with perception | Paper | Code | InfFus | GAN | 无监督 | 2021 | 28 | |
| GAN-FM | GAN-FM: Infrared and Visible Image Fusion Using GAN With Full-Scale Skip Connection and Dual Markovian Discriminators | Paper | Code | TCI | GAN | 无监督 | 2021 | 19 | |
| AttentionFGAN | AttentionFGAN: Infrared and Visible Image Fusion Using Attention-Based Generative Adversarial Networks | Paper | TMM | GAN | 无监督 | 2021 | 71 | ||
| GANMcC | GANMcC: A Generative Adversarial Network With Multiclassification Constraints for Infrared and Visible Image Fusion | Paper | Code | TIM | GAN | 无监督 | 2021 | 109 | |
| MgAN-Fuse | Multigrained Attention Network for Infrared and Visible Image Fusion | Paper | TIM | GAN | 无监督 | 2021 | 30 | ||
| TC-GAN | Infrared and Visible Image Fusion via Texture Conditional Generative Adversarial Network | Paper | TCSVT | GAN | 无监督 | 2021 | 23 | ||
| AUIF | Efficient and model-based infrared and visible image fusion via algorithm unrolling | Paper | Code | TCSVT | AE | 自监督 | 2021 | 14 | |
| TarDAL | Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection | Paper | Code | CVPR | GAN | 无监督 | 2022 | 21 | ✓ |
| RFNet | RFNet: Unsupervised Network for Mutually Reinforcing Multi-modal Image Registration and Fusion | Paper | Code | CVPR | CNN | 无监督 | 2022 | 7 | |
| SeAFusion | Image fusion in the loop of high-level vision tasks: A semantic-aware real-time infrared and visible image fusion network | Paper | Code | InfFus | CNN | 无监督 | 2022 | 52 | |
| PIAFusion | PIAFusion: A progressive infrared and visible image fusion network based on illumination aware | Paper | Code | InfFus | CNN | 无监督 | 2022 | 20 | |
| UMF-CMGR | Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration | Paper | Code | IJCAI | CNN | 无监督 | 2022 | 11 | |
| DetFusion | DetFusion: A Detection-driven Infrared and Visible Image Fusion Network | Paper | Code | ACM MM | CNN | 无监督 | 2022 | 2 | |
| DIVFusion | DIVFusion: Darkness-free infrared and visible image fusion | Paper | Code | InfFus | CNN | 无监督 | 2023 | 1 |
M3FD 包含高分辨率的红外和可见图像，涵盖各种场景下的不同对象类型 我们将 M3FD 中的所有 4200 个对齐对分为四种典型类型，即 Daytime、Overcast、Night 和 Challenge，其中有 10 个子场景如图 4 所示。同时，我们注释了 6 个类别的 33603 个对象，即 人像 , 汽车, 公共汽车, 摩托车, 卡车和灯, 常见于监控和自动驾驶。 M3FD 的数量和多样性为通过融合图像学习和评估目标检测提供了可能性。
下载地址
谷歌盘https://drive.google.com/drive/folders/1H-oO7bgRuVFYDcMGvxstT1nmy0WF_Y_6?usp=sharing
百度云https://pan.baidu.com/s/1GoJrrl_mn2HNQVDSUdPCrw?pwd=M3FD
LLVIP数据集包含 30976 张图像即15488 对，其中大部分是在非常黑暗的场景下拍摄的，并且所有图像在时间和空间上都严格对齐，且数据集中的行人被标记。
● 用于低光视觉的可见红外配对数据集
● 30976 张图像（15488 对）
● 24个黑暗场景，2个白天场景
● 支持图像到图像的转换（可见光到红外线，或红外线到可见光）、可见光和红外图像融合、弱光行人检测和红外行人检测
下载地址
谷歌盘
源数据raw：https://drive.google.com/u/0/uc?id=1a0zNvj1mBh1v_HFWJ43LFbNEq8YLXB9-&export=download
对齐数据：https://drive.google.com/u/0/uc?id=1Jmm0Id-rZbmCj6JmJIzv5ld_scM6dkCt&export=download
注册下载：https://bupt-ai-cz.github.io/LLVIP/
IRVI数据集，具体来说，它有12个连续的车辆和监控场景视频片段，红外和可见光视频都可以分割成24352帧。综合实验验证，I2V-GAN 在翻译 I2V 视频方面优于对比的 SOTA 方法，具有更高的流畅度和更精细的语义细节。
下载地址
谷歌盘https://drive.google.com/file/d/1ZcJ0EfF5n_uqtsLc7-8hJgTcr2zHSXY3/view?usp=sharing
百度云https://pan.baidu.com/s/1og7bcuVDModuBJhEQXWPxg?pwd=IRVI
COCO 是一个大规模的对象检测、分割和字幕数据集。COCO有几个特点：
● 对象分割
● 上下文识别
● 超像素东西分割
● 330K 图像（>200K 标记）
● 150 万个对象实例
● 80 个对象类别
● 91个东西类别
● 每张图片 5 个标题
● 25万人有重点
下载地址
coco128
coco128-账号密码：pimat87260@letpays.com
直链地址：https://ultralytics.com/assets/coco128.zip
https://paperswithcode.com/sota/object-detection-on-coco
coco
https://cocodataset.org/#download
TNO 多带图像收集系统提供了不同军事和监视场景的强化视觉(390-700nm) ，近红外(700-1000nm)和长波红外(8-12μm)夜间图像，显示不同的物体和目标(例如人，车辆)在不同的背景(例如农村，城市)。该数据集可用于开发静态和动态图像融合算法、颜色融合算法、多光谱目标检测和识别算法以及弱小目标检测算法。
下载地址
https://figshare.com/articles/dataset/TNO_Image_Fusion_Dataset/1008029
INO数据集是由加拿大光学研究所发布的, 它包含了几对在不同天气和环境下的可见光和红外视频。比如：BackyardRunner、CoatDeposit、GroupFight、MulitpleDeposit 等。在对预训练模型测试过程中，一般从几个视频序列中随机挑选一些帧来验证模型的有效性。
下载地址
直链地址：https://inostorage.blob.core.windows.net/media/1546/ino_crossroads.zip
RoadScene 数据集包含221 对红外和可见光图像，它们选自于FLIR 视频序列，包含了丰富的生活场景，比如：马路、交通工具、行人等。该数据集对原始的红外图像的背景热噪声进行了预处理，并准确对齐红外和可见光图像对，最终裁剪出精确的配准区域以形成该数据集。
下载地址
直链地址：https://github.com/hanna-xu/RoadScene/archive/refs/heads/master.zip
MFNet 数据集包含 1,569 个图像对（白天拍摄的 820 个，夜间拍摄的 749 个），空间分辨率为 480 × 640。但是，MFNet 数据集中存在许多未对齐的图像对，并且大多数红外图像的信噪比较低和低对比度。为此，我们首先通过移除 125 个未对齐的图像对来收集 715 个白天图像对和 729 个夜间图像对。此外，利用基于暗通道先验的图像增强算法来优化红外图像的对比度和信噪比。因此，发布了新的多光谱道路场景（MSRS) 数据集包含 1,444 对对齐的高质量红外和可见图像。
下载地址
MSRS直链地址:https://github.com/Linfeng-Tang/MSRS/archive/refs/heads/main.zip
MFNet数据集：https://drive.google.com/drive/folders/1YtEMiUC8sC0iL9rONNv96n5jWuIsWrVY?usp=sharing
该数据集提供了带注释的热成像数据集和对应的无注释RGB图像，用于训练和验证神经网络。数据是由安装在车上的RGB相机和热成像相机获取的。
数据集总共包含14452张红外图像，其中10228张来自多个短视频；4224张来自一个长为144s的视频。所有视频都来自街道和高速路。大多数图片的采样率为1秒两帧，其中视频的帧率为1秒30帧；少数环境中目标较少时，采样率为1秒1帧。
下载地址：https://pan.baidu.com/s/11GJe4MdM_NH6fuENCQ2MtQ 提取码:019b
官方网站：https://www.flir.com/oem/adas/adas-dataset-form/
KAIST行人数据集总共包括95328张图片，每张图片都包含RGB彩色图像和红外图像两个版本。总共包含103128个密集注释。数据集分别在白天和晚上捕获了包括校园、街道以及乡下的各种常规交通场景。图片大小为640×480。数据集总共分为12个文件夹set00-set11。前6个文件夹为训练集包含50187张图片，后6个文件夹为测试集包含45141张图片。
下载地址：https://github.com/SoonminHwang/rgbt-ped-detection/blob/master/data/README.md
OTCBVS 数据集用于测试和评估一些新颖和先进的计算机视觉算法，它包括了多个子数据集，比如：热目标行人数据集、红外与可见光人脸数据集、自动驾驶数据集、红外与可见光行人数据集等。其中红外与可见光行人数据集拍摄于俄亥俄州立大学校园内繁忙的道路交叉口，包含了17 089 对红外与可见光图像对，图像大小为320×240。
下载地址
https://kings.blog.csdn.net/article/details/109052006
https://blog.csdn.net/warningm_dm/article/details/120137977
Visible-Infrared Database
专为研究图像融合问题而设计的可见红外数据库，可用于红外线和可见光序列同步并配准，包含原始(未同步和未对齐）、已同步且未对齐、对齐的三类图像对，Camouflage[伪装]、Lab: Indoor、Patio: Outdoor、Guanabara Bay: Outdoor、Hangar[机库]、Trees6个场景。
下载地址
https://www02.smt.ufrj.br/~fusion/
我们的总结参考了仓库(https://github.com/Linfeng-Tang/Image-Fusion):