English | 简体中文
本项目仓库是论文 RS-Mamba for Large Remote Sensing Image Dense Prediction 的代码实现,在 VMamba 项目环境的基础上进行开发。
如果你觉得本项目对你有帮助,请给我们一个 star ⭐️。
主要贡献
- 首次将状态空间模型(SSM)引入遥感密集预测任务,实现了模型的线性复杂度
- 相较于之前的无法全局建模的CNN模型和无法处理大遥感图像的transformer模型,RS-Mamba在能够全局建模的情况下只具有线性复杂度,因此能够处理保留了大量上下文信息的大遥感图像
- 语义分割和变化检测任务上的实验证明了,使用简单的模型架构和训练方法的RS-Mamba能够达到SOTA,具有很大的潜力
🌟 2024.03.29 发布了 RS-Mamba 项目
- 开源模型代码
- 开源训练框架
步骤 1:按照Vmamba项目的环境安装指示,安装好"rs_mamba"环境
步骤 2:运行以下命令安装依赖包
如果你只需要使用模型代码,则不需要这一步.
pip install -r requirements.txt
- 数据集下载地址:Massachusetts Roads 数据集。
- 数据集下载地址: WHU 数据集。
你需要将数据集组织成如下的格式:
${DATASET_ROOT} # 数据集根目录,
├── train
├── image
└── 0001.tif
└── 0002.tif
└── ...
├── label
└── 0001.tif
└── 0002.tif
└── ...
├── val
├── image
└──0001.tif
└── 0002.tif
└── ...
├── label
├── 0001.tif
└── 0002.tif
└── ...
├── test
├── image
└── 0001.tif
└── 0002.tif
└── ...
├── label
└── 0001.tif
└── 0002.tif
└── ...
- 数据集下载地址:WHU-CD 数据集。
- 数据集下载地址: LEVIR-CD 数据集。
你需要将数据集组织成如下的格式:
${DATASET_ROOT} # 数据集根目录,
├── train
├── t1
└── 0001.tif
└── 0002.tif
└── ...
├── t2
└── 0001.tif
└── 0002.tif
└── ...
├── label
└── 0001.tif
└── 0002.tif
└── ...
├── val
├── t1
└── 0001.tif
└── 0002.tif
└── ...
├── t2
└── 0001.tif
└── 0002.tif
└── ...
├── label
├── 0001.tif
└── 0002.tif
└── ...
├── test
├── t1
└── 0001.tif
└── 0002.tif
└── ...
├── t2
└── 0001.tif
└── 0002.tif
└── ...
├── label
└── 0001.tif
└── 0002.tif
└── ...
我们在这里列出了使用时的一些常见问题及其相应的解决方案,后续如果issue中有经常出现的问题,也会在这里列出来。
可以参考VMamba的issue102, issue95, 我的做法是询问GPT4之后,得到了可行的解决方法,使用conda更新GCC即可,相关询问和回答在这里.
可以参考VMamba的issue55, selective_scan_cuda不是必要的
如果你在研究中使用了本项目的代码或者性能基准,请参考如下 bibtex 引用 RSMamba。
xxxx
该项目采用 Apache 2.0 开源许可证。
关于这篇论文的中文解读,你可以参照这篇知乎文章
关于SSM和Mamba的学习,可以参照这两篇知乎回答:如何理解 Mamba 模型 Selective State Spaces?, 如何理解语言模型的训练和推理复杂度?