PaddlePaddle/PaddleSeg

VPD模型+下游任务(视觉感知、图像分割、深度估计)

chenjjcccc opened this issue · 0 comments

问题描述 Please describe your issue

VPD模型+下游任务(视觉感知、图像分割、深度估计)

任务描述

任务背景

  • VPD是结合Diffusion Models的图文预训练模型,可以广泛的应用于下游任务,如视觉感知、图像分割、深度估计等等,且均取得了不错的效果。可以将VPD接入PaddleSeg中,并应用于下游任务中
  1. 数据和模型、代码均已经开源。
  2. 根据开源代码进行网络结构、评估指标转换,代码链接
  3. 结合论文复现指南复现指南-新ppsigs/article-implementation/论文复现指南-新.pdf,进行前反向对齐等操作,达到论文Table.1中的指标
  4. 进行TIPC验证lite train lite infer 链条。
  5. 参考PR提交规范提交代码PR到ppseg中。

提交内容:

  1. 代码提交到PaddleSeg。可参考(#3321