duozhang/Evision

计算机视觉实践和探索/Practice and explorations in computer vision.

Evision 双目视觉系统

演示视频

如果您觉得有帮助,请为该项目点star.以便于及时收到最新更新.您的star就是对我最好的鼓励.

如果您有问题要反馈,请使用Github的issues功能,请尽量不要发邮件!作者可能无法及时回复您的邮件!使用issues可以为后来者提供相似问题的解决思路,您将成为Evision的开源贡献者!

Introduction:

1. 双目系统的标定,畸变校正,视差,三维重建,距离测量等.
   
2. 基于Yolo的实时目标检测.
   
3. ELAS,ADCensus视差算法.
   
4. 关于双目的中文资料重复度太高,希望各位后来者能够吸取前人精华,摒弃前人的糟粕,多多自行探索,不要抄来抄去
   
5. 关于程序使用方面的问题,可以联系邮件jiafeng5513@outlook.com,有关课程设计和毕业论文(Windows程序开发,机器视觉,深度学习,图像处理)也可以联系作者
   

目录

• Introduction:
• 目录 - 1.Dependencies - 2.Directory_specification - 3.build - 4.Deprecated_Version - 5.双目设备 - 6.参考文献 - 7.未来计划

1.Dependencies

1. Qt :5.13.2.
   
2. OpenCV : 4.1.2.
   
3. (可选的)PCL 1.9.1(不使用PCL,将不能使用Evision3dViz和保存点云的功能).
   
4. (可选的)CUDA 10.2(不使用CUDA,将无法使用目标检测模块).
   
5. (可选的)NVIDIA显卡.
   
6. Windows(test pass) or Ubuntu(build pass).
   

2.Directory_specification

1. data文件夹存储测试用例.
   
2. doc文件夹中存储的是文档和文档中所用的图片等资源.
   
3. package文件夹存储项目所需的依赖.
   
4. props中存储的是属性表
   
5. scripts文件夹存储编译脚本.
   
6. src文件夹中存放代码文件.
   
7. legacy文件夹中存放的是一些有一定保留价值的弃用模块.
   

• props和scripts是作者开发期间使用的,对于使用者没有实际意义.
  
• package中含有pthread的window版本,将会在未来改为使用CMake管理.
  

3.build

1. 笔者使用CMake 3.15构建Visual Studio解决方案,并使用Visual Studio 2019完成开发.
   
2. 如果是Linux用户,或者不习惯使用VS,推荐使用CLion.
   
3. 目前Evision只能在Windows上运行,将会支持跨平台.
   
4. Evision目前由5个模块组成:
   1. Evision是Qt版的Evision主程序,生成目标是可执行程序.
      
   2. Evision3dViz是点云模块,提供3维点云的观看和一些其他操作,依赖PCL和VTK.
      
   3. EvisionADCensus是ADCensus视差算法模块.
      
   4. EvisionElas是Elas视差算法模块.
      
   5. EvisionObjDetection是目标检测模块,依赖CUDA.
      
5. build方案:
   1. ./src/目录下面含有的CMakeLists.txt,Evision基于CMake3.15编写,请使用版本大于等于3.13.X的CMake.
      
   2. Evision是只能工作在64位下,另外如果您不是很熟悉CMake,推荐使用CMake GUI.
   3. 在CMake GUI中打开ObjectDetection和PointCloudViewer的开关,就会build目标检测和点云显示模块,并会询问相关的依赖路径.
      
   4. Evision依赖Qt和OpenCV,请正确安装并设置环境变量;此外如果开启了ObjectDetection,需要安装CUDA(版本不低于10.0),如果开启了PointCloudViewer,需要安装PCL

4.Deprecated_Version

1. MFC版本.演示视频.
   基于邹宇华老师的StereoVision编写.如有需要推荐访问邹宇华老师原版或者在本项目的Release中寻找,由于使用的依赖较为陈旧,强烈不建议继续使用或进行二次开发.
   
2. CvLabMain和CvLabSandbox(C#版本)
   
   • 用VS打开src/CvLib.sln,将会看到两个工程,该版本存在的目的是为了记录在C#平台上实现相似功能的方法,并没有实现Evision的全部功能,一般情况下不会更新,不推荐使用.
     
   1. CvLabMain是用WPF框架写的.
      
   2. CvLabSandbox是用WinFrom写的.
      
   3. Docking风格MDI界面
      
   4. 使用MVP设计模式,交互基于双向数据绑定
      
   5. 运行时为.NET 4.6.1,依赖采用Nuget下载
      
   6. packages:
      

      1.AForge.2.2.5
      2.AForge.Video.2.2.5
      3.AForge.Video.DirectShow.2.2.5
      4.EMGU.CV.3.3.0.2824
      5.cskin.16.1.14.3
      6.WeifenLuo.WinFormsUI.Docking.2.1.0
      7.ZedGraph.5.1.5
      

5.双目设备

1. 需要注意的是,视差效果,点云效果和精度和设备关系非常大,图片的分辨率越高,光照条件越好,畸变越小,一致性越好,最终效果也就越好.此外,两个相机的距离(基线长度)会影响系统的有效范围,一般来讲,基线越长的双目系统越容易获取远处目标的视差,延长基线能够一定程度上(因为有效距离和相机的焦段也有关)将系统的有效范围拉得更远,但同时,基线越长,盲区(距离相机过近的目标不会同时出现在两个视野中)也越大.
2. 推荐的双目系统:
   1. ZED/RealSense/MYNTEYE小觅相机.这是成熟(昂贵)的商业产品,出厂带有高精度的标定数据和功能强大的SDK,而且还带有IMU,IR主动光学等辅助设备,适合做SLAM,笔者认为购买这类相机是最节约时间成本的方法.
      
   2. 双目开发板.淘宝上有很多这类产品,价格比ZED那类便宜很多,同时他们带的SDK也要更简陋,有些甚至只支持UVC协议没有SDK,但是他们至少能够控制两侧相机同时拍照,同时基线是固定的,能免去一些麻烦,需要注意的是,这种开发板大多数会输出一张左右视图拼在一起的图片
      
   3. 两个工业相机组装.这种方案并不便宜,但是比较自由,可以自己调整基线和光轴指向.
      
      
   4. USB相机组装.这是最便宜的方案,只要买两个一样的USB相机,然后想办法把他们固定起来就可以了,但是便宜的USB相机画质比较有限,噪点比较多,而且无法控制两个相机同时拍照,再加上有效距离比较有限,会很大程度上限值效果,此外,由于两个相机固定的不稳定等原因可能出现移动,这会使标定失效,或者由于标定过程中的滑动直接导致标定失败.作者建议,在经济条件允许的情况下,尽量不要采用这种方案
      

6.参考文献

1. 相机标定+畸变矫正
2. DarkNet
3. DarkNet_Windows
4. StdoutRedirector
5. ADCensus论文阅读笔记
6. ADCensus阅读笔记2
7. 邹宇华CSDN
8. 浅墨CSDN
9. Mei X, Sun X, Zhou M, et al. On building an accurate stereo matching system on graphics hardware[C]//2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops). IEEE, 2011: 467-474.
10. Geiger, Andreas, Martin Roser, and Raquel Urtasun. "Efficient large-scale stereo matching." Asian conference on computer vision. Springer, Berlin, Heidelberg, 2010.
11. Zhang K, Fang Y, Min D, et al. Cross-scale cost aggregation for stereo matching[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2014: 1590-1597.
12. Martull, Sarah, Martin Peris, and Kazuhiro Fukui. "Realistic CG stereo image dataset with ground truth disparity maps." ICPR workshop TrakMark2012. Vol. 111. No. 430. 2012.
13. Hirschmuller H. Stereo processing by semiglobal matching and mutual information[J]. IEEE Transactions on pattern analysis and machine intelligence, 2008, 30(2): 328-341.
14. 视差算法
15. warpped libelas with opencv and used pangolin as GUI

7.未来计划

1. 参考.
   
2. 移除目标检测部分的代码,相关功能将会在新的仓库进行后续开发.
   
3. UI和功能的进一步剥离,对于所有UI能实现的功能,应该都有对应的命令行方法.