/AI-EYE

AI Eye的手机端的代码。可以实现视力检测、色盲检测、散光检测等,同时基于Mediapipe开发,实现了单目摄像头的测距和手势识别。This is the android version of app named "AI-Eye" using Mediapipe. It can realize vision detection, color blindness detection, astigmatism detection, etc. At the same time, based on the development of Mediapipe, it realizes the ranging and gesture recognition of monocular camera.

Primary LanguageJava

AI EYE

总体介绍

本项目基于Mediapipe开发,开发了两个平台的APP,实现了测视力、测散光、测色盲三个主要功能模块,同时实现了测量距离(需要自定义计算图,我已经重新编译并且可以在Android上进行部署)、手势识别、测试环境亮度、连接电视等功能,并对测试的数据进行记录。本项目具有优秀的动画和交互体验(采用MotionLayout Animation TransformationLayout Lottie,比如一镜到底效果)。单击此处下载安装包。(开发了PC端的,但是没有和此处进行连接,因此不在此处展示)

结构说明

该仓库为AI EYE的代码。下图为三个APP的通信方式(不同设备之间的、不同进程之间的)



其中handtiqu为手势识别APP,它是一个独立的程序,但是无法单独运行,它在手机端的主程序中进行调用。其主要功能是建立与TV的连接,并且作为手势识别的平台,将解析的结果通过Socket传递到TV端。

VisionAI EYE的主程序端,它是整个AI EYE的核心部分。

TVAI EYETV端,可以在平板上运行(需要注意的是,TV需要有摄像头),其主要功能是和手势识别进行通信,用户通过手势和TV进行通信,从而在大屏幕上完成手势识别。

使用该程序的基本流程为:

  1. 打开主程序Vision,注册后可以使用。可以单独在该程序上面完成测量视力、测量散光、测量色盲,并且查看历史数据。
  2. 如果要在大屏幕上测试视力,需要在带有摄像头的大屏幕上如电视,安装TV端,同时在手机上安装handtiqu。安装完成后确保手机端和大屏幕同处于一个WIFI网络中。打开主程序并登录后,在主页点击TV,然后点击连接电视,扫描屏幕上的二维码。扫描成功后在主页点击手势识别,然后程序会切换到handtiqu程序,此时便可以按照提示完成测量。

代码使用说明

三个文件夹用三个Android Studio打开。

该代码编译需要在带有Bazel编译环境下进行,具体安装操作可以参考GoogleMediapipe官网,网址为www.mediapipe.dev。

由于github无法上传大于25MB的文件,因此部分文件在此处

Vision

release/mp_iris_tracking_aar.aar移动到Vision/app/libs中。

res文件夹移动到vision/app/src/main目录下。

handtiqu

release/mp_multi_hand_tracking_aar.aar移动到handTiqu/app/libs中。

TV

release/mp_iris_tracking_aar.aar移动到pad/app/libs中。

界面展示

主程序手机端































手势识别端



TV端