/gesture-recognition

利用卷积神经网络实时识别手势动作(有界面窗口)

Primary LanguagePython

利用卷积神经网络实时识别手势动作

一共识别5种手势动作

  1. 剪刀动作 2.石头动作 3.布动作 4.OK动作 5.good动作

项目文件

项目文件列表如下:

  1. data:存放训练集、测试集,实时保存的图像(用于在线检测)。
  2. ges_ico:存放UI窗口使用的各种图标。
  3. log:存放训练的CNN网络的模型参数。
  4. CallFrame.py:界面窗口的逻辑文件,用来调用界面文件并编写信号与槽函数。
  5. Frame.py:界面窗口的界面文件,通过PyQt5的designer工具生成。
  6. GetTestImage.py:利用OpenCV获取图片并标记,用来制作测试集。
  7. GetTrainImage.py:利用OpenCV获取图片并标记,用来制作训练集。
  8. SaveGesture.py:利用OpenCV实时获取图片,并进行预处理,用于在线检测手势。
  9. TestGesture.py:将实时获取的图片送入已训练好的CNN中判断其手势动作。
  10. TestInTest.py:将测试集送入已训练好的CNN中判断该网络模型的准确率。
  11. Train.py:训练CNN模型函数,并将训练好的模型参数保存在本地。
  12. Train_inputdata.py:用来读取数据集的图像和标签,并打包成batch形式。
  13. Train_model.py:模型结构,采用AlexNet结构。

使用方法

先用Train.py训练好模型参数,然后运行CallFrame.py调用出界面窗口, 点击窗口的相应按钮就可以在线检测手势动作,其中的执行手势按钮是和下位机通信(如STM32单片机), 通过串口函数将识别结果传给下位机,实现根据手势动作控制的功能。

测试结果:

使用该模型训练到900步的时候在测试集上正确率可以稳定在95%左右。
(训练集:1,2,3,4号动作各有1300张照片,5号动作有1450张照片;测试集:每种动作各有200张照片)

未来改进:

(1)图像预处理多一些如去除背景
(2)在线检测图像的时候加一个预选框。

详细说明与调参过程见我的CSDN: https://blog.csdn.net/Amigo_1997