载入固件

下载arduino
安装驱动程序 Windows系统中，你需要为Arduino安装驱动配置文件，才可正常驱动Arduino。打开arduino文件夹——>driver 运行dpinst-amd64.exe（32位系统运行dpinst-x86.exe）
设备驱动器——>其他设备——>CP2102...——>在arduino文件夹搜索驱动安装
用arduino打开固件文件 esp32-cam使用教程[Arduino IDE开发]_哔哩哔哩_bilibili
配置ESP32-CAM环境 arduino-esp32-cam环境配置文件——>首选项——>附加开发板管理器添加网址：https://dl.espressif.com/dl/package_esp32_index.json

工具——>开发板——>开发板管理器搜索ESP32，安装

工具→端口选择对应端口
上传程序。确认接线正确后点击上传按钮。编译结束后开始上传程序。
运行固件打开串口监视器，断开GND和IO0接线，按下复位按键等待串口返回网址
查看监控与开发板在同一局域网中的设备可在浏览器中输入串口返回的网址启动视频服务。在网站界面最下方点击“Start Stream”开始传输视频流

固件修改

根据自己的实际需要，可对代码进行修改

1. 删除OV3660

若不使用3660摄像头，可删除一下运行OV3660代码

app_httpd.cpp中

 if (s->id.PID == OV3660_PID) {
	 return httpd_resp_send(req, (const char *)index_ov3660_html_gz, index_ov3660_html_gz_len);
 }

camera_index.h中

//File: index_ov3660.html.gz, Size: 4408
#define index_ov3660_html_gz_len 4408
const uint8_t index_ov3660_html_gz[] = {
......
......
};

OV2640同理

2. 将ESP32作为热点软连接

第130行

  WiFi.begin(ssid, password);

  while (WiFi.status() != WL_CONNECTED) {
    delay(500);
    Serial.print(".");
  }
  Serial.println("");
  Serial.println("WiFi connected");

改为

  WiFi.softAP(ssid, password);

此时之前输入的名称和密码为该热点的名称和密码

3. 将camera_index.h文件解压为html

html文件传到浏览器过程中是可以先压缩为GZIP格式的文件再传输的，压缩文件传输到浏览器后，会自动解压后再渲染出来，这样可以大大减少网络传输的压力。若需要查看或修改网页，可以利用Split, From Hex, Gunzip - CyberChef (gchq.github.io)网站工具将camera_index.h中的十六进制代码转化为html语言。

输入的十六进制代码不应当含有空格和换行，否则会转换失败

可能的问题

1. 连接失败

可能是由于上传代码时IO0没有接地。

2. 串口监视器输出乱码

串口监视器选择115200波特率

3. 串口输出省略号

若串口一直输出省略号 .................................... 而不输出网址，可能是由于开发板未连接上对应网络。检查网络是否开启，网络名称、密码是否有误

4. 无法进行人脸检测

将app_httpd.cpp中286行开始的四个free改成dl_lib_free，第385行开始的四个free改成dl_lib_free

        draw_face_boxes(image_matrix, net_boxes, face_id);
        free(net_boxes->score);
        free(net_boxes->box);
        free(net_boxes->landmark);
        free(net_boxes);

改为

        draw_face_boxes(image_matrix, net_boxes, face_id);
        dl_lib_free(net_boxes->score);
        dl_lib_free(net_boxes->box);
        dl_lib_free(net_boxes->landmark);
        dl_lib_free(net_boxes);

以及第385行

                                dl_lib_free(net_boxes->score);
                                dl_lib_free(net_boxes->box);
                                dl_lib_free(net_boxes->landmark);
                                dl_lib_free(net_boxes);

数字识别

1. 图像预处理

1.1 转化为灰度图

图像灰度化的目的是为了简化矩阵，剔除对图像识别无用的色彩信息，提高运算速度。或是为图像二值化做准备。可通过以下两种方法将RGB图像转化为灰度图

直接将RGB图像转化为灰度图适用于数字与背景亮度相差较大的图像

gray_img = cv.cvtColor(img, cv.COLOR_RGB2GRAY)

将RGB图像中某一通道提取出来作为灰度图适用于数字与背景颜色相差较大的图像

# 将绿色通道图像转化为灰度图
a,gray_img,b=  cv.split(img)

1.2 高斯滤波

高斯滤波的目的是消除图像中的噪声，避免噪声对数字识别造成干扰

gauss_img = cv.GaussianBlur(gray_img, (5, 5), 0)

1.3 自适应均衡化

自适应均衡化的目的是提高图像的对比度，使数字的辨识度更高

# clahe = cv.createCLAHE(clipLimit=2.0, tileGridSize=(8, 8))
# clahe_img = clahe.apply(gauss_img)
# bf.cv_show('gray_img && gauss_img', np.hstack((gray_img, gauss_img)))

1.4 二值化

二值化是图像变得简单，数据量减小，有利于计算机对图像进一步处理。同时还能突出ROI

_, binary_img = cv.threshold(gauss_img, 0, 255, cv.THRESH_OTSU | cv.THRESH_BINARY)

1.5 透视变换

1.6* 膨胀

对于类似于数码管的数字，数字本身并不是一个连通图，这会程序无法通过轮廓正确识别数字范围。利用膨胀可以将一个数字的各个部分连通为一个整体。

对于白色的数字，应该使用膨胀使其各部分相连。若数字是黑色，则应该使用腐蚀注意，过度膨胀可能会导致相邻数字相连，无法分割

    Mat dilateImage;
    Mat element = getStructuringElement(MORPH_RECT, Size(10, 10));                      
    dilate(binaryImage, dilateImage, element);

2. 识别数字

2.1 识别轮廓

识别二值化图像中的轮廓

contours, hierachy = cv.findContours(morph_close_1, cv.RETR_EXTERNAL, cv.CHAIN_APPROX_SIMPLE)

2.2 定位轮廓位置

2.3 识别轮廓中的数字

以下是我归纳的三种数字识别的方法，三种方法的适用范围不同，读者可自行选用合适的方法

穿线法对于八段数码管式数字，可以通过判断每个数码管区域是否被点亮，进而判断出数字。

int TubeIdentification(Mat inputmat) // 穿线法判断数码管a、b、c、d、e、f、g、  
{  
    int tube = 0;  
    int tubo_roi[7][4] =  
    {  
        { inputmat.rows * 0 / 3, inputmat.rows * 1 / 3, inputmat.cols * 1 / 2, inputmat.cols * 1 / 2 }, // a  
        { inputmat.rows * 1 / 3, inputmat.rows * 1 / 3, inputmat.cols * 2 / 3, inputmat.cols - 1     }, // b  
        { inputmat.rows * 2 / 3, inputmat.rows * 2 / 3, inputmat.cols * 2 / 3, inputmat.cols - 1     }, // c  
        { inputmat.rows * 2 / 3, inputmat.rows - 1    , inputmat.cols * 1 / 2, inputmat.cols * 1 / 2 }, // d  
        { inputmat.rows * 2 / 3, inputmat.rows * 2 / 3, inputmat.cols * 0 / 3, inputmat.cols * 1 / 3 }, // e  
        { inputmat.rows * 1 / 3, inputmat.rows * 1 / 3, inputmat.cols * 0 / 3, inputmat.cols * 1 / 3 }, // f  
        { inputmat.rows * 1 / 3, inputmat.rows * 2 / 3, inputmat.cols * 1 / 2, inputmat.cols * 1 / 2 }, // g  
    };  
  
    if (inputmat.rows / inputmat.cols > 2)   // 1 is special, which is much narrower than others  
    {  
        tube = 6;  
    }  
    else  
    {  
        for (int i = 0; i < 7; i++)  
        {  
  
            if (Iswhite(inputmat, tubo_roi[i][0] , tubo_roi[i][1], tubo_roi[i][2], tubo_roi[i][3]))  
                tube = tube + (int)pow(2, i);  
        }  
    }  
  
    switch (tube)  
    {  
        case  63: return 0;  break;  
        case   6: return 1;  break;  
        case  91: return 2;  break;  
        case  79: return 3;  break;  
        case 102: return 4;  break;  
        case 109: return 5;  break;  
        case 125: return 6;  break;  
        case   7: return 7;  break;  
        case 127: return 8;  break;  
        case 111: return 9;  break;  
  
        default: return -1;  
    }  
}

模板匹配
神经网络

补充

1. 引脚

VCC：模拟信号电源，电路供电电压 VDD：数字信号电源，芯片供电电压 5V：5V供电引脚 3V3：3.3V供电引脚 VCC：输出电源引脚。默认输出3.3V。若要输出5V电压，需要将VCC引脚旁的焊盘中3.3V连接线断开并焊接5V焊盘 U0R、U0T：（GPIO3、GPIO1）用于上传代码并与上位机通信。上传代码后可以连接其他外围设备（输出或传感器），但是将无法打开串行监视器 IO0：（GPIO0）用于确定开发板是否处于闪烁模式，改引脚内部连接至10k欧姆电阻。当GPIO0连接至GND时，ESP32进入闪烁模式，此时可以将代码上传至开发板上。ESP32正常运行之前，需要将GPIO0与GND断开。

#define PWDN_GPIO_NUM  32  
#define RESET_GPIO_NUM -1  // 重置
#define XCLK_GPIO_NUM  0  // GPIO 22：时钟
#define SIOD_GPIO_NUM  26  // GPIO 26：SDA
#define SIOC_GPIO_NUM  27  // GPIO 27：SCL
#define Y9_GPIO_NUM    35  // GPIO 35：D7
#define Y8_GPIO_NUM    34  // GPIO 34：D6
#define Y7_GPIO_NUM    39  // GPIO 39：D5
#define Y6_GPIO_NUM    36  // GPIO 36：D4
#define Y5_GPIO_NUM    21  // GPIO 21：D3
#define Y4_GPIO_NUM    19  // GPIO 19：D2
#define Y3_GPIO_NUM    18  // GPIO 18：D1
#define Y2_GPIO_NUM    5  // GPIO 5：D0
#define VSYNC_GPIO_NUM 25  // GPIO 25：垂直同步
#define HREF_GPIO_NUM  23  // GPIO 23：HREF
#define PCLK_GPIO_NUM  22  // GPIO 22：时钟