/obstacle-detection

Auxílio a Deficientes Visuais Utilizando Redes Neurais Convolucionais - Iniciação científica da FIFE/FEF

Primary LanguagePython

AUXÍLIO A DEFICIENTES VISUAIS UTILIZANDO REDES NEURAIS CONVOLUCIONAIS

Este projeto propõe a extração de características utilizando redes neurais convolucionais (VGG16 + VGG19) previamente treinadas por uma base de imagem disponibilizada pelo Google (ImageNET), e a classificação utilizando o modelo de aprendizado supervisionado (SVM), a partir de um conjunto de imagens disponibilizada em tempo real por um aplicativo android que será desenvolvido a fim de capturação das imagens em tempo real.

image

O Aplicativo android possui a função de enviar imagens do caminho a ser trilhado pelo deficiente visual para a API Flask, essa API conta com duas CNNs (VGG16 + VGG19) previamente treinadas pela base de dados do Google (ImageNET), essas CNNs possuem o objetivo de extrair as caracteristicas da imagem recebida, e, com essas caracteristicas, realizar a classificação da imagem, utilizando nosso modelo de aprendizado supervisionado (SVM), também já previamente treinado. O resultado fornecido pelo SVM (0 - caminho com obstáculo | 1 - caminho livre ) será devolvido para o APP Android, que terá a responsábilidade de definir a forma de emitir essa informação para o deficiente vísual.

image

Demonstração do APP:

image

Resultados:

A partir da análise dos dados preparou-se uma matriz de confusão para demonstrar o resultado, onde os casos verdadeiros são as imagens que possuem obstáculos e falsos determinam são os de caminho livre.

image

Deste modo temos uma acurácia calculada de 75,3% de acertos, e uma especificidade que apura o percentual de acertos de negativos entre os casos negativos de 61,7% e uma sensibilidade que mede a taxa de acertos de casos positivos entre todas as amostras positivas de 94,9%, ou seja, o modelo proposto de acordo com os testes realizados nos demonstra uma melhor detecção em situações que a imagem capturada possui algum obstáculo. Verificando-se a eficiência que é a média entre as taxas de sensibilidade e especificidade temos uma taxa de 78,3%.

Considerando-se os métodos e abordagens utilizadas, percebeu-se que apesar da taxa de acurácia de 75,3% pode-se implementar outras abordagens de algoritmos, sensores e tecnologias para a busca de melhoria na predição desejada.

Apresentação real do framework no link abaixo:

Documentação do projeto no link abaixo:

Qualificacao_Iniciacao.pdf

Participantes:

Desenvolvedores: Gabirel Minguini Sanga e João Mauricio Gallego Polo
Orientador: Jefferson Antônio Ribeiro Passerini