/semana-Javascript-7.0-ml-tensorflow

Projeto feito no evento semana JS expert ao lado do @Erickwendel. Usando somente JS e ML(machine learning) para usar os olhos e os gestos das mãos ao lado do front-end sem o uso do back-end.

Primary LanguageJavaScript

Semana-Javascript-7.0

Projeto desenvolvido durante a Semana Javascript 7.0, evento organizado por Erick Wendel

Sobre o projeto

O projeto consiste em uma aplicação web a onde que é possivel usar a webcam com ML(Machine learning) para identificar os gestos de mão e assim controlar a aplicação. Para que isso seja possivel foi utilizado a biblioteca fingerpose para manipular os dados que chega do tensorflow, que por baixo dos panos utiliza a API tensorflow.js para receber os dados no front-end e que por sua vez ela utiliza por de baixo dos panos a biblioteca mediapipe, sendo que uma abstrai a outra. Com isso, facilitando a integração de ML no front-end sem o uso de back-end para fazer a gestão dele. E para complementar o projeto foi usado workers, injeção de dependência com factories e MVC com a camada service usando js vanilla.

As funcionalidades iniciais fazendo gestos com a mão para mexer na tela é: descer a tela, clicar em algum elemento da tela, piscar os olhos para iniciar o video etc.

Certificado:

Tecnologias utilizadas

  • HTML
  • CSS
  • Javascript
  • Fingerpose
    • Tensorflow.js
      • Mediapipe
  • pseudo-styler

Como executar o projeto

  • npm i
  • npm run start
  • Tenha uma camera conectada ao pc/notebook e permita o acesso a ela

Para testar o projeto final:

👨‍💻 Autor: