/signos

Uma experimentação com redes neurais e libras. Funciona como um tradutor da língua brasileira de sinais para a língua portuguesa escrita.

Primary LanguageJavaScriptMIT LicenseMIT

signos

Usando machine learning para reconhecer sinais de libras

"Libras é a sigla da Língua Brasileira de Sinais, uma língua de modalidade gestual-visual onde é possível se comunicar através de gestos, expressões faciais e corporais. É considerada uma língua oficial do Brasil desde 24 de Abril de 2002." (Libras.com)

signos é um projeto com a ml5: biblioteca de machine learning que te permite criar uma rede neural e treinar essa rede direto no navegador! 🌐

A ml5 tem vários modelos pré-treinados como um classificador de imagens, poses de um corpo e posições de mãos e dedos.
Pra fazer esse projeto eu usei o terceiro, que se chama HandPose. 🙋‍♀️

O HandPose me ajudou a identificar o que é uma mão, o que são dedos e onde estão esses elementos no vídeo.

Alt Text

Depois, eu treinei minha própria rede neural para identificar posições de dedos e mãos e o que cada uma delas significa.

Alt Text

No final, o sistema foi treinado para reconhecer os sinais "Oi", "Dúvida" e "Entendi".
Esses sinais foram registrados de acordo com o dicionário de libras (CEAD) .

Alt Text

ACESSE!

Tecnologias

Referências