/tfjs-cam-control

Primary LanguageJavaScript

Webcam UI Controllers

Данный проект содержит 2 демо проэкта с Andersen Front-End Hero митапа

Install

  • clone git project
  • npm install

Demo 1

Реализация трансферного обучения для игры в камень-ножницы-бумага. В качестве урезанной сети - MobileNet. Основная сеть - 2 dense (плотных) слоя

Run project

  • npm run demo:start
  • open in live server src/demo_1/index.html

How to use

  • необходимо собрать тестовые данные. нажать на кнопку класса (камень-ножницы-бумага) и дальше будет трекинг с камеры, 100 кадров, раз в 10 миллисекунд
  • так для всех 3х жестов
  • нажать train, увидеть как уменьшается loss
  • нажать play
  • profit

Demo 2

Реализизация рекуррентной сети для распознавания и классификации последовательности данных. В этом демо необходимо распознавать последовательность кадров взятых с камеры (длина последовательности - 20) и классифицировать это как некий жест подающий команду в пользовательский интерфейс. В качестве вспомогательной сети использовался tensorflow-models/handpose. Основная сеть - это 1 lstm (long-short-term-memory) слой и 2 dense (плотных) слоя.

Run project

  • npm run demo:start
  • open in live server src/demo_2/index.html

How to use

  • необходимо собрать тестовые данные. нажать на кнопку жеста и произвести его. уведить что увеличился счетчик возле конкретного жеста.
  • желательно собрать как можно больше тестовых данных (50+ для каждого жеста)
  • нажать train, увидеть как уменьшается loss
  • нажать play
  • profit