Easy_sign - опенсорс проект по распознаванию Русского жестового языка, спроектированный для развёртывания через Streamlit. В проекте используется "лёгкая" ML-модель, способная работать на CPU.
Easy_sign использует ML-модель для распознавания отдельных жестов Русского жестового языка. Модель была обучена на ~180 000 примеров жестов. Приблизительно 20 000 из которых были взяты из датасета Slovo. Модель распознаёт 1598 жестов Русского жестового языка и может обеспечить распознавание 3-3.5 жестов в секунду на процессоре Intel(R) Core(TM) i5-6600 CPU @3.30GHz. Список распознаваемых жестов содержится в файле RSL_class_list.txt.
Больше информации о проекте - в статье на habr.
conda create --name fleury-env python=3.10
conda activate fleury-env
pip install -r requirements.txt
streamlit run app.py
Команда ПИН-КОД выпустила на базе easy_sign тренажёр для изучения РЖЯ. Статья на хабр, репозиторий
S3D модели, обученные на датасете Slovo для различного количества кадров, подаваемых на вход.
| Кол-во кадров | Ссылка | Mean accuracy, % |
|---|---|---|
| 32 | https://sc.link/l8VTi | 44.22 |
| 48 | https://sc.link/GSojW | 52.28 |
| 64 | https://sc.link/fhLfd | 55.86 |
This work is licensed under the Creative Commons Attribution-ShareAlike 4.0 International License.
