Куратор: Антон Яковенко (СПбПУ) Участники: Антон Голубев (СПбПУ), Анастасия Купцова (НИУ ВШЭ), Кристина Ушакова (ИТМО, БФУ им. И. Канта)
Машинный слух представляет способность интеллектуальной вычислительной системы воспринимать и интерпретировать звуковую информацию в манере, свойственной человеку, т.е. выполнять обработку, анализ и синтез сенсорных данных. Отличительной чертой систем машинного слуха от более традиционных систем обработки акустических данных является биологически инспирированный подход: для параметризации входного сигнала применяется имитационное моделирование периферического отдела слуховой сенсорной системы. Практический интерес к такому подходу с одной стороны обусловлен необходимостью создания помехоустойчивого признакового описания речевых сигналов в задачах распознавания, а с другой – созданием естественных человеко-машинных интерфейсов нового поколения, которые могли бы найти своё применение в слуховом нейропротезировании и кохлеарной имплантации, устройствах, позволяющих обойти повреждённые участки нервной системы, транслируя информацию из сенсоров в головной мозг. К настоящему времени, в отличие от машинного зрения, машинный слух находится на начальной стадии своего развития. Однако, это перспективная область для исследований, поскольку при относительно слабой изученности наблюдается повышенный спрос на решение задач в области его применения. Целью проекта является реализация алгоритмов извлечения речевой информации посредством обработки и анализа активности ансамблей волокон слухового нерва. Работа предусматривает использование имитационной модели слуховой периферии и согласование её выходов с нейрокомпьютерной системой для классификации сложных звуковых стимулов на примере гласных фонем.
Задачи проекта
- Обзор и описание модели слуховой периферии
- Получение данных: имитационное моделирование реакции слухового нерва
- Признаковое описание речевого сигнала
- Обзор алгоритмов для решения задачи классификации
- Программная реализация
- Проведение численного эксперимента и оценка результатов.