/2021_f

Primary LanguagePythonMIT LicenseMIT

KC3Hack 2021 F チーム

reviewdog deploy MIT License

KC3Hack

応対撃退サイレン君

プロダクト説明

応対撃退サイレン君はインターホンの自動応対 bot です。

音声をインターフェースとした応対を可能とし,怠惰なあなたを助けます。

インターホンが鳴った時,「今は手が離せない」「ヘッドフォンを付けているため気づかない」...などの経験はありませんか?

アプリから設定するだけで,あなたに合った bot が迅速に作れます。

使用技術

PC 常駐アプリ

Nuxt.js と Electron を用いたネイティブアプリケーションです。

友人知人の時はドアを解錠,宅配の時は置き配をお願いする,などの設定をすることができる他,条件によってサイレンを鳴らすことも可能です。

中間サーバ

PC 常駐アプリとドアホン専用機の仲介を担います。

それぞれと Websocket で通信をし,設定の更新や応対音声の再生命令などを担当します。

音声認識サーバ

本音声認識サーバは

  1. 1~9の数字の認識
  2. 大語彙音声認識

の機能を提供します。

音声認識の基本的な手法は,下記の通りです。

  1. スペクトルサブトラクション法で背景雑音を除去
  2. SN 比を用いた音声区間検出
  3. MFCC に変換
  4. CNN で認識

応対撃退サイレン君が設定に応じて「友人知人の方は 1 を,宅配業者の方は 2 を...」のように応対した後,来客が発した音声を認識することが目的です。

ドアホン専用機

ここでは音声の録音やドアの自動解錠,ユーザへの通知(中間サーバを経由)などを行います。

音声合成にはdocomo APIを使用しました。

Contributers