jphacks/hs_2404

taskEcho

製品概要

背景(製品開発のきっかけ、課題等）

授業中に先生の話を聞き逃したときに限って、課題の説明をしていることがあったから

製品説明（具体的な製品の説明）

• web上でリアルタイムに音声を認識し、その中のキーワードに反応して画面が点滅
• 音声認識した内容を要約
• 時刻情報を表す単語(「今日」や具体的な日付)に反応して、Googleカレンダーの画面が開く(自動的にスケジュールを作ってくれるようになる予定)

特長

1. 重要な話をしているタイミングを知らせてくれる

2. 要約を比較的短期で出してくれる

taskEcho.mp4

3. すぐにタスクをカレンダーに追加できる(タブは無限に開く)

2024-10-27.154848.mp4

解決出来ること

• 集中が途切れ、重要な話を聞き逃さないようにすることができる
• タスクをすぐ追加するので忘れない

今後の展望

• キーワードを自由に設定できるようにすることで汎用性を上げる
• 学生だけでなく、社会人も対象にしたい
  • 急に話を振られたときに質問や直前の話の内容を知ることができる
• カレンダーへの追加まで自動化したい
• 常に画面を開いている必要があるので、バックグランドで動く機能やノート機能を付ける

注力したこと（こだわり等）

• キーワードの認識速度

開発技術

活用した技術

API・データ

• Google Speech To Text
• Gemini
• gooラボAPI 時刻情報正規化API

フレームワーク・ライブラリ・モジュール

• Flutter
• Flask

デバイス

• pc
• (スマートフォン)

独自技術

事前開発

• Google Speech To Textによる音声の文字起こし

ハッカソンで開発した独自機能・技術

• web上での変換結果表示
• キーワードの検出
• 生成AIによる要約
• 時刻情報を検知してgoogleカレンダーを開く