K-popは今や若者に人気のジャンルの一つであり、今も熱中している人、これからK-pop見てみたいなと言う人は多いですが、「みんな同じ顔に見える」というのはよくある悩みです。これはK-popのアイドルのメンバーのビジュアルが似通っていることや服装・髪型・容姿が様々で同一人物であることの認識が難しいことに原因があります。これは「推しの姿がわからない」という問題のみならず、まだメンバーの見分けがつかない新規参入ファンにとって課題であり、場合によっては挫折すらしてしまうことがあります。 この課題に着目し、推し(お気に入りのメンバー)をより簡単に認識できるツールを開発しました。
この製品はK-popの動画をアップロードすると、画像解析し、人物の顔の近くに名札を表示した動画を返します。これで、K-popを楽しみながらメンバーも顔を覚えていくことができるので、新規参入ファンが楽しくK-popにハマっていけます。
YOLOv11モデルを使用することで複数人が映るシーンでも高精度な顔認識と名札の表示ができます。自作のアノテーションデータを活用することで、K-popに特化した高い認識精度を提供します。
ユーザーがアップロードした動画をサーバーで処理し、各人物の顔に名札を表示した動画を出力します。これにより、MVやパフォーマンス映像で推しメンバーを簡単に識別できます。
Webアプリを通じて動画をアップロードし、簡単に処理結果をダウンロードできるようになっています。
「みんな同じ顔に見える」というのを名札をつけることで解決できます。
対応できるアイドルグループの数を増やし、さまざまなK-popで適応できるようにしたいと思っています。さらに、サッカーや野球といったスポーツ中継や舞台など、K-pop以外の映像でも人物の識別に利用したいと考えています。
また、事前のアノテーションがあるという条件で、リアルタイム処理の実現を目指しています。
- 高精度な人物認識
- 名札の見やすい配置
- aespaのデータセットの作成
- 自作のKpopアノテーションデータセット
- YOLOv11
- OpenCV
- Flask
- Webブラウザ
-
オフライン名札表示アルゴリズム：YOLOv11を用いた高精度な人物認識と、名札の安定した表示を可能にする独自アルゴリズム ミュージックビデオでは頻繁に人物の位置や画角が変わるため、一般的な物体検知では特定の人物をトラッキングし続け安定して名札を表示させることは難しい。 そこで、本プロダクトでは、画面の切り替わりを検出する機構、過去のフレームでの位置情報を活用し名札の表示位置を安定化させる機構、確信度によって名札を固定化する機構などを組み込んだ。
-
特に力を入れた部分をファイルリンク、またはcommit_idを記載してください。