An object detection camera device M5StickV software for LEGO Mindstroms 51515 Robot Inventor and LEGO Spike Prime 45678
M5tickVをLEGO Mindstroms 51515 Robot InventorとLEGO Spike Prime 45678の物体認識センサーとして利用できるようにするソフトウェアです。
このソフトウェアを利用することで、以下のムービーのような賢い眼をもったロボットを簡単に作ることができるようになります。
裏側では深層学習が利用されていますが、深層学習の知識がなくても大丈夫です。
例えば、先ほどのムービーの3つの機能を持ったロボットは以下のScratchプログラムで作れてしまいます。とても簡単ですね。
- 認識したい物体の見本写真を撮影するカメラ機能（デフォルトでは10種類、最大200種類）
- カメラで物体を認識したら、それをLEGO Mindstorms等のハブに伝える機能（あたかも超音波センサーのように動作します）
- 物体認識アルゴリズムはBrownieを参考にしています。
- 写真撮影のプログラムは https://docs.m5stack.com/#/en/related_documents/v-training を参考にしています。
- LEGO Mindstorms等とセンサーの通信プロトコルは https://github.com/GianCann/technical-info/blob/master/uart-protocol.md と https://github.com/ceeoinnovations/SPIKEPrimeBackpacks で学習しました。