画像認識による商品/作品の自己紹介

このWebアプリの開発は高専での卒研のテーマを決める際に、

モノが突然喋り出して自己紹介なんてしたら面白いよね、と考えていたときにふと思いついた、

食べ物が自ら「私は〇〇だからカロリーゼロ」って喋ったら…

というしょうもない直感から始まったプロジェクトである。

しかし、ただのしょうもない直感のままでは卒研にできそうにないので、泣く泣く（？）次のように背景と目的を設定した。

店頭にて商品紹介が不十分だと、

・商品の注意点が伝わらない。

・魅力が伝わらず、購買意欲が損なわれてしまう。

ことから、場合によってはトラブルにもなりうる。

しかし、専門の販売員を多数配置したり、商品に新たにタグやバーコードを取り付けたりするのは困難である。

また、デジタルサイネージを各ブースに設置すると高価になってしまう。

そこで、画像認識、データベースを活用してより安価な商品紹介システムを開発することを目指し、プロトタイプとなるWebアプリを構築した。

こんな感じでいいんじゃないかな。

ユーザにもたらす体験のイメージ

スマホで写真を好きなように撮って、画像認識させる楽しさを体験してもらえるように。

動物園の動物や博物館の展示品といった、タグをつけるのが難しいものや、医薬品などのリスクの高い製品の説明をする際にも活躍できるようにすることを考えた。

イメージを実現するために用いた技術

Visual Recognitionで画像認識用のカスタムモデルを作成。Webカメラで撮影した画像から商品の種類を特定する。

WebサーバにMaria DBを導入し、商品情報をデータベースに保存。特定結果を元に商品情報を取得する。

当初は商品情報を音声合成APIで音声に変換し、スピーカーから再生していたが、

実際の店頭やイベント会場といった賑やかな場所では音声でのガイドは困難であることを踏まえ、Webアプリ化してテキストで情報を提示することにした。

勿論、将来的にはカロリーゼロ理論カメラとしての実装も目指したい。

受賞・展示歴

高専4.0 平成30年度社会実装フォーラムにて出展・発表