目的
犬の表情及び鳴き声という複数モーダル情報を統合し、生成ＡＩモデルを用いて高精度かつ親しみやすいフィードバックを実現することで、犬と飼い主のコミュニケーションを支援する。
効果
（１）犬の感情を複数モーダルで推定することで精度が向上する。
（２）推論処理を端末側で行う構成により、応答性の高い動作が得られる。
（３）推定結果を生成ＡＩにより説明として提示でき、飼い主が直感的に理解しやすい。
（４）これにより、犬と飼い主のコミュニケーション向上する。
技術概要
犬の感情を推定する携帯可能な構成を有し、クラウドを介さず端末側で処理を行う犬の感 情推定装置であって、 犬を撮像するカメラと、犬の鳴き声を収音するマイクロホンと、
カメラ及び前記マイクロホンからの入力を処理する処理部を備え、
処理部は、 カメラから取得した画像に対して物体検出手段により画像中の犬をリアルタイムに検出し、
犬が検出された場合にのみ後段の表情推定及び鳴き声推定を開始する制御手段と、 物体検出手段により特定された犬領域を切り出し、当該犬領域について畳み込みニュ ーラルネットワークにより表情を推定する表情推定手段と、 犬が検出された後に所定時間の犬の鳴き声を収録し、収録された音声からメル周 波数ケプストラム係数を抽出し、機械学習モデルにより鳴き声に基づく感情を推定する鳴 き声推定手段と、
表情推定手段による表情の推定結果と、鳴き声推定手段による鳴き声に基づく感 情の推定結果とに基づいて犬の総合的な感情を推定する統合手段と、 統合手段の推定結果に基づき自然言語生成モデルにより日本語による説明文を生成し 、 当該説明文を表示および音声として出力する出力手段と、 を有することを特徴とする犬の感情推定装置。
基本情報
開放特許情報
)
登録者情報
その他の情報
