目的
車両診断ポートから取得した数値情報と、前方道路および運転者の映像ならびに運転者の音声とを多モーダルに統合し、クラウドに依存することなく車両分野特化言語モデルにより運転者にわかりやすい日本語メッセージとして提示することで、オーバーヒート等の車両トラブルの予兆を早期に把握しつつ、渋滞等の走行環境も考慮して運転者の不安を低減する完全ローカル車両状態監視AI装置および運転支援方法を提供する。
効果
通信遅延や通信断の影響を受けず、また走行ログや位置情報が外部に送信されないというプライバシー上の利点を有する。
シガーソケット給電やモバイルバッテリーにより複数の車両間で容易に持ち運ぶことができるため、スポーツカーやクラシックカー、レンタカー、社用車など、幅広い車両に適用することができる。また、将来、走行環境認識機能、運転者状態推定機能、車両診断・予兆検知機能、対話型運転支援機能など、機能ごとに分割出願を行う際の基礎技術としても利用できる。
技術概要
車両診断ポートを有する車両に接続される携帯型の車両状態監視AI装置で、
車両診断ポートに電気的に接続され、冷却水温度、油温、油圧、エンジン回転数、車速および診断トラブルコードの少なくとも一つを周期的に取得する車両情報取得手段と、
前方道路を撮像する第一カメラ手段と、
運転者を撮像する第二カメラ手段と、
運転者の音声を収音するマイクロホンと、
データに基づいて多モーダル特徴量を生成する特徴量生成手段と、
多モーダル特徴量と運転者プロファイル情報とを入力として、車両の状態およびリスクレベルならびに推奨行動を示す運転支援メッセージを自然言語で生成する車両分野特化言語モデルを含む生成AI推論手段と、
運転支援メッセージを表示する表示手段および運転支援メッセージを合成音声として出力する音声合成手段と、
車両情報取得手段、特徴量生成手段、生成AI推論手段および音声合成手段をクラウドサーバとの通信を行うことなく単一のエッジデバイス上で実行する制御手段と、
車両診断ポートに接続するコネクタおよび車載電源またはモバイルバッテリーから給電可能な電源手段を備えた筐体と、
を備える車両状態監視AI装置。