マルチメディアセンシング

• 目的
• 主な機能
• MM-AQI
• MM-TrafficEvent
• データローダ
• 応用例
• 構成
• 動作環境
• 注意事項
• 参考

目的

本情報資産は環境品質短期予測^[1]から派生したもので携帯型カメラで取得した周辺環境の画像データから大気質（AQI）ランク、インシデントの発生を学習・予測する処理を行います。

主な機能

ドライブレコーダやライフログカメラで取得した周辺環境の画像ログデータから大気質（AQI）ランク予測のための入力特徴量を抽出します。画像によるVQA（Visual Question Answering）で用いられるLXMERT方式を拡張し、画像ログと環境描写の相関検索エンジンを使用し、Taxonomyと組み合わせることで対象ドメインに特化した性能チューニングが可能となります。

MM-AQI

ドライブレコーダやライフログカメラなどの画像ログから環境品質を予測する手法Image-2-AQI^[2]を使用し大気質（AQI）ランクを予測します。

MM-TrafficEvent

車載カメラなどの画像ログから事故になりうるインシデントの発生を画像認識モデルEfficientNet^[3]を使用し予測します。

データローダ

MM-AQIで使用する使用する環境観測データを事前に取得し、イベントデータ形式の分析用データを抽出してデータベースに登録します。

応用例

• MM-AQI:安全な住環境や観光支援、交通対策の研究開発など
• MM-TrafficEvent:事故や交通障害を見つけるAIダッシュカムビデオなど

構成

本情報資産は以下から構成されます。

• 処理プログラム（Python言語、R言語）
  • トランザクション生成プログラム
  • EfficientNet予測モデル生成プログラム
  • EfficientNet予測モデル学習プログラム
  • パターンマイニング処理プログラム
  • 大気質（AQI）予測処理
  • インシデント（画像）予測プログラム
  • インシデント（動画）予測プログラム
• データモデル
  • EfficientNet予測モデル学習テーブル（public形式）
  • トランザクションテーブル（public形式）
  • パターンマイニングテーブル（public形式）
  • 大気質（AQI）予測テーブル（public形式）
• 予測モデル
  • Image-2-AQI^[2]方式
  • EfficientNet^[3]方式

動作環境

以下の環境で動作確認を行いました。

• OS : Ubuntu 18.04 LTS
• メモリ : 4GB以上推奨
• ディスク : 100GB以上
• インターネット接続が可能
• Python : 3.x系（2.x系では動作しません）
  • Pythonライブラリ
  • psycopg2
  • configparser
  • geojson
  • requests
• PostgreSQL : 9.2以上

xDataEdge^[4]環境を使用する場合は上記に加えて以下の条件が必要です。

• Apache, Nginx等、HTTP サーバ機能を持つ（HTTP/HTTPS ポートを LISTEN する）サービス等を OS 上に稼働させていないこと
• xData EdgeをインストールするOSのroot権限を有すること

注意事項

• 機能の制約
  • 本情報資産は動作環境に示す環境以外での動作は保証しません。
• データの制約
  • データベースに登録するデータについては制約があります。詳細はデータローダAPIマニュアル^[5]を参照ください。
• 免責事項
  • 当ページに掲載している情報は可能な限り正確な情報を掲載するよう努めていますが、正確性や安全性を保証しません。
  • 当ページに掲載している内容、提供されるものによって生じた損害等の一切の責任は負いかねます。
  • 当ページで提供されるものは全てサンプルであり予測結果の責任は負いかねます。

参考

• [1]環境品質短期予測の情報資産についてはカタログページを参照ください。
• [2]Minh-Son Dao, Kazuki Tejima, Tuan-Vinh La, Rage Uday Kiran, Koji Zettsu.: "Improving the Awareness of Sustainable Smart Cities by Analyzing Lifelog Images and IoT Air Pollution Data".
• [3]Minh-Son Dao, Dinh-Duy Pham, Manh-Phu Nguyen, Thanh-Binh Nguyen, Koji Zettsu: "MM-trafficEvent: An Interactive Incident Retrieval System for First-view Travel-log Data".
• [4]xData Edgeマニュアル:https://www.xdata.nict.jp/docs/Edge/1.0/
• [5]データローダAPIマニュアル:https://www.xdata.nict.jp/docs/DataLoader/0.6/