アメリカ最新AI情報満載!セミナーや講演情報など交えて毎週水曜配信 無料ニュースレター 下記へメールアドレスを入力し無料で登録
CLOSE
パロアルトインサイト/ PALO ALTO INSIGHT, LLC.
パロアルトインサイト/PALO ALTO INSIGHT, LLC. > ブログ > マルチモーダルAIとは?三菱電機が開発するセンシングと自然言語生成を併用したAI
投稿日:2022/03/30 更新日: 2023/02/28 by kohei

マルチモーダルAIとは?三菱電機がAIを開発する理由

人とAIの自然なコミュニケーションを可能にしたMITSUBISHI ELECTRIC RESEARCH LABORATORIESの開発

今週のテーマ:技術開発

パロアルトインサイトの石角です。アメリカ企業の存在感が大きいAI業界ですが、日本企業も世界的に注目される研究成果を発表しています。今年2月にはソニーAIの研究が科学雑誌「Nature」の表紙を飾って話題を集めており、こちらの記事で詳しくお伝えしました。

シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」。今回ご紹介するのは、昨年発表された三菱電機の技術・研究開発機関であるMITSUBISHI ELECTRIC RESEARCH LABORATORIESによる研究成果です。従来よりも自然で直感的な意思疎通ができるAIが開発され、現在も研究が進められています。

 

この記事から得られる3つのナレッジ
・三菱電機が開発した「Scene-Aware Interaction技術」
・マルチモーダルセンシングの実例
・AIが自然言語を生成する手法

論文データ:
今回のディスカッション対象の論文をご紹介します。

タイトル:Scene-aware Interaction
著者:Hori Chiori et al.
掲載サイト:https://merl.com/publications/docs/
発行日:2021年5月4日
引用数:
URL:https://merl.com/publications/docs/TR2021-042.pdf

論文を選んだポイント
日本企業の三菱電機が発表して世界的に話題を集めた論文であり、研究目的が「より自然な人との意思疎通」と明快で、さらに技術面のインパクトが大きいため。

この記事に登場する技術キーワード

  • Scene-Aware Interaction技術
  • マルチモーダルセンシング
    ▶︎関連記事「メタ学習とマルチモーダル:AIを人間に近づける挑戦」
  • LiDAR(Light Detection And Ranging)
  • End-to-End深層学習

目次

三菱電機が開発したScene-Aware Interaction技術

本研究の技術ポイント

XAI(説明可能なAI)という側面

ボストンで進む三菱電機のAI研究

AIビジネスデザイナーのワンポイントアドバイス


三菱電機が開発したScene-Aware Interaction技術

三菱電機は開発した技術を「Scene-Aware Interaction技術」と名付けました。「人のように知覚して意思疎通する技術」といった意味です。人が五感を使って行うのと同様に、AIが周囲の状況を認識し、自然な会話で人とコミュニケーションすることが可能になりました。

応用例として論文中で紹介されているのが、カーナビゲーションシステムです。従来のシステムと違うのは、AIが自然で直感的な指示をしてくれる点です。人が助手席に座って道案内をしてくれているかのようなナビゲーションが実現されています。

たとえば、従来のカーナビの指示は「100m先を右折してください」といったものでした。しかし、運転者には100mがどれくらいの距離かはわかりにくく、曲がるべき場所を瞬時に判断できないこともあります。

一方で、開発したシステムでは「前方の黒い車に続いて右折してください」「郵便ポストの手前で右折してください」など、人が自然に行うように周囲の目印を利用して、より理解しやすい指示をくれるのです。

(画像引用:https://www.mitsubishielectric.co.jp/news/2020/pdf/0722.pdf

さらに、事故につながりそうな状況での対応も優れています。従来のシステムでは、「ビービー」といった警告音を出したり、ハンドルを振動させたりして、運転者に注意を促す程度のことしかできませんでした。

Scene-Aware Interaction技術を使ったシステムでは、「左から近づいてくる歩行者に気をつけてください」などと、音声で警告してくれます。従来より格段にわかりやすい指示によって、運転者は何をすべきかを即座に理解できるようになりました。

本研究の技術ポイント

本研究の成果を支える以下の2つの技術ポイントについて、詳しく解説します。

  • マルチモーダルセンシング
  • 自然言語の生成

 

マルチモーダルセンシング

マルチモーダル(Multi-Modal)とは、「複数種類の入力情報を利用する」という意味です。マルチモーダルについてはThe Insight の記事「メタ学習とマルチモーダル:AIを人間に近づける挑戦」でも詳しく解説しています。

本論文のカーナビシステムでは、多種多様なセンサーから収集した情報(マルチモーダルセンシング情報)が利用されています。その中でも重要なセンサーは以下の3つです。

パロアルトインサイトについて

AIの活用提案から、ビジネスモデルの構築、AI開発と導入まで一貫した支援を日本企業へ提供する、石角友愛氏(CEO)が2017年に創業したシリコンバレー発のAI企業。

社名 :パロアルトインサイトLLC
設立 :2017年
所在 :米国カリフォルニア州 (シリコンバレー)
メンバー数:17名(2021年9月現在)

パロアルトインサイトHP:www.paloaltoinsight.com
お問い合わせ、ご質問などはこちらまで:info@paloaltoinsight.com

石角友愛
<CEO 石角友愛(いしずみともえ)>

2010年にハーバードビジネススクールでMBAを取得したのち、シリコンバレーのグーグル本社で多数のAI関連プロジェクトをシニアストラテジストとしてリード。その後HRテック・流通系AIベンチャーを経てパロアルトインサイトをシリコンバレーで起業。データサイエンティストのネットワークを構築し、日本企業に対して最新のAI戦略提案からAI開発まで一貫したAI支援を提供。東急ホテルズ&リゾーツ株式会社が擁する3名のDXアドバイザーの一員として中長期DX戦略について助言を行う。

AI人材育成のためのコンテンツ開発なども手掛け、順天堂大学大学院医学研究科データサイエンス学科客員教授(AI企業戦略)及び東京大学工学部アドバイザリー・ボードをはじめとして、京都府アート&テクノロジー・ヴィレッジ事業クリエイターを務めるなど幅広く活動している。

毎日新聞、日経xTREND、ITmediaなど大手メディアでの連載を持ち、 DXの重要性を伝える毎週配信ポッドキャスト「Level 5」のMCや、NHKラジオ第1「マイあさ!」内「マイ!Biz」コーナーにレギュラー出演中。「報道ステーション」「NHKクローズアップ現代+」などTV出演も多数。

著書に『AI時代を生き抜くということ ChatGPTとリスキリング』(日経BP)『いまこそ知りたいDX戦略』『いまこそ知りたいAIビジネス』(ディスカヴァー・トゥエンティワン)、『経験ゼロから始めるAI時代の新キャリアデザイン』(KADOKAWA)、『才能の見つけ方 天才の育て方』(文藝春秋)など多数。

実践型教育AIプログラム「AIと私」:https://www.aitowatashi.com/
お問い合わせ、ご質問などはこちらまで:info@paloaltoinsight.com

 

※石角友愛の著書一覧

NEWSLETTERパロアルトインサイトの
無料ニュースレター

毎週水曜日、アメリカの最新AI情報が満載の
ニュースレターを無料でお届け!
その他講演情報やAI導入事例紹介、
ニュースレター登録者対象の
無料オンラインセミナーのご案内などを送ります。

BACK TO BLOG
« »
PAGE TOP