Actions on Googleについて

山口 能迪 (@ymotongpoo)

自己紹介

  • 山口 能迪 (やまぐち よしふみ)
  • Developer Advocate, Google Japan
  • Actions on Google、AMP/PWA、Android、Tango、Go

  • Arch Linux、i3wm、ErgoDox、自作キーボード

今日話すこと

  • 音声対話型アプリケーションに期待されるもの
  • Google アシスタント と Actions on Google について
  • Dialogflowの機能概要

今日話すこと

  • 音声対話型アプリケーションに期待されるもの
  • Google アシスタント と Actions on Google について
  • Dialogflowの機能概要

VUIアプリに期待されるもの

VUIアプリケーションに期待されるもの

VUI = Voice User Interface

  • そもそも人間はなぜ道具を使うのか
  • 各種デバイスでのアプリケーションの特徴
  • スマートスピーカーの特徴
  • VUIアプリケーションに期待されるもの

なぜ道具を使うのか

目的を早く・楽に達成したい

何かを知りたい

どこかへ行きたい

何かを買いたい

各種デバイスでの特徴

デスクトップアプリケーション

モバイルアプリケーション

ウェアラブルデバイスアプリケーション

スクリーンデバイスアプリケーション

音声対話型デバイスの特徴

スマートスピーカー

スクリーンがある場合

カルーセル

サジェスチョンチップ

リスト

VUIしかない場合

  • 出力結果が直列でしか取得できない
  • 出力結果を確認するまでの時間が長くなる

eg. 電話での自動音声オペレーター

ステップを減らす努力が必要

ステップを1つ重ねるごとに 20%のユーザーが離脱

対話型になると人間との会話を想定

ユーザーのコンテキストを汲む必要性

今日話すこと

  • 音声対話型アプリケーションに期待されるもの
  • Google アシスタント と Actions on Google について
  • Dialogflowの機能概要

Google アシスタント と

Actions on Google について

Google アシスタント

様々なデバイスから 

呼び出すことができる

※ Android Auto, Android TVは実装中

Google アシスタント と Actions on Google

Google Home — Google アシスタントを搭載したスマートスピーカー

Google アシスタント — Google との会話により物事の処理をサポートするツール

Actions on Google 外からGoogle アシスタントを拡張する仕組み

Actions on Googleの特徴

  • 呼び出すデバイス本体への3P アプリのインストールの必要はない
  • 音声認識・音声合成は Google アシスタントが担当
  • RPC形式で JSON over HTTP での通信
  • Dialogflowなどを利用することで会話をGUIで作成可能
  • 9ロケールに対応

en_US

fr_FR

fr_CA

en_CA

en_GB

en_AU

de_DE

ja_JP

ko_KR

Actions on Google の呼び出しフロー (直連携の場合)

「OK Google, おうちアプリと話す」

Google Home

Google アシスタント

webhook

音声認識 (STT)

NLP

ナレッジグラフ

MLランキング

ユーザー情報

音声合成 (TTS)

おうちアプリ呼び出し

「はい、おうちアプリです」

「こんにちは、おうちアプリです。あなたのおうちのサポートをします。」

音声認識 (STT)

「エアコンをつけて」

音声合成 (TTS)

「エアコンをつけました」

Actions on Googleアプリを開発するには?

  • Googleアシスタントは音声認識、音声合成のみを担当
  • 渡される文字列情報だけでは会話処理をするのは大変
    • 形態素解析
    • 文脈の処理

→自力でやりたくないですよね?

今日話すこと

  • 音声対話型アプリケーションに期待されるもの
  • Google アシスタント と Actions on Google について
  • Dialogflowの機能概要

Dialogflow機能概要

Dialogflow

Dialogflowの利点

  • ユーザーの入力と Intent の対応をGUIで設定することができる
  • 形態素解析もサービス内エンジンで処理
  • ユーザーの入力と Intent への割り振られ方の履歴から再割り振りを行い、Agentの学習を継続的に行うことができる
  • 必要となれば Fulfillment として外部のサーバーから取得したデータを返答に含めることが可能

Actions on Google の呼び出しフロー(Dialogflowを使う場合)

「OK Google, おうちアプリと話す」

Google Home

Google アシスタント

Dialogflow

webhook

音声認識 (STT)

NLP

ナレッジグラフ

MLランキング

ユーザー情報

音声合成 (TTS)

おうちアプリ呼び出し

「はい、おうちアプリです」

「こんにちは、おうちアプリです。あなたのおうちのサポートをします。」

音声認識 (STT)

「エアコンをつけて」

音声合成 (TTS)

「エアコンをつけました」

Dialogflowのメイン画面

Intent - Intent名

Dialogflowコンソール内で使われる名前

e.g. recipe-recommendation

Intent - ユーザーの入力

“user says” のフレーズ群で起動

e.g. “おなかが空いたのでレシピを教えて”

Intent - Action名

  • webhookに渡される名前
  • 複数のインテントで同じアクション名を共有可能
  • Googleアシスタントの"Action"とは別の意味なので注意

Intent - Input/Outputコンテキスト

  • あるIntentが起動されるために必要な条件として設定可能
  • 通常フロー制御に使う

Intent - Entityの設定

  • ユーザーのフレーズ内に特定の種類の値を指定することが可能
  • パラメーター名と型を指定可能
  • 固定値のリストからの値に限定することも可能

Intent - Entity

重要:

複数の種類の “user says” フレーズを作成しておくこと

Entity

Entityに関連する値をsynonym込みで設定可能

Entity - プロンプト

ユーザーのクエリ内で必須Entityが含まれていなかった場合に、フォローアップの質問を投げられる

Webhook (Fulfillment) - Inline Editor (Cloud Functions for Firebase)

Inline Editorで直接 Cloud Functions for Firebase のコードが書ける

Webhook (Fulfillment) - HTTP Postで直連携

今日話したこと

  • 音声対話型アプリケーションに期待されるもの
  • Google アシスタント と Actions on Google について
  • Dialogflowの機能概要

どんどん機能追加されてます

参照情報

AoG概要: goo.gl/ggzn4b

ドキュメント: developers.google.com/actions

Dialogflowを使ってみる: dialogflow.com/google-assistant

開発者コミュニティ: g.co/actionsdev

メーリングリスト: assistant.google.com/developer

その他ツール等: developers.google.com/actions/tools/

Actions on Googleについて - Google Slides