Actions on Googleについて

山口 能迪 (@ymotongpoo)

自己紹介

• 山口 能迪 （やまぐち よしふみ）
• Developer Advocate, Google Japan
• Actions on Google、AMP/PWA、Android、Tango、Go

​

• Arch Linux、i3wm、ErgoDox、自作キーボード

今日話すこと

• 音声対話型アプリケーションに期待されるもの
• Google アシスタント と Actions on Google について
• Dialogflowの機能概要

​

今日話すこと

• 音声対話型アプリケーションに期待されるもの
• Google アシスタント と Actions on Google について
• Dialogflowの機能概要

​

VUIアプリに期待されるもの

VUIアプリケーションに期待されるもの

VUI = Voice User Interface

• そもそも人間はなぜ道具を使うのか
• 各種デバイスでのアプリケーションの特徴
• スマートスピーカーの特徴
• VUIアプリケーションに期待されるもの

なぜ道具を使うのか

目的を早く・楽に達成したい

何かを知りたい

​

どこかへ行きたい

​

何かを買いたい

​

出典: Google 消費者バロメーター（Consumer Barometer with Google）

各種デバイスでの特徴

デスクトップアプリケーション

モバイルアプリケーション

ウェアラブルデバイスアプリケーション

スクリーンデバイスアプリケーション

音声対話型デバイスの特徴

スマートスピーカー

スクリーンがある場合

カルーセル

サジェスチョンチップ

リスト

VUIしかない場合

• 出力結果が直列でしか取得できない
• 出力結果を確認するまでの時間が長くなる

eg. 電話での自動音声オペレーター

ステップを減らす努力が必要

ステップを1つ重ねるごとに 20%のユーザーが離脱

対話型になると人間との会話を想定

ユーザーのコンテキストを汲む必要性

今日話すこと

• 音声対話型アプリケーションに期待されるもの
• Google アシスタント と Actions on Google について
• Dialogflowの機能概要

​

Google アシスタント と

Actions on Google について

Google アシスタント

様々なデバイスから　

呼び出すことができる

※ Android Auto, Android TVは実装中

Google アシスタント と Actions on Google

Google Home — Google アシスタントを搭載したスマートスピーカー

Google アシスタント — Google との会話により物事の処理をサポートするツール

Actions on Google — 外からGoogle アシスタントを拡張する仕組み

Actions on Googleの特徴

• 呼び出すデバイス本体への3P アプリのインストールの必要はない
• 音声認識・音声合成は Google アシスタントが担当
• RPC形式で JSON over HTTP での通信
• Dialogflowなどを利用することで会話をGUIで作成可能
• 9ロケールに対応

en_US

fr_FR

fr_CA

en_CA

en_GB

en_AU

de_DE

ja_JP

ko_KR

Actions on Google の呼び出しフロー （直連携の場合）

「OK Google, おうちアプリと話す」

Google Home

Google アシスタント

webhook

音声認識 (STT)

NLP

ナレッジグラフ

MLランキング

ユーザー情報

音声合成 (TTS)

おうちアプリ呼び出し

「はい、おうちアプリです」

「こんにちは、おうちアプリです。あなたのおうちのサポートをします。」

音声認識 (STT)

​

「エアコンをつけて」

音声合成 (TTS)

​

「エアコンをつけました」

Actions on Googleアプリを開発するには？

• Googleアシスタントは音声認識、音声合成のみを担当
• 渡される文字列情報だけでは会話処理をするのは大変
• 形態素解析
• 文脈の処理

→自力でやりたくないですよね？

今日話すこと

• 音声対話型アプリケーションに期待されるもの
• Google アシスタント と Actions on Google について
• Dialogflowの機能概要

​

Dialogflow機能概要

Dialogflow

Dialogflowの利点

• ユーザーの入力と Intent の対応をGUIで設定することができる
• 形態素解析もサービス内エンジンで処理
• ユーザーの入力と Intent への割り振られ方の履歴から再割り振りを行い、Agentの学習を継続的に行うことができる
• 必要となれば Fulfillment として外部のサーバーから取得したデータを返答に含めることが可能

Actions on Google の呼び出しフロー（Dialogflowを使う場合）

「OK Google, おうちアプリと話す」

Google Home

Google アシスタント

Dialogflow

webhook

音声認識 (STT)

NLP

ナレッジグラフ

MLランキング

ユーザー情報

音声合成 (TTS)

おうちアプリ呼び出し

「はい、おうちアプリです」

「こんにちは、おうちアプリです。あなたのおうちのサポートをします。」

音声認識 (STT)

​

「エアコンをつけて」

音声合成 (TTS)

​

「エアコンをつけました」

Dialogflowのメイン画面

Intent - Intent名

Dialogflowコンソール内で使われる名前

e.g. recipe-recommendation

Intent - ユーザーの入力

“user says” のフレーズ群で起動

e.g. “おなかが空いたのでレシピを教えて”

Intent - Action名

• webhookに渡される名前
• 複数のインテントで同じアクション名を共有可能
• Googleアシスタントの"Action"とは別の意味なので注意

Intent - Input/Outputコンテキスト

• あるIntentが起動されるために必要な条件として設定可能
• 通常フロー制御に使う

Intent - Entityの設定

• ユーザーのフレーズ内に特定の種類の値を指定することが可能
• パラメーター名と型を指定可能
• 固定値のリストからの値に限定することも可能

Intent - Entity

重要:

複数の種類の “user says” フレーズを作成しておくこと

Entity

Entityに関連する値をsynonym込みで設定可能

Entity - プロンプト

ユーザーのクエリ内で必須Entityが含まれていなかった場合に、フォローアップの質問を投げられる

Webhook (Fulfillment) - Inline Editor (Cloud Functions for Firebase)

Inline Editorで直接 Cloud Functions for Firebase のコードが書ける

Webhook (Fulfillment) - HTTP Postで直連携

今日話したこと

• 音声対話型アプリケーションに期待されるもの
• Google アシスタント と Actions on Google について
• Dialogflowの機能概要

​

どんどん機能追加されてます

https://goo.gl/dJ3W7R

参照情報

AoG概要: goo.gl/ggzn4b

ドキュメント: developers.google.com/actions

Dialogflowを使ってみる: dialogflow.com/google-assistant

開発者コミュニティ: g.co/actionsdev

メーリングリスト: assistant.google.com/developer

その他ツール等: developers.google.com/actions/tools/

​