Actions on Googleについて
山口 能迪 (@ymotongpoo)
自己紹介
今日話すこと
今日話すこと
VUIアプリに期待されるもの
VUIアプリケーションに期待されるもの
VUI = Voice User Interface
なぜ道具を使うのか
目的を早く・楽に達成したい
何かを知りたい
どこかへ行きたい
何かを買いたい
各種デバイスでの特徴
デスクトップアプリケーション
モバイルアプリケーション
ウェアラブルデバイスアプリケーション
スクリーンデバイスアプリケーション
音声対話型デバイスの特徴
スマートスピーカー
スクリーンがある場合
カルーセル
サジェスチョンチップ
リスト
VUIしかない場合
eg. 電話での自動音声オペレーター
ステップを減らす努力が必要
ステップを1つ重ねるごとに 20%のユーザーが離脱
対話型になると人間との会話を想定
ユーザーのコンテキストを汲む必要性
今日話すこと
Google アシスタント と
Actions on Google について
Google アシスタント
様々なデバイスから
呼び出すことができる
※ Android Auto, Android TVは実装中
Google アシスタント と Actions on Google
Google Home — Google アシスタントを搭載したスマートスピーカー
Google アシスタント — Google との会話により物事の処理をサポートするツール
Actions on Google — 外からGoogle アシスタントを拡張する仕組み
Actions on Googleの特徴
en_US
fr_FR
fr_CA
en_CA
en_GB
en_AU
de_DE
ja_JP
ko_KR
Actions on Google の呼び出しフロー (直連携の場合)
「OK Google, おうちアプリと話す」
Google Home
Google アシスタント
webhook
音声認識 (STT)
NLP
ナレッジグラフ
MLランキング
ユーザー情報
音声合成 (TTS)
おうちアプリ呼び出し
「はい、おうちアプリです」
「こんにちは、おうちアプリです。あなたのおうちのサポートをします。」
音声認識 (STT)
「エアコンをつけて」
音声合成 (TTS)
「エアコンをつけました」
Actions on Googleアプリを開発するには?
→自力でやりたくないですよね?
今日話すこと
Dialogflow機能概要
Dialogflow
Dialogflowの利点
Actions on Google の呼び出しフロー(Dialogflowを使う場合)
「OK Google, おうちアプリと話す」
Google Home
Google アシスタント
Dialogflow
webhook
音声認識 (STT)
NLP
ナレッジグラフ
MLランキング
ユーザー情報
音声合成 (TTS)
おうちアプリ呼び出し
「はい、おうちアプリです」
「こんにちは、おうちアプリです。あなたのおうちのサポートをします。」
音声認識 (STT)
「エアコンをつけて」
音声合成 (TTS)
「エアコンをつけました」
Dialogflowのメイン画面
Intent - Intent名
Dialogflowコンソール内で使われる名前
e.g. recipe-recommendation
Intent - ユーザーの入力
“user says” のフレーズ群で起動
e.g. “おなかが空いたのでレシピを教えて”
Intent - Action名
Intent - Input/Outputコンテキスト
Intent - Entityの設定
Intent - Entity
重要:
複数の種類の “user says” フレーズを作成しておくこと
Entity
Entityに関連する値をsynonym込みで設定可能
Entity - プロンプト
ユーザーのクエリ内で必須Entityが含まれていなかった場合に、フォローアップの質問を投げられる
Webhook (Fulfillment) - Inline Editor (Cloud Functions for Firebase)
Inline Editorで直接 Cloud Functions for Firebase のコードが書ける
Webhook (Fulfillment) - HTTP Postで直連携
今日話したこと
どんどん機能追加されてます
参照情報
AoG概要: goo.gl/ggzn4b
ドキュメント: developers.google.com/actions
Dialogflowを使ってみる: dialogflow.com/google-assistant
開発者コミュニティ: g.co/actionsdev
メーリングリスト: assistant.google.com/developer
その他ツール等: developers.google.com/actions/tools/