紹介者：鷲尾光樹（東大言語情報D3）

概要

• 対話✕知識グラフ
• 発話の文脈から，知識グラフ上の遷移を予測し，応答に活かす枠組みを提案
• 発話の系列に知識グラフ上の遷移をアノテーションしたコーパスを作成

対話✕知識グラフ

Motivation

• 知識グラフのパスをたどって応答すれば，自然な対話が展開しやすい

Challenge

• ドメインを限定したくない．文脈（対話履歴）を考慮したい．
• ドメインや文脈によって「自然」な遷移は異なり，ルールベースでは難しい
• 大規模知識ベースを扱いたい．

Method

• どのように知識グラフ上を「自然に」遷移すればよいかをモデルで学習．

タスク(Conversational Knowledge Retrieval)

• 対話の履歴とユーザーの現在の発話に含まれるエンティティから，応答に用いるエンティティを予測．

Can you recommend any books like Catcher in the Rye?

Do you prefer books by the same author or same genre?

I’m interested in reading classic examples of American literature.

...

OpenDialKGデータセット

​

​

​

​

​

• クラウドワーカーにロールプレイで対話してもらって作成
• 各発話ごとにKB内から候補エンティティが出る．
• 候補エンティティは，相手のユーザーの発話内のエンティティから1-hop, 2-hopパスで辿れるもの．
• エンティティ選択を行う対話の過程でパスが得られる
• KBは各ドメインのエンティティリスト（IMDB等）とFreebaseから作成
• 100,813 entities, 1,358 relations, 1,190,658 triples

提案モデル

LSTMで関係埋め込みにアテンションを張りつつ，状態を更新

​

入力：E（直前発話内エンティティ），S（直前発話文），D（対話履歴）

出力：KG上の遷移パス，遷移先のエンティティ

学習

• E+S+Dからエンティティを予測するobjectives（トピックなどを捉える）

​

​

​

• 遷移パスを予測するobjectives（自然な遷移を学習）

パス上のエンティティ

パス上の関係性

予測

• エンティティ埋め込み間，関係埋め込み間の内積を用いてグラフ上の可能な遷移をランキング （デコーディング…？）

​

​

​

​

• 遷移しないときは<STOP> relationを予測

時点t-1のエンティティから

1-hopでいけるエンティティの集合

実験結果

• ベースライン
• seq2seq: E+S+Dをエンコード，パスをデコード (直接のベースライン)
• Tri-LSTM: E＋Sと関連するKBのfactをそれぞれLSTMでエンコードし，パスをスコアリング，factは1-hopのみ
• Ext−ED：E+Sからソフトマックスでエンティティを予測．KBの構造を考慮しない．

​

予測例＆人手評価

ベースライン：履歴内のエンティティを繰り返す

提案手法：「自然」な話題の展開を学習

ベースライン：本の推薦の応答として微妙なエンティティ

提案手法：ジャンルに話題を展開

まとめ

• その他
• ドメイン適応

​

• Pros
• 対話の文脈を考慮しつつ，応答に使うエンティティをマルチホップに予測する枠組みの提案
• そこそこの大きさのデータセットを構築
• Cons
• 手法やベースラインの記述が薄く，Appendixもない（擬似コードぐらいつけてほしかった）
• 分析が少ない（ドメインによっては，単純なモデルじゃほんとにだめなのか？）
• 現状，実装・データセットの公開なし．

​