1 of 21

Interpretable Word Sense Representations via Definition Generation: The Case of Semantic Change Analysis

ACL 2023

Mario Giulianelli, Iris Luden, Raquel Fernández, Andrey Kutuzov

​

1

発表者：武田・笹野研究室 韓毅

2 of 21

概要

  • Flan-T5を用いて単語の定義文を生成し、「文脈付き定義文埋め込み」パラダイムを提案した
  • 文脈付き定義文埋め込みの一つの応用として、DWUG (Diachronic Word Usage Graphs）を生成し、解釈しやすいSemantic Change Detection手法を提案

2

3 of 21

導入：Semantic Change Detection

  • 単語の意味は、社会の出来事、政治的な状況によって時間とともに影響を受ける

3

Terrificの例:

Terror

Anything spectacular

Spectacularly good

  • Semantic Change（Shift) Detection：�言葉の意味の変化を時間の経過において識別、分析するタスク

4 of 21

研究目的

  • 既存のSemantic Change Detection手法は主に文脈化埋め込みに依存し、意味は変わったかどうか、どの程度に変わったことに注目
  • しかし、言語学者、社会学者の方にとって解釈性に欠ける
  • 本研究では、文脈付き定義文を生成して、人間に理解しやすい表現を獲得

​

4

例えば：appleを分析する時

  • 既存の手法：
    • Appleの意味は変わったかどうか（二値分類）、どの程度に変わったこと（変わるスーコア）
  • 提案手法：
    • 前の意味がfruitで 、現在の意味はfruitの上で、companyの意味が増やした

5 of 21

DWUG(Diachronic Word Usage Graphs ）

5

  • 重み付き無向グラフ
  • 人手による作成するデータセット
  • Nodeは例文の中の目標単語の意味
  • Edgeの重みは文ペアの目標単語の意味の類似度

6 of 21

人手でDWUGの作成手順

6

  • 多段階のアノテーションを行う（作業量を減らす同時に情報量を保つ）
  • クラスタ間のPositive Edge（３、４）とクラスタ内のNegative Edge　(1、２)の数を最小化するようにクラスタリングする
  • 人工作業でクラスタの定義文を付ける
  • アノテーターは目標単語を含む例文を読む
  • 各文ペアの単語の語彙類似度でEdgeを４ポイントでアノテーションする

7 of 21

DWUGの作成の自動化

7

人手作業の手順

提案手法

Node：アノテーターは目標単語を含む例文を読む

FLAN-T5を用いて単語の定義文を生成

各文ペアの単語の語彙類似度でEdgeをアノテーションする

定義文の類似度を計算する

クラスタ間のPositive Edgeとクラスタ内のNegative Edgeの数を最小かするようにクラスタリング

K-meansを用いてクラスタリング

人工作業でクラスターの定義文を付ける

同じクラスターの定義文埋め込み中心の埋め込みを定義文とする

8 of 21

定義文生成：T5

8

  • Encoder-Decoder 構造
  • 大量のタスクに対して、入力と出力の両方をテキストのフォーマットに統一して、転移学習を行うモデル

​

Prefix（Postfix)＋Sequence A

Sequence B

9 of 21

定義文生成： Flan-T5

  • 1800＋タスクでFinetuningを行うことにより、言語モデルの汎化性能を向上させる

9

10 of 21

定義文生成

10

例文＋prompt

FinetuneされたFlan-T5

定義文

’about half of the soldiers in our rifle platoons were draftees whom we had trained for about six weeks ’ What is the definition of draftee.

​

A PERSON WHO IS BEING ENLISTED IN THE ARMED FORCES

Wordnetなどのデータセットを用いてfinetuningしたFlan-T5を利用

11 of 21

定義文生成の実験

11

実験設定：

  • データセット：
    • WordNet、Oxford、CoDWoE（テストセットはない）
  • In distribution
  • Hard domain shift：
    • WordNetで言語モデルをFinetuneし、Oxfordで評価
    • Oxfordで言語モデルをFinetuneし、 WordNetで評価
  • Soft domain shift
    • WordNet、Oxford、CoDWoEで言語モデルをFinetuneし、 WordNet/ Oxfordで評価

12 of 21

定義文生成の実験

12

実験結果：

  • Soft domain shiftは一番良いパフォーマンスを獲得
  • WordNetと比べると、Oxford定義の生成は難しい

　　 - 著者の理由： Oxfordの用例と定義文はより長い

  • Finetuneは性能の向上に重要
  • WordNetをテストセットとするHard domain shiftの場合、Oxfordでfinetuneされたモデルは、In-distributionより高いパフォーマンスを獲得

　　- 著者の理由：Oxfordのデータセットの数と品質の優勢がある

13 of 21

定義文埋め込み空間の考察

定義文、文、トークン埋め込み空間

13

  • 定義文埋め込み空間（Definition embedding space）：
    • She tasted a fresh green apple →定義文（Edible fruit） → 言語モデル（DistilRoBERTa/RoBERTa-large）
  • 文埋め込み空間（Sentence embedding space）:
    • She tasted a fresh green apple → 言語モデル
  • トークン埋め込み空間（Token embedding space):
    • She tasted a fresh green [apple] → 言語モデル

14 of 21

定義文埋め込みの実験

14

    • クラスター間においてトークン埋め込み空間の方が分散（Separation値は高い）
    • 定義文のクラスター内はより凝集（Cohesion値は低い）

​

​

15 of 21

エッジの実験

15

  • 人工作業の場合、DWUGのエッジは例文ペアの目標単語の語彙類似度
  • 提案手法のエッジは自動生成された定義文ペアの類似度
  • 類似度の計算：
    • Cosine類似度、SacreBLEU、METEOR
  • 獲得した結果と人間評価の相関関係の実験を行った

16 of 21

エッジの実験

16

  • 人間の判断との相関関係を測る
  • 定義文埋め込みによる類似度判定はトークンと文埋め込みより人間の判断に近い
  • Finetuneは有益
  • 規模が大きい言語モデルは良いパフォーマンスを獲得

17 of 21

センスラベルの実験

17

例文のクラスターから最も典型的な定義文（センスラベル）を抽出

  • 人工作業：すべての例文を読んで、定義文を思い出す
  • 提案手法：一つのクラスターに属する定義文をDistilRoBERTa でエンコードイングして、その中心に一番近いの定義文を抽出

​

​

18 of 21

センスラベルの実験

18

  • 人工作業と提案手法のセンスラベルを比較する実験：
  • 5人のアノテーターにどの定義文が優れるかを投票させる

​

19 of 21

具体例：record

19

  • 意味0は変わっていないまま、時間の経過で意味1と意味2が生じた
  • 意味1は意味0から由来する可能性が高い、意味2はより独立に生じた

20 of 21

まとめ

  • 「文脈付き定義文埋め込み」パラダイムを提案した
  • 文脈付き定義文埋め込みの一つの応用を示して、DWUGを自動生成の手法を提案し、Semantic Change Detectionの可解釈性を向上させる

​

​

20

21 of 21

自分の感想

  • 文脈付き定義文埋め込みを用いて、 DWUGを自動生成する手法は、別々のステップの有効性を検証したが、全体としての有効性は検証していない
  • 定義文埋め込みのK値は大き過ぎる

−著者の理由は、一部の異なる用法でも、対象の単語に対して同じ定義が得られることがあるため

​

​

21