1 of 26

The Grammar-Learning Trajectories�of Neural Language Models

Leshem Choshen, Guy Hacohen, Daphna Weinshall, Omri Abend�ACL 2022��発表者：大関研M2 吉田遼

2 of 26

論文概要

3 of 26

論文概要

  • ニューラル言語モデルの学習過程を分析
    • 統語的評価のためのデータセットを用いて、文法獲得の過程を分析
  • 初期値・アーキテクチャによらず学習過程は共通していることを示唆
  • 学習データが学習過程に与えるの影響も局所的であることを示唆
  • +様々な分析

3

4 of 26

導入

5 of 26

言語学習過程と計算モデル

  • 幼児の言語学習には共通の過程がある
    • 文法獲得順 (Kuhl et al., 1992; Ingram, 1989)
    • 一般化・過剰一般化 (Kuczaj II, 1992; Ingram, 1989)
  • 英語の過去形習得に関する議論では、論証に計算モデルが用いられることも(e.g, Rumelhart and McClelland, 1986; Pinker and Prince, 1988; Kirov and Cotterell, 2018)

5

6 of 26

ニューラル言語モデルの言語学習過程

  • ニューラル言語モデル (NLM) がどのような表現を学習したのかについては盛んに研究されている (e.g., Tenny et al., 2019; Slobodkin et al., 2021)
  • 一方、その学習過程に目が向けられることは多くはない
  • 本研究ではNLMの文法学習過程に目を向け、（幼児と同様に）初期値・学習データ・アーキテクチャが異なるモデル間で共通性があるか、等を検証する

6

7 of 26

実験設定

8 of 26

言語モデル

  • GPT2 (Radford et al., 2019)
    • GPT2_small * 1seed
      • 768次元・12層・8ヘッド
    • GPT2_tiny * 4seeds
      • 512次元・4層・4ヘッド
  • TransformerXL (Dai et al., 2019)
    • XL_small
      • 512次元・4層・8ヘッド
    • XL_ours
      • 4096次元・18層・16ヘッド

8

9 of 26

学習データ

  • WikiBooks (Zhu et al., 2015)
    • 英語版Wikipedia (2.1B words) + BookCorpus (854M words)
    • 注釈のないモデルはこのデータで学習したもの
  • openSubtitles (Lison and Tiedemann, 2016)
  • newsCrawl (Barrault et al., 2019)
  • GigaWord (Napoles et al, 2012)
  • openWebText (Gokaslan and Cohen, 2019)

9

10 of 26

データセット：BLiMP (Warstadt et al., 2019)

  • 言語モデルの統語的評価のためのデータセット
    • 正文と非文のミニマルペアのうち、正文に高い確率を�付与できるか？

10

p(a) > p(b) ?

  1. The cats annoy Tim. (Correct)
  2. *The cats annoys Tim. (Erronous)

11 of 26

データセット：BLiMP (Warstadt et al., 2019)

  • 67の文法現象について1Kずつミニマルペアを含む
    • e.g., 他動詞、数の照応
  • 67の文法現象は13の中分類・4の大分類に分けられる
    • 中分類
      • e.g., 述語項構造、照応
    • 大分類
      • e.g., 統語、形態

11

12 of 26

評価方法

  • 各文法現象の学習度がモデル間でどの程度類似しているか？
    • 各文法現象の学習度：各文法現象における正答率を並べた67次元ベクトル
    • 類似度：ピアソン相関係数

12

13 of 26

結果

14 of 26

結果①：初期値・学習データと学習過程

  • 初期値 (init) によらず学習過程は共通
    • 使用モデル：GPT2_tiny * 4seeds
  • 学習データ (Data) は学習初期の過程に影響を及ぼすが学習が進むにつれ影響は小さくなる
    • 使用モデル：GPT2_tiny * 5データセット

14

15 of 26

結果②：アーキテクチャと学習過程

  • アーキテクチャによらず学習過程は共通
    • cf. GPT2_smallとGPT2_tinyの相関係数>0.9
  • 定性的にも精度上昇過程が共通している（右図）
  • 精度上昇過程だけでなくミニマルペアにおける判断も共通
    • (Fleiss et al., 1969)

15

16 of 26

結果③：学習済みモデル・人間との比較

  • 学習済みモデル・人間と、GPT2_tinyの各学習過程における類似度を比較
    • LSTM、GPT2_large、XL、人間はBLiMPの元論文から引用
  • 精度が最も近い点（図の点）で類似度も最も近くなる傾向

16

17 of 26

結果④：学習過程の一次元性

  • GPT2_smallのある学習過程と、GPT2_tinyの各学習過程における類似度を比較
  • 精度が最も近い点（図の点）で類似度も最も近くなる傾向

17

18 of 26

結果⑤：5-gramとの比較

  • Wikibooks・Giga Wordで学習した5-gramとGPT2_tinyの各学習過程における類似度を比較
  • 5-gramとGPT2_tinyの間では類似性・一元性がみられない

18

19 of 26

分析

20 of 26

学習過程についての分析①：文長・構文木の深さ

  • ミニマルペアの文長・構文木の深さとGPT2_tinyの各学習過程における精度の相関を比較
  • 学習初期は文長、学習が進むと構文木の深さとより相関

20

21 of 26

学習過程についての分析②：人間

学習過程についての分析③：Uni-gram

  • 人間とGPT2_tinyの各学習過程における類似度を比較
  • 学習が進むと人間とより類似

​

  • Uni-gramとGPT2_tinyの各学習過程における類似度を比較
  • 学習初期はUni-gramと類似

21

22 of 26

学習過程についての分析④：n-gram

学習過程についての分析⑤：文脈・語順

  • N-gramとGPT2_tinyの各学習過程における類似度を比較
  • 学習初期はn-gramに類似

​

  • 文脈を制限したGPT2_tiny (Window-5) ・語順情報を与えないGPT2_tiny (BOW) とGPT2_smallの各学習過程における類似度を比較
  • 学習初期に見られたBOWとの類似は学習が進むにつれn-gram以下に

22

23 of 26

文法現象ごとの分析①：大分類

  • 形態の学習過程は類似：高い精度に到達
  • 統語-意味の学習過程も類似：chance levelを停滞
  • 意味・統語の学習過程は類似せず

23

24 of 26

文法現象ごとの分析②：クラスター分析

  • 学習過程をラプラス行列に変換しk-meansでクラスタリング
    • クラスタごとの傾向
      • (a) 高い精度に到達する (b) chance levelを停滞する�(c) 精度がほぼ0になる (d) 学習初期から精度がほぼ1になる
    • クラスタ内の文法現象は大分類のレベルでは概ね共通しているが、中分類のレベルでは異なる

24

25 of 26

結論

26 of 26

まとめ

  • ニューラル言語モデルの学習過程を分析
    • 統語的評価のためのデータセットを用いて、文法獲得の過程を分析
  • 初期値・アーキテクチャによらず学習過程は共通していることを示唆
  • 学習データが学習過程に与えるの影響も局所的であることを示唆
  • +様々な分析

26