日本語歴史コーパス『中納言』の使い方

2022年8月23日 国立国語研究所「通時コーパス」プロジェクト

  CC BY-SA 4.0

1. ４つの検索方法

    短単位検索・長単位検索…形態論情報を使った検索

    文字列検索…形態論情報を使わない・表層形による検索

    位置検索…すでに出現位置が分かっているものを（再）検索

４つの検索方法の使い分け

短単位検索

• 名詞＋「めく」のような組み合わせ検索で「○○めく」を一度に検索できる
• 「冬めく」で検索してもヒットしない（短単位では「冬」＋接尾「めく」）

長単位検索

• 「冬めく」でヒットする
• 「○○めく」を一度に検索するには「%めく」とする必要がある（使用可能な「ワイルドカード」については4.3参照）

文字列検索

• 単位を気にせずに文字列で検索できる（たとえば「冬めきて」など）
• あくまでも検索対象は表記なので「冬めく」で検索しても「ふゆめく」にはヒットしない

位置検索

• 用例を再検索（サンプルIDと開始位置でコーパス中の用例が一意に決まる）

2. 検索対象の選択

• 「奈良時代編」「平安時代編」「和歌集編」「鎌倉時代編」「室町時代編」「江戸時代編」「明治・大正編」のサブコーパスから選択（2020年9月現在）

• 「江戸時代編」「明治・大正編」は短単位情報のみ
• 「コア」 …人手修正が完全に入っているデータ

「非コア」…機械による形態素解析後、一部に人手修正が入っているデータ

• 最上部の「時代名」にチェックを入れることで、各時代の作品をまとめて指定することもできる。たとえば「３鎌倉」にチェックを入れると、「鎌倉時代編」に収録されている作品と、「和歌集編」のうち鎌倉時代の作品である「新古今和歌集」が同時に検索できる。また、「明治・大正編」に収録されているデータを「６明治」「７大正」「８昭和」と時代ごとに検索することも可能である

3. 形態論情報とは

1. 形態論情報：短単位と長単位の概要

分かち書きがされない日本語には、かならずしも決まった単語の区切り方がない

例：国立国語研究所 国立|国語研究所 国立|国語|研究所 国立|国語|研究|所

→しかしコーパスを構築し利用するためには、決まった区切りが必要

→国語研究所で定めた２つの区切り方が「短単位」と「長単位」

誰が区切っても揺れが少ないことが特徴

短単位

意味を持つ最小の単位を、最大で一回まで結合させた単位

和語の場合：「母」「親」「母親」などは１短単位。「母親|代わり」は２短単位

      助詞・助動詞・補助動詞・接頭辞・接尾辞はそのままで１短単位

漢語の場合：原則として２字ないし１字の漢語が１短単位

外来語の場合：原語における１語が１短単位

長単位

実際の文章を文節で区切ったうえで、文節を自立語と付属語に区切った単位

複合語が１長単位となるほか、「ている」などの複合辞を１長単位と認める

短単位と長単位が結果として全く同じ区切り方になる場合も多い

品詞情報は、いわゆる学校文法に基づくが、主に次のような点で違いがある

・形容動詞を「形状詞」と助動詞「だ・なり」に分ける

（学校文法）形容動詞「奇麗だ」

→（短単位・長単位）形状詞「奇麗」＋助動詞「だ」

・漢語サ変動詞等を、短単位では名詞と動詞「為る」に分ける

（学校文法）動詞「勉強する」

→（短単位）名詞「勉強」＋動詞「為る」、（長単位）動詞「勉強する」

・階層的な品詞・活用型の付与

例（短単位）：名詞-普通名詞-一般 （大分類＞中分類＞小分類）

例（短単位）：下一段-ア行 （大分類＞行分類（＞小分類））

・可能性に基づく品詞付与

   例（短単位）：名詞-普通名詞-サ変可能  「勉強」

    長単位では文脈に応じた品詞を付与

2. 形態論情報の階層構造

「日本語歴史コーパス」（CHJ）の形態論情報の見出し語は次のような階層構造を持っている（形態素解析用辞書UniDicの見出し階層）

                             （発音形は省略）

語彙素：辞書の見出しのレベル

語形：異語形を区別するレベル

書字形：異表記を区別するレベル

語彙素（見出し語の代表表記）が分からないときは「文字列検索」（→５節）で検索して確認してみる （奇麗？綺麗？ → 「きれい」等で文字列検索、表示される語彙素「奇麗」を見て確認）

3. 形態論情報利用の長所

活用語の一括検索

1.     語彙素「読む」（終止形）

→ 「読ま」「読み」「読む」「読め」「読もう」（各活用形）

異表記の一括検索

2.   語彙素読み「ウグイス」

→ 「うぐひす」「鶯」「鴬」

異語形の一括検索

3.   語彙素読み「イズコ」

→ 「イズコ」「イズク」「イドコ」

4. 短単位検索・長単位検索

1. 検索語の条件指定

形態論情報を使った検索では、次の画面で検索条件を設定する

条件指定する属性はデフォルトで「書字形出現形」となっている。検索したい属性（「語彙素」「品詞」など）を選び、右の空欄でその中身を指定する

ボタンで一つの単位について詳細な条件指定を追加できる

4.  語彙素「読む」 +  活用形（の大分類）「連体形」

活用形など選択肢が決まっているものはドロップダウンメニューから選択する

• ここで追加される条件はAND指定（この画面上ではOR指定はできない）

• 誤った検索例：語彙素「読む」 + 語彙素「書く」  →用例数0件

2. 複数単位の組み合わせ（共起・連接）

ボタンでキーの前方に出現する単位を指定

ボタンでキーの後方に出現する単位を指定

• 「キーからor文頭から」「N語or N語以内」のように、共起位置を指定可能

• 前方後方合わせて最大10個まで共起条件を追加できる

検索例5   「言葉」を連体修飾する形容詞
       キー ＝ 品詞「形容詞」 + 活用形（の大分類）「連体形」
          後方共起1（キーから1語）＝ 語彙素「言葉」

☞集計に使いたいもの（この場合は形容詞）をキーの位置に持ってくるのがコツ

条件指定を入力したあとでもボタンで、キーの位置を移動できる

• 係り受け情報はアノテーションされていないので、離れた場所にあるものを修飾している例は取得できず、直後に来ていても必ず修飾しているとは限らない
• 短単位と長単位を組み合わせた検索はできない
• 「検索動作」で「共起条件の範囲」を「文境界をまたぐ」にすると、共起条件に指定した語がキーと異なる文中に出現する結果も検索される
• 「検索動作」で「副本文を検索対象に含む」を選択した時は複数単位の組み合わせ（共起・連接の条件指定）はできない

3. ワイルドカード

語彙素などの検索指定では通常の文字の代わりに、次のワイルドカードが利用できる

%  任意の文字列…0文字以上の文字列、何でも良い

_   任意の１文字

[abc] 文字クラス…括弧内の文字いずれか一文字

[^abc] 文字クラスの補集合… 括弧内の文字以外のいずれか一文字

検索例6   心%           「心」ではじまる「心ばえ」「心地」etc.

検索例7   [をはも]   「を」または「は」または「も」

4. 特殊な検索指定

キーを指定しない検索

前方・後方共起が指定されている場合のキーに限り、「キーの条件を指定しない」をチェックすることにより、条件指定なしで検索することができる

キーの範囲変更

前方・後方共起が指定されている場合、キーに隣接する共起条件の「キーと結合して表示」をチェックすることで、キーに隣接する前後条件を含めて検索結果を表示させることができる

↓

5. 検索にあたっての注意点

・「語彙素」の指定だけでは一意に決まらない場合がある（例：辛い→つらい・からい）

・語彙素レベルで例外なく一意にするには、語彙素・語彙素読み・品詞・語彙素細分類 の４つを指定する必要がある（または語彙素IDを利用する）

・可能動詞は語形レベルで定義されている（「読める」の語彙素は「読む」）

• どのように指定したらいいか分からないときは「文字列検索」で該当する例を検索して確認してみる。用例のサンプルIDをクリックすると前後の単位にどのような形態論情報が付与されているか確認できる。

検索例8     文字列検索で「せむ方なし」を検索

   ↓ 上の赤丸部分をクリックすると下のように文脈が表示される

・ 上の青丸部分をクリックするとジャパンナレッジ『新編 日本古典文学全集』（小学館）へリンクされ、当該ページの本文・現代語訳・注釈を参照できる

6. 副本文を含めた検索

1. 「多重化種別」の表示

「検索動作」の設定画面において「副本文を検索対象に含む」を選択し検索を行うことで、副本文の形態論情報も含めた検索ができる（デフォルトでは「検索対象に含まない」になっている）。副本文とは、和歌における掛詞や人情本などに見られる特殊な振り仮名のような１つの文字列に複数の意味をもたせている箇所に、主たる意味の語とは別に付与した形態論情報である

検索結果が主本文の形態論情報である場合「主本文」の列に「1」、副本文の形態論情報である場合は「0」が表示される。また、「多重化種別」の列に、「掛詞」「振り仮名」などの種別が表示される

 検索例9 「副本文を検索対象に含む」を選択し、語彙素「発つ」を検索

上段の例は、「主本文」欄が「0」となっており、表示されている形態論情報が副本文のものであることがわかる

 検索例10 「副本文を検索対象に含む」を選択し、語彙素読み「タツ」を検索

語彙素「発つ」「断つ」という同じ語彙素読みの語が同一箇所の主本文・副本文となっているため、検索結果に2回現れているので注意が必要である

2. 「層」「層内連番」の表示

 検索結果画面において「層」と「層内連番」はそれぞれ次のような意味を有する

（1）層――該当箇所が有する多重化情報の数。1、2、3 重に情報を有する場合、そ れぞれ 10、20、30 のように 2 桁の数で表示される

（2）層内連番――多重化情報の同じ層内での連番を示す

 ３重に形態論情報が付与されている例

「主本文」1 「層」0（語彙素「尽くす」）

「主本文」0 「層」10（語彙素「澪標」）

「主本文」0 「層」20（語彙素「ツクシ」）

「主本文」0 「層」30（語彙素「櫛」）

上記の検索結果の「層」列にそれぞれ「10」「20」「30」とあるところから、この部分には3層にわたり「掛詞」側の形態論情報が付与されていることが判る  

 層内連番の例

  上図ではいずれの「層」列も「10」と同じだが、「層内連番」列にはそれぞれ「10」「20」とある。このことは「嵐」に 対する多重化情報として「あらじ」が「掛詞」となっており、その同じ層の中で、短単位として「あら」と「じ」とが連続していることが示されている

5. 文字列検索

単位を気にせず、検索したい文字列を入力して検索する。「対象文字列」を「校訂本文」または「原文」から選択することができる。4.3で説明した「ワイルドカード」を使用した検索も可能である

6. 位置検索

サンプルIDと開始位置をカンマ区切りで入力（複数行可。タブ区切りでも可）すると該当例がピンポイントで検索される

検索結果の表示単位は短単位・長単位のどちらかを選べる

※開始位置（＝サンプル中の文字位置にもとづくID）は短単位・長単位で共通

7. 検索条件式

４～６節で紹介した方法によって行った検索の検索条件は、「検索条件式」として履歴に記録される（「履歴で検索」で再検索可能）

検索例5の検索条件式：

キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") AND 後方共起: 語彙素 = "言葉" ON 1 WORDS FROM キー WITH OPTIONS tglKugiri="|" AND tglBunKugiri="#" AND limitToMainText="1" AND limitToSelfSentence="1" AND tglWords="20" AND unit="1" AND encoding="UTF-16LE" AND endOfLine="CRLF"

• 「検索条件式」を使うことで、中納言ユーザーなら誰でも、同じ検索を行うことができる
• 研究の再現性のために論文などで使用した検索条件式を明記するとよい

• 検索条件式を修正することで条件のOR指定が可能

検索例5の修正版（「言葉」または「歌」）：

キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") AND 後方共起: (語彙素 = "言葉" OR 語彙素= "歌" ) ON 1 WORDS FROM キー WITH OPTIONS tglKugiri="|" AND tglBunKugiri="#" AND limitToMainText="1" AND limitToSelfSentence="1" AND tglWords="20" AND unit="1" AND encoding="UTF-16LE" AND endOfLine="CRLF"

• OR, ANDは大文字で、前後に半角スペースを入れる。括弧( )も半角

8. 検索結果

1. 検索結果の表示

検索結果は、見つかった件数と、500件までの該当例が画面上に表示される

500件以上ある場合には表示は500件まで。時代順に表示される

「検索動作」の設定で、文脈中の区切り記号の種類や表示する前後文脈の語数を変更することもできる

2. 検索結果の表示項目

□コーパス情報

  時代名・サブコーパス名・サンプルＩＤ・開始位置・連番・コア・層・層内連番・多重化種別

□形態論情報

  前文脈・キー・後文脈・原文KWIC・語彙素ＩＤ・語彙素読み・語彙素・語彙素細分類・語形・語形代表表記・品詞・活用型・活用形・書字形・仮名形出現形・発音形出現形・語種・原文文字列・振り仮名

□本文情報

  本文種別・話者・文体・歌番号

□作品情報

  ジャンル・作品名・成立年・巻名等・部

□作者情報

  作者・生年・性別

□底本情報

  底本・ページ番号・校注者・出版社

□その他

  底本リンク・参考リンク・permalink

・画面上の「【列の表示】」でチェックボックスをオン・オフすることで、リアルタイムで表示を切り替えられる

3. 検索結果のダウンロード

中納言自身には集計機能はないので、検索結果をダウンロードして利用する

• 検索画面では500例までしか表示されないが、ダウンロード時には最大10万件まで一度にダウンロードできる
• 検索画面の【ダウンロードオプション】で、文字コード等を指定できる

• 使っているパソコンに合わせて自動選択されるが、自分で変更することも可能
• そのままExcelに読み込ませる場合はシステム「Excel(Windows)」が便利

• 「インラインタグを使用」のチェックボックスをチェックしてダウンロードすると、キーの前後10語ずつに、指定した形態論情報が付加される

検索例11   語彙素「中々」（インラインタグ「語彙素」「品詞」）

4. 検索結果に関する注意

共起検索で同じレコードが複数表示されることがある

• たとえば、前方共起条件がキーから３語以内にある名詞である場合、同一のキーから３語以内に２つの名詞があれば、同じIDの行が２度表示される

並び順は無秩序

• ランダム性は保証されない。ランダムサンプリングする際は全件取得後に別途並べ替えを

検索結果が10万件以上ある場合、10万件で切れる

• ダウンロードしたファイルには特に警告がないので注意

9. Excelによる集計（ピボットテーブル）

1. Excelでの集計の流れ

1. 検索結果をダウンロード
2. 検索結果をインポート

• Windows用の標準の形式ならダブルクリックで開ける（拡張子csvのタブ区切りテキスト）
• 開けない場合は「ファイルを開く」ダイヤログでファイルの種類を「テキストファイル」または「全てのファイル」にしてファイルを表示後、選択する

3. ピボットテーブルの挿入

• Excel2007以降は「挿入」タブ左端のボタンをクリック（バージョンによる）

4. ピボットテーブルの作成・集計（9.2参照）
5. ピボットグラフの作成

1. ピボットテーブル

ピボットテーブルの作り方

ピボットテーブル…クロス集計表を作成する機能

検索例12  形容詞の一覧

キー: 品詞 LIKE "形容詞%"
WITH OPTIONS tglKugiri="|" AND tglBunKugiri="#" AND limitToMainText="1" AND limitToSelfSentence="1" AND tglWords="20" AND unit="1" AND encoding="UTF-16LE" AND endOfLine="CRLF"

1. 作りたい集計表の形をイメージ

2. イメージに合わせて行ラベル/列ラベルをドラッグアンドドロップで指定
   （ドロップすべき場所はイメージした表と位置関係が同じ）

3. 自動的に集計表ができる

4. 「▼」ボタンで表示する列・行（＝作品名・語彙素）を絞り込むことができる

5. ピボットグラフボタンでグラフにまとめることもできる