経済学ワークショップ２

第10回：データの前処理

もくじ

• 欠損値の見つけ方(P178-181)
• 欠損値の処理方法(P182-188)
• ダミー変数の作り方(P198-204)

はじめに

(Q)データの基本統計量, 可視化, 仮説検定と進めてきましたが, 次は何をすればよいでしょうか?

(A)次はより発展的な分析として回帰分析を紹介しますが, 回帰分析に入る前にデータの前処理について説明します. データに欠損値が含まれていたり, カテゴリー変数がある場合そのままでは回帰分析ができないからです.

3

欠損値の見つけ方

欠損値とは(P179)

⇒本来データが入っているべきセルにデータが入っていない状態のこと. 空白であったり, 「NA」や「－」などが入力されていることもある.

⇒標本調査の際に未回答であったり, ある時点から調査項目から外れたりする場合に, 欠損値が生じることがあります.

4

欠損値の見つけ方

欠損値の調べ方(カテゴリーデータの場合)

• =COUNTA(セル範囲)コマンドを商品IDなどに使って, 全データ数をカウントする.
• 欠損値の状況を調べたい変数についても同様に, =COUNTA(セル範囲)によりデータ数を調べる.
• 上の二つの結果の差が調べたい変数の欠損値の数となる

5

欠損値の見つけ方

欠損値の調べ方(数値データの場合)

• =COUNTA(セル範囲)コマンドを商品IDなどに使って, 全データ数をカウントする.
• 欠損値の状況を調べたい変数について, =COUNT(セル範囲)によりデータ数を調べる
• 上の二つの結果の差が調べたい変数の欠損値の数となる

6

欠損値の見つけ方

COUNTA関数とCOUNT関数(P181)

• COUNTA関数 … セル範囲に空白ではないセルがいくつあるかを数える
• COUNT関数 … セル範囲に数値が入っているセルの個数を数える

(注意)COUNTA関数はセルに数式が含まれている場合や, 0やNA, －が含まれている場合にそれらを欠損値として扱いません.

7

欠損値の見つけ方

欠損値の調べ方(別バージョン)

• 「データ」タブから「フィルター」を選択する
• データラベルにプルダウンメニューが表示されたことを確認する
• プルダウンメニューを開き(すべて選択)のチェックをはずす
• 欠損値に対応する値(空白のセル, 0, NAなど)を指定する

8

欠損値の見つけ方

(練習)練習用ファイル「chap5.xlsx」の「chap5-1-1」のシートを開き, F4からF6にそれぞれのデータの数を計算しよう. 「chap5-1-2」シートについても同様に計算しよう.

9

欠損値の見つけ方(まとめ)

10

欠損値の処理方法

欠損値が見つかった際の処理の方法(P182)

• 欠損値を除外する
• 欠損値を別の値で補完する

※変数がカテゴリーデータか数値データかで, 補完方法はやや異なります.

11

欠損値の処理方法

カテゴリーデータの欠損値を補完する場合(P182-P183)

1. 欠損のある行を削除する
2. その列で出現頻度の一番高いカテゴリで補完する
3. 「欠損あり」や「その他」といった新たなカテゴリーに分類する

12

欠損値の処理方法

数値データの欠損値を補完する場合(P183-P184)

1. 欠損のある行を削除する
2. 0で補完する … 0あるいは0付近の値が多い場合
3. 平均値で補完する … 平均値と中央値で違いがほとんどない場合
4. 中央値で補完する … 平均値と中央値が大きく異なる場合

13

欠損値の処理方法

カテゴリーデータの欠損値を最頻値で補う方法(P184-P186)

• IF関数を使ってデータを補完する(IF関数はIF(条件式, 条件式が真の場合の値, 条件式が偽の場合の値)という関数)
• 条件式に「=""」(欠損値ならば)を入力し, 条件式が真の場合の値のところに「"最頻値"」を入力する

14

欠損値の処理方法

(練習)「chap5-1-1」を開き, 「タイプ_修正後」の列に欠損値を最頻値で補完したデータを作成してみよう. (※最頻値はピボットテーブルから青果物とわかります. )

15

欠損値の処理方法(まとめ)

16

ダミー変数の作り方

回帰分析

⇒「ある変数が○○だけ変化した場合に, 別の変数が△△だけ変化する」という関係を, データから定量的に推測する方法.

カテゴリーデータ

⇒ 性別や都道府県などのように, データが数値ではなく文字として入力されているもの.

17

ダミー変数の作り方

回帰分析はデータの量的な関係を評価する方法なので, カテゴリー変数との相性が悪い.

⇒カテゴリーデータを数値情報に置き換える

⇒回帰分析でも使用できる

⇒ダミー変数

18

ダミー変数の作り方

ダミー変数(P198-P199)

⇒カテゴリー変数の各カテゴリに対して, それぞれそのカテゴリに該当するかどうかを０か１で表現するもの.

(例) 女性ダミー … 女性なら1, 男性なら0をとる変数

大卒ダミー … 大卒なら1, そうでないなら0をとる変数

近畿ダミー … 近畿圏であれば1, そうでなければ0をとる変数

19

ダミー変数の作り方

※ダミー変数を作成する際の注意点(P200-P201)

• 一つのカテゴリを除いて, それ以外のカテゴリについてダミー変数を作成します.
• 直感的には, 一つのカテゴリを除いたダミー変数を作れば除かれた一つはおのずとわかるからです.

20

ダミー変数の作り方

ダミー変数の作り方(P201-204)

• IF関数を使って作成する
• 条件式に, カテゴリデータがある特定のカテゴリに一致するという条件を入力する.
• 条件が真の場合は1を, 偽の場合は0をとるように指定する.
• オートフィルを利用して, その他の行のダミーの値を計算する.

21

ダミー変数の作り方

(練習)ファイル「chap5-4」を開き, 「タイプ_アルコール類」と書かれた列にアルコール類ダミー変数を作成してみよう.

​

22

ダミー変数の作り方(まとめ)

23