�

応用音響学

第12回 話者認識システム

情報理工学系研究科 システム情報学専攻 講師

齋藤 佑樹

2026年度 応用音響学 講義スケジュール

2

前半

後半

応用音響学 講義の目的

• 前半 (猿渡先生担当)
• 音声分析, 音声符号化, 音声認識, 音声合成, 音響信号処理などに関連する基礎知識について講義する. 応用として, 携帯電話やMP3などの音声音楽情報圧縮技術や音声認識技術・音声合成システムなどがある. 統計的信号処理の基礎, スペクトル解析, パターン認識, 確率モデル, 統計学習, 最適解探策などの基本概念とアルゴリズムを理解し, これらの技術の基礎になる知識と概念の習得を目指す.�
• 後半 (齋藤担当)
• 人間の持つ音知覚・音生成の生理とそのモデリング方法を理解することを目的とし, 知覚と生成をシステムとして記述するための基礎事項について講義する. 応用として, 聴覚モデリング, 生成モデリング, 音声言語の認識合成, 生体認証などがある. これらを理解することで, 音に関する知覚と生成を工学的に扱うための知識の習得を目指す.

3

ここから本日の内容

[復習] 音声のもつ情報と, それを扱う主な技術

5

Linguistic

（言語情報）

Para-linguistic

（パラ言語情報）

Non-linguistic

（非言語情報）

音声認識

話者認識�など

音声感情認識�など

物理

情報

物理

テキスト�音声合成

話者制御�音声合成など

感情音声合成�など

音声の認識と合成は対比される技術 (前者は抽象化, 後者は具現化)

こんにちは

こんにちは

本講義で学ぶこと: 音声の話者を計算機で認識するには?

6

最近の話者認識は本当にすごい

Microsoft Group Transcribe

(2021)

本日の講義内容

• 話者認識とは�
• 話者識別&話者照合とは�
• なりすまし音声検出とは

7

話者認識 (Speaker Recognition)

• 定義: 入力された音声の話者情報を認識する技術
• 即ち, 人間による「音を聴取して話者の情報を聞き取る」行為を�計算機的に模擬する技術�
• 「話者の何を認識するか?」により, さまざまなサブタスクに分類
• 基本的な応用先: セキュリティ (生体認証), 会議書き起こしなど
• c.f. 音声認識 = 発話内容 (言語情報) の認識 (異なる技術だが, 強く関連)

8

話者認識

こんにちは

話者識別 (Speaker Identification)

• 定義: 入力された音声の話者が, 複数の登録済み話者のうち誰かを識別
• 即ち, 人間による「複数話者の声を聞き分ける」行為を�計算機的に模擬する技術
• 機械学習タスク的には: 多クラス分類 (A or B or C or D or …)
• 識別対象となる話者の情報を全て事前に学習しておく必要がある�

9

話者識別

こんにちは

…

…

確率

話者照合 (Speaker Verification)

• 定義: 入力された音声の話者が, 登録済み話者か否かを識別
• 即ち, 人間による「話者の声の真贋を見抜く」行為を�計算機的に模擬する技術
• 機械学習タスク的には: 2クラス分類 (A or Not)
• システムに登録されていない話者 (人間 or 機械) を棄却するタスク
• 音声なりすまし攻撃 (voice spoofing attack)�の重要な対策手段 (anti-spoofing)

10

話者照合

こんにちは

確率

話者ダイアライゼーション (Speaker Diarization)

• 定義: 複数話者の音声から, 誰がいつ話したかを識別
• 即ち, 人間による「話者とその発話タイミングを聞き取る」行為を�計算機的に模擬する技術
• 機械学習タスク的には: 多ラベル系列ラベリング
• 複数話者が同時に発話することもある (発話オーバーラップ)
• 本講義では省略するが, 音声対話理解などの�文脈で非常に重要な技術

11

話者ダイアライゼーション

こんにちは

Hi!

時刻

本講義でカバーする技術

• 機械学習ベースの話者識別・話者照合
• 話者の特徴を機械学習で獲得して多クラス/2クラス分類モデルを構築�
• 機械学習ベースのなりすまし音声検出
• 人間/機械の声の特徴を機械学習で獲得して2クラス分類モデルを構築

12

音声

話者ID

…

認証結果

or Not

話者識別

話者照合

検出結果

or Not

なりすまし

音声検出

話者認識

本日の講義内容

• 話者認識とは�
• 話者識別&話者照合とは�
• なりすまし音声検出とは

13

話者識別・話者照合の基本的な処理フロー

14

• 音声からの特徴量抽出
• 基本的には (メル) スペクトログラム由来の情報�
• 統計モデルの構築
• 音声特徴量の分布をデータ駆動で学習�
• 統計モデルに基づく話者識別/照合
• 学習されたパラメータを用いて話者間の差異を定義 → 識別/照合

音声

結果

特徴量

抽出

統計

モデル

識別/照合

話者識別・話者照合の難しさ

15

• 様々な要因で変動する音声から, 話者の情報のみを抽出すること
• 録音環境/機器の違い, 発声生理のゆらぎ, パラ言語情報の変動, 発話内容
• これらの変動に対し頑健な音声特徴量抽出 & 統計モデル構築が必要�
• なるべく少数の音声から, その話者を認識するモデルを構築すること
• プライバシー保護の観点から, 認識対象話者の音声を大量に収集するのは非現実的

本講義では, GMM / DNN ベースの話者識別・話者照合技術を紹介

音声

結果

特徴量

抽出

統計

モデル

識別/照合

GMM ベースの話者識別/話者照合

音声

結果

特徴量

抽出

GMM

混合正規分布モデル (GMM) を用いた�話者識別・話者照合 (GMM 話者識別/照合)

17

• GMM: データの確率密度関数を複数の正規分布の重み付き和で表現
• 各正規分布の (混合重み, 平均ベクトル, 分散共分散行列) を学習
• モデルパラメータ学習には EM アルゴリズムを用いる (第5回)�
• GMM 話者識別/照合: 話者の音声特徴量の分布 p(o) を GMM で表現
• 「話者の音声特徴量の分布」をどう定義するか?
• 愚直に定義するなら: 話者 s ∈ { 1, …, S } ごとに個別に GMM を用意

…

混合正規分布モデル (GMM) を用いた�話者識別・話者照合 (GMM 話者識別/照合)

18

識別:�各話者の GMM 尤度を計算し,�尤度最大の GMM に�対応する話者 ID を出力

照合:�対象話者 GMM と�非対象話者 GMM の

尤度比を計算し, 検定

[Reynolds95]

混合正規分布モデル (GMM) を用いた�話者識別・話者照合 (GMM 話者識別/照合)

19

P(o は照合対象話者 c の声)�P(o は非照合対象話者の声)�の対数を変形すると,

> θ (閾値) then ACCEPT

「非照合対象話者の声」を近似する複数話者

[Reynolds95]

GMM Universal Background Model を用いた�話者識別・話者照合 (GMM-UBM 話者識別/照合)

20

• ナイーブな GMM 話者識別/照合の問題点
• 識別対象話者の十分な音声データが無いと GMM の学習が困難
• 話者照合における「非対象話者」の音声特徴量分布は定義不可能�
• アイデア: GMM-UBM の導入
• 「人間の音声特徴量」を表す GMM を, 不特定多数の話者のデータで学習
• この GMM-UBM を, 認識/照合対象話者の少量データで適応 (adaptation)

GMM

学習

GMM-UBM

GMM

適応

GMM-UBM の最大事後確率 (Maximum A Posteriori) 適応

21

• 対象話者の観測データを上手く表現するように GMM-UBM を更新
• 前提: 対象話者の音声特徴量 x N が利用可能 →�
• 定式化:
• 第一項: GMM-UBM パラメータが与えられたときの対象話者データの尤度
• 第二項: GMM-UBM パラメータが持つ事前情報�→ 適応後のモデルパラメータは, 最尤推定解と適応前パラメータの和の形�
• 結論: MAP 適応後の GMM 平均ベクトルは次式で計算可能 (導出略)

GMM-UBM の最大事後確率 (Maximum A Posteriori) 適応

22

• 適応後 GMM 平均ベクトルの解釈
• 最尤推定解と UBM 平均ベクトルを, データ量で重み付きして足したもの
• τ は UBM 学習時のサンプル数と適応時のサンプル数で理論的に計算可能
• ただし, 実用上は適当な値を設定してハイパーパラメータとする
• 共分散行列も同様に MAP 適応可能だが, 計算量削減 & 安定のために�平均ベクトルだけ適応することが多い�
• 適応前 GMM との差: 平均ベクトルのズレに起因
• 適応後 GMM 平均ベクトルを混合要素分だけ結合させた超多次元ベクトル� → GMM スーパーベクトル (supervector)
• GMM スーパーベクトルを特徴量として, support vector machine などの�識別モデルを構築することも多い
• 適応後 GMM と UBM の尤度比を計算すれば, 話者照合が可能

i-vector を用いた話者識別・話者照合

23

• GMM スーパーベクトルの問題点
• 高次元 → 学習データが少ない場合に推定が不安定 & メモリ非効率�
• アイデア: GMM スーパーベクトルを因子分析で低次元化
• ある低次元な話者潜在変数を u とし, スーパーベクトル m の分布が� というガウス分布で表されると仮定
• T と Σ はそれぞれ全変動行列 (低ランク矩形行列) と (対角) 分散共分散行列
• EM アルゴリズムにより推定
• 潜在変数 u は i-vector と呼ばれ, 標準正規分布を事前確率とした �MAP 推定により求められる (詳細は省略)
• “i” は “identity” の i もしくは “intermediate” の “i”
• i-vector 空間でのコサイン類似度や確率的線形判別分析 (PLDA) により,�話者識別/照合が可能

DNN ベースの話者識別/話者照合

音声

結果

特徴量

抽出

DNN

GMM から DNN へ

25

• GMM-UBM: 大量の音声データから「人間の声らしさ」を事前学習
• ただし, 表現できる音声特徴量の分布は GMM に限定される�
• DNN 話者識別/照合: DNN で話者特徴量を抽出 → 識別/照合
• DNN の非線形変換により, 話者識別/照合に適した表現を獲得可能
• さまざまな DNN アーキテクチャや学習法が存在するが,�本講義では以下の代表的なものだけを紹介
• d-vector
• x-vector
• Generalized End-To-End (GE2E) 学習

d-vector / x-vector を用いた話者識別・話者照合

26

• 共通アイデア: 話者識別に基づく DNN 学習 → 照合向け特徴量抽出
• DNN の出力層を話者識別向けに設計し,�隠れ層の一部 (典型的には出力層の一つ手前) を特徴量抽出向けに設計
• 抽出された特徴量は話者埋め込み (speaker embedding) と呼ばれる�

d-vector

x-vector

[Variani+14]

[Snyder+18]

GE2E 学習を用いた話者識別・話者照合

27

• アイデア: 話者埋め込み空間内の距離に基づく話者照合規範で学習
• 実際に話者照合時に使う尺度で話者埋め込みを最適化

[Wan+18]

話者識別/話者照合システムの評価

音声

結果

特徴量

抽出

or

識別/

照合

話者照合システムの評価

• 基本的には2クラス分類タスクでの性能評価と同じ
• クラス = 照合対象話者 or その他 を正しく分類できたかどうかを評価
• 主な応用先はセキュリティであるため, 誤り率の評価が特に重要�
• 混同行列 (confusion matrix): 正解/予測の関係を行列で表現

他人受入率 (False Acceptance Rate) と�本人拒否率 (False Rejection Rate)

他人を照合対象として受け入れた割合

照合対象をその他として拒否した割合

等価エラー率 (Equal Error Rate)

• 照合の閾値を変えたときに FAR = FRR となる点の誤り率
• FAR と FRR はトレードオフの関係 → どちらも低くなることが理想
• EER が低い → 良い話者照合システム

FAR

FRR

閾値 (これより小さい場合棄却)

0

1

EER

話者識別システムの評価

• 基本的には多クラス分類タスクでの性能評価と同じ
• クラス = 話者 を正しく分類できたかどうかを評価
• 「正解話者 or Not」が話者数分だけ存在するとみなし,�話者照合システムと同様に評価することもある
• 基本的な評価指標は Accuracy

正解

予測

本日の講義内容

• 話者認識とは�
• 話者識別&話者照合とは�
• なりすまし音声検出とは

33

34

最近のなりすまし音声は本当にすごい

Elon Musk’s deepfake

(2022)

代表的な音声なりすまし攻撃手段

35

• 生体認証に対するなりすまし攻撃
• 正規ユーザの認証情報を偽造/盗用してアクセスを試みる行為
• 指紋コピー, 顔写真, 3Dマスク, 録音された音声, etc.
• 防御策: 多因子認証や生体 (liveness) 検出 �
• 音声なりすまし攻撃: 話者識別・話者照合システムを騙す攻撃
• 録音音声の再生, 声真似
• テキスト音声合成 (TTS) や声質変換 (VC) の利用
• 生成 AI 技術の進展に伴いディープフェイク生成が高度化し,�その被害も深刻化 (虚偽の広告配信, 風評被害など)

なりすまし音声検出の基本的な処理フロー

36

ACCEPT

照合�対象

話者照合

その他

REJECT

攻撃者

攻撃�(e.g., VC)

なりすまし

音声検出

REJECT

なりすまし音声検出タスクの種類

37

攻撃者

攻撃�(e.g., VC)

なりすまし

音声検出

REJECT

• 物理アクセス (Physical Access)
• なりすまし音声検出システムに備え付けられたマイクに音声入力
• 主に録音再生攻撃を想定するが, TTS/VC での攻撃も含む�
• 論理アクセス (Logical Access)
• システムへ直接なりすまし音声を入力
• テキスト音声合成 (TTS) や声質変換 (VC) の利用を想定�(近年では, より高度なタスクとしてディープフェイクタスクも存在)

音声なりすまし攻撃への対処

38

攻撃者

攻撃�(e.g., VC)

なりすまし

音声検出

REJECT

• 物理アクセスへの対処
• 録音再生プロセスで生じる歪みに着目
• 収録環境のバリエーションが多く, シミュレーションが困難�
• 論理アクセスへの対処
• 合成音声特有のアーティファクトなどに着目
• データを人工的につくりやすいため, 機械学習モデルの構築が比較的容易
• 攻撃のバリエーション (何の TTS/VC モデルを使うか) は多いが,�収録環境の影響は少ない

なりすまし音声検出モデルの構築

39

攻撃者

攻撃�(e.g., VC)

なりすまし

音声検出

REJECT

• 機械学習タスクとしての解釈
• 人間の実発話は受理し, なりすまし音声は棄却する2クラス分類タスク�
• 2クラス分類という観点では話者照合と類似する. ただし…
• 「人間の実発話」も「なりすまし音声」も, どちらも分布が ill-defined
• 前者は GMM-UBM や DNN ベース話者埋め込みで特徴量空間を構築可能
• 後者は国際コンペティション ASVspoof で公開された�様々ななりすまし音声サンプルを含む大規模データベースを用いて学習�
• 評価も話者照合と同様 (EER など)

なりすまし音声検出は難しい

• 人間の声/なりすまし音声を可視化
• x-vector を抽出し, t-SNE で圧縮�
• いくつかのなりすまし音声は,�人間の声 (bona fide) と近接
• A12 (WaveNet), A16 (波形接続) など�
• 物理アクセスタスクだとさらに困難
• ASVspoof 2021 の結果より,�ディープフェイクの検出よりも困難�であることを示唆
• 音響伝達シミュレーションの難しさに起因?

[Wang+20]

まとめ

まとめ

• 話者認識とは
• 入力された音声の話者情報を認識する技術
• 人間の「声を聞いて誰かを認識する」能力の計算機的模擬�
• 機械学習ベースの話者識別・話者照合
• 話者識別 = 登録済み話者のうち誰かを予測 (多クラス分類)
• 話者照合 = 登録済み話者かどうかを予測 (2クラス分類)
• GMM-UBM, i-vector, d-vector, x-vector, GE2E 学習�
• 機械学習ベースのなりすまし音声検出
• 物理アクセス/論理アクセス
• 非常に難しい (特に物理アクセス)

42

参考文献

43

• 小川哲司, 塩田さやか 著, “i-vector を用いた話者認識”,�日本音響学会 論文誌 解説記事, 2014.�
• 塩田さやか 著, “音声を用いた生体認証技術, 話者照合ソフトウェア入門”, システム/制御/情報 解説記事, 2018.�
• 俵直弘 著, “話者認識システムとなりすまし対策”,�日本音響学会 論文誌 解説記事, 2022.