1 of 33

Python × 信号処理入門！

スペクトログラムで視る音の世界

2025.9.27(Day2)

10:20-10:50

wat

@watlablog

PyCon JP 2025

Python × Signal Processing! The Sound World Visualized with Spectrograms

/32

2 of 33

1

自己紹介
このトークについて
Pythonで信号処理をするメリット
環境構築
音声分析のために知っておくべき基礎知識
スペクトログラムの描き方
色々な音の可視化結果
まとめ

/32

3 of 33

2

1.自己紹介お前誰よ？

名前：wat (Kenta WATANABE)
職業：電機メーカーの機械設計者�　　　音振動、�　　　熱流体関連のシミュレーションや実験
趣味：

Python （2019年〜）
ピアノ (独学)
囲碁 (アマ五段くらい)

Python活動：

Python系技術ブログ「WATLAB」運営�https://watlab-blog.com/
pyhackに定期的に参加�https://pyhack.connpass.com/
著書「いきなりプログラミングPython(翔泳社)」�https://www.shoeisha.co.jp/book/detail/9784798184869

@watlablog

/32

4 of 33

3

2.このトークについて

このトークを聴くことで持ち帰れること

Pythonで録音や信号処理をする時の基礎知識�→是非本トークをきっかけに�　信号処理プログラミングをしてみてください。

github.com

このトークで話さないこと

信号処理の細かい話�（ISO規格, 窓関数と振幅補正係数, パワースペクトルと振幅, 実効値, 聴感補正…）
数式の詳細な説明
コードの詳細な説明

watlab-blog.com

/32

続いて、このトークについて簡単に概要を説明します。

このトークを聴くことで、Pythonで録音したり信号処理したりする時の基礎知識を持ち帰ることができるように構成してみました。

是非本トークをきっかけに信号処理プログラミングの世界に入門してみてください。

トークやスライドの中には全コードを載せていませんが、サンプルコードはgithubにアップロードしました。

後でスライドは公式ページにもアップロードされると思います。各ページには関連のQRコードを載せているので、興味のある方はこのトークの後にやってみてください。

また、このトークでは主に時間の都合で以下のことを話しません。

一つ目は信号処理の細かい話です。

このトークで紹介する信号処理だけでも十分実際の分析には使えるものですが、規格に則った厳密な処理をしようとすると結構細かい話がたくさんでてきます。そういった話をする時間はないので、トークもコードもラフなものになっていることをご承知おきください。

数式やコードの詳細な説明も、時間の都合上ラフな説明になりますので、是非肩の力を抜いて聞いていただければと思います。

これらに興味のある方は、WATLABブログの「信号処理」カテゴリを読むことで参考になるかもしれませんので、是非ブログにアクセスしてみてください。

90s

5 of 33

4

自己紹介
このトークについて
Pythonで信号処理をするメリット

豊富なライブラリ群との連携

環境構築
音声分析のために知っておくべき基礎知識
スペクトログラムの描き方
色々な音の可視化結果
まとめ

/32

6 of 33

5

3.1.豊富なライブラリ群との連携

波形データ

信号処理

可視化

GUI

最適化

配布

音声

加速度

電圧

株価

アクセス数

・・・

機械学習

・・・

PyAudio

NumPy

NumPy, SciPy, librosa...

Matplotlib, Plotly, PyVista...

PyTorch, scikit-learn...

SciPy, Platypus...

Tkinter, PyQt5, kivy...

Pyinstaller, Nuitka...

世の中は信号で溢れている！

波形データに変換できるものは信号処理可能！

「こんなことができるかな？」と

思ったものは大体Pythonでできる！

社内に高価な信号処理ソフトはあるけど、

なんでもできる反面使い方が複雑…。

あと、かゆい所に手が届かないんだよな…。

OSS開発が活発（感謝！）

時間と大きさのデータ

/32

こちらのページは、中心に信号処理を据えて、左側に入力データ、右側に応用処理を配置したイメージ図です。

まず左側ですが、この世の中は多くの信号で溢れています。

例えばブログのアクセス数、株価、音声の他に、アナログ信号としてデバイスの加速度や電子機器の電圧といったものもすべて信号です。

これらの信号はすべて時間に対する大きさという情報を持っています。

時間と大きさのデータは通常波形データと呼びますが、波形データに変換できるものは信号処理をすることが可能です。

と、ここまでなら専門の信号処理ソフトを使うことで非常に効率的に分析ができます。

自分の所属している会社にも高価な信号処理ソフトはありますが、そういったソフトはなんでもできる反面、使い方が複雑な場合も少なくありません。

また、分析結果を使ってプラスアルファのことをする時に結構面倒だったりします。

そんなとき、Pythonの強みが活きてきます。

右側には信号処理をした結果の応用例を示しています。

Pythonを使えば可視化以外にも、機械学習モデルを構築して信号の分類を行ったり、

分析結果から得られた応答曲面を使って最適化計算をしたり、GUIアプリ化や配布も簡単にできます。

「こんなことができるかな？」と思ったものは大体Pythonでできるというのが、自分が感じていることです。

これはひとえにOpen Source Softwareの開発が活発である結果だと思うので、我々利用者としては大変ありがたいと思っています。

120s

7 of 33

6

3.1.豊富なライブラリ群との連携

波形データ

信号処理

可視化

GUI

最適化

配布

音声

加速度

電圧

株価

アクセス数

・・・

機械学習

・・・

PyAudio

NumPy

Matplotlib, Plotly, PyVista...

PyTorch, scikit-learn...

SciPy, Platypus...

Tkinter, PyQt5, kivy...

Pyinstaller, Nuitka...

本日は音声信号を可視化する処理を紹介

NumPy, SciPy, librosa...

/32

8 of 33

7

このトークについて
自己紹介
Pythonで信号処理をするメリット
環境構築

初心者におすすめの開発環境

音声分析のために知っておくべき基礎知識
スペクトログラムの描き方
色々な音の可視化結果
まとめ

/32

9 of 33

8

4.2.初心者におすすめの開発環境

Python本体

公式(https://www.python.org/)のPython

仮想環境

venv

エディタ（IDE）

JupyterLab
VSCode
PyCharm

環境構築についてもっと知りたい方は

本日午後の「開発環境の整え方ライブデモ」も

参考になると思います。

/32

10 of 33

9

自己紹介
このトークについて
Pythonで信号処理をするメリット
環境構築
音声分析のために知っておくべき基礎知識

測定
周波数分析

スペクトログラムの描き方
色々な音の可視化結果
まとめ
リアルタイムスペクトログラムのデモ

/32

11 of 33

10

5.1.測定：PyAudioによる録音

def record(index, samplerate, fs, duration):

"""録音する関数"""

pa = pyaudio.PyAudio()

# ストリームの開始

data = []

stream = pa.open(format=pyaudio.paInt16,

channels=1,

rate=samplerate,

input=True,

input_device_index=index,

frames_per_buffer=fs)

# フレームサイズ毎に音声を録音していくループ

for i in range(int(((duration * samplerate) / fs))):

frame = stream.read(fs)

data.append(frame)

# ストリームの終了

stream.stop_stream()

stream.close()

pa.terminate()

Sample/record.py

PyAudioの準備

チャンネル数

デバイス番号

https://github.com/watlablog/pyconjp2025-wat

PyAudio�クロスプラットフォームなオーディオライブラリ。�Linux, Windows, macOS等でPythonを使った�オーディオの再生・録音が簡単にできる。�
チャンネル数�1 = モノラル�2 = ステレオ�
デバイス番号�オーディオデバイスの指標^{※環境毎に番号は異なる}

Check Point !：オーディオデバイスとは？

オーディオデバイス：音声を再生したり録音したりする機器

指標=

コピペで動くコードはこちら

/32

まずはPythonで録音する時に知っておくべきことを紹介します。

Pythonでは外部ライブラリであるPyAudioを使って録音するのが最も簡単です。

PyAudioはクロスプラットフォームなオーディオライブラリで、

LinuxやWindows、macOS等でPythonを使ったオーディオの再生や録音が簡単にできるものです。

右側には、PyAudioを使ったPythonコードの例を示しています。

このトークでは各ページに対応するコード全文に右下のQRコードからアクセスすることができます。

各スライドに説明の意味がわかるようになったら、コピペで動作するような簡単な内容にしているので、是非あとで遊んでみてください。

コードの説明ですが、

まずはじめにPyAudioの準備としてインスタンスを生成します。最初に録音のための設定をしますが、特に重要な用語として、「チャンネル数」と「デバイス番号」があります。

このサンプルではチャンネル数はchannelsで1と指定していますが、この数字はモノラルかステレオの選択を意味しています。

マイク等の録音デバイスの仕様を見て対応可否を確認する必要はありますが、今回はシンプルにモノラルで録音します。

デバイス番号はinput_device_indexで指定しますが、これはオーディオデバイスの指標を意味しています。

オーディオデバイスというのは、音声を再生したり録音したりする機器のことです。最近ではオンライン会議も当たり前に開催されるので、多くのラップトップPCにマイクが付いています。

みなさんのPCのマイクやスピーカーには内部的に番号が割り振られており、この番号を指定することで好きなデバイスで録音をすることができます。

先ほど紹介した書籍では、このオーディオデバイスを検索する方法も書いてますが、とりあえず動かすだけであれば、数値を0, 1, 2…と変更して正常に動く数値を使っていけば問題ないです。

150s

12 of 33

11

5.1.測定：ビット数とサンプリングレート

def record(index, samplerate, fs, duration):

"""録音する関数"""

pa = pyaudio.PyAudio()

# ストリームの開始

data = []

stream = pa.open(format=pyaudio.paInt16,

channels=1,

rate=samplerate,

input=True,

input_device_index=index,

frames_per_buffer=fs)

# フレームサイズ毎に音声を録音していくループ

for i in range(int(((duration * samplerate) / fs))):

frame = stream.read(fs)

data.append(frame)

# ストリームの終了

stream.stop_stream()

stream.close()

pa.terminate()

Sample/record.py

ビット数

サンプリングレート

ビット数を上げると縦軸の解像度が増える

サンプリングレート samplegrate

=1[s]間あたりに記録するデータ点の個数

例）samplerate = 44100[Hz]

→1[s]間に44100ポイントのデータ点

https://github.com/watlablog/pyconjp2025-wat

/32

続いてビット数とサンプリングレートについて説明します。

先ほどの設定のなかに、formatという項目があり、この例ではpyaudio.paInt16というものが入っています。

これは16ビットで録音するという意味です。

左側には、録音して得られた波形のイメージを示しておりますが、このビット数が変わると縦軸の解像度が変わります。

ビット数を、例えば24ビット等に設定すると、16ビットよりも解像度が増えるので、より表現力が上がります。

またrateにはサンプリングレートを指定します。

サンプリングレートとは、1秒間あたりに記録するデータ点の個数を意味します。

1秒間あたりに何個、という表現は周波数の考え方と同じなので、単位はHzになります。

例えば、CD音源のサンプリングレートは44100[Hz]ですが、これは1秒間に44100ポイントのデータを記録するという意味になります。

この波形はイメージなので粗いですが、実際に記録されるデータは点だけなので、このサンプリングレートが大きくなればなるほど、細かい波を記録することができるようになります。

つまり、ビット数とサンプリングレートは波形データの解像度を決めるための重要な要素ということです。

デジカメでいうところのピクセル数だと思えば、理解しやすいかも知れません。

150s

13 of 33

12

5.1.測定：フレーム処理による録音

def record(index, samplerate, fs, duration):

"""録音する関数"""

pa = pyaudio.PyAudio()

# ストリームの開始

data = []

stream = pa.open(format=pyaudio.paInt16,

channels=1,

rate=samplerate,

input=True,

input_device_index=index,

frames_per_buffer=fs)

# フレームサイズ毎に音声を録音していくループ

for i in range(int(((duration * samplerate) / fs))):

frame = stream.read(fs)

data.append(frame)

# ストリームの終了

stream.stop_stream()

stream.close()

pa.terminate()

Sample/record.py

フレームサイズ

https://github.com/watlablog/pyconjp2025-wat

ループ処理�で録音

フレームサイズ f_s

録音時間 duration

録音時間

.appendでフレーム毎に録音した�データを接続

Check Point !：データ点の総数N_Pointとループ数N_Loop

/32

続いて、録音をする時のフレーム処理についてふれておきます。

コードの設定部分において、frames_per_bufferという項目がありますが、ここにフレームサイズを設定します。

指定されたフレームサイズで、forループを回し、実際の録音処理を行います。それがこの部分です（コードを示す）。

このコードは指定した録音時間durationで波形を取得する動作を書いています。

Durationは秒数なので、サンプリングレートをかけることで全体の秒数をデータの点の個数に変換することができます。

それをさらにフレームサイズで割ることで、forループを何回回せば指定した秒数のデータが取得できるかを求めることができます。

ここまで求めれば、forループで指示ができます。

言葉だけだとわかりにくいと思うので、こちらにGIF動画を作成しました。

これはある一定のフレームサイズで波形データを取得していく様子を表現しています。

毎回のループでデータが蓄積されているのがわかると思いますが、これは.appendでフレーム毎に録音したデータを接続しているという処理になります。

ここまでを理解することができれば、Pythonを使って録音処理を書くことができ、波形データを取得することができるようになったといえます。

100s

14 of 33

13

5.2.周波数分析：フーリエ変換（時間波形と周波数波形の関係）

時間波形と周波数波形は互いに変換できる

フーリエ変換

時間波形

周波数波形

振幅

周期

周波数

振幅

逆フーリエ変換

Sample/fourier_transform.py

https://github.com/watlablog/pyconjp2025-wat

/32

続いてフーリエ変換の説明です。

先ほどのコードで録音したデータは、横軸が時間、縦軸が音の大きさを意味する振幅で表現された「時間波形」です。

この時間波形をフーリエ変換することで、周波数波形に変換できます。

この波形は1秒間で一回の振動をしているサイン波なので、1[Hz]の振動をしていることがわかります。

また、振幅は1の大きさをもっているので、周波数波形としても1[Hz]のところに1の振幅が記録されます。

ちなみに、逆フーリエ変換という処理をすると、この周波数波形を時間波形に変換することもできます。

ここに記載している式はコンピューターでフーリエ変換を行うための離散フーリエ変換と離散逆フーリエ変換を示していますが、このように時間波形と周波数波形は互いに変換できるという特徴を持ちます。

この概念がこれからスペクトログラムを描く時に重要となってきます。

80s

15 of 33

14

複雑な波も単純な波の重ね合わせで表現できる

フーリエ変換

時間波形

周波数波形

逆フーリエ変換

Sample/fourier_transform.py

https://github.com/watlablog/pyconjp2025-wat

5.2.周波数分析：フーリエ変換（時間波形と周波数波形の関係）

/32

16 of 33

15

フーリエ変換

逆フーリエ変換

時間波形

周波数波形

+

複雑な波も単純な波の重ね合わせで表現できる

Sample/fourier_transform.py

https://github.com/watlablog/pyconjp2025-wat

5.2.周波数分析：フーリエ変換（時間波形と周波数波形の関係）

/32

17 of 33

16

5.2.周波数分析：リアルワールドの波形例

実際の音声はかなり複雑

フーリエ変換

逆フーリエ変換

時間波形

周波数波形

Sample/fourier_transform.py

https://github.com/watlablog/pyconjp2025-wat

/32

18 of 33

17

5.2.周波数分析：リアルワールドの波形例

実際の音声はかなり複雑

フーリエ変換

逆フーリエ変換

時間波形

周波数波形

Sample/fourier_transform.py

https://github.com/watlablog/pyconjp2025-wat

Check Point !：dB（デシベル）

実際の音は大きい振幅や小さい振幅が混ざっている。

dB表示は大小さまざまな振幅を一望するのに便利。

音の基準:0dB=20[μPa]

/32

ここで一つ重要な要素として、デシベルというのを紹介します。

リアルワールドの音声は、振幅が大きいものから小さいものまで非常に多くの成分が混ざっています。

振幅が小さいからといって無視していると、重要な洞察ができないケースも多々あるため、音声分析は振幅を対数スケールにすることができるデシベル変換を使うのが一般的です。

参考までに計算式を載せていますが、Linというのがデシベル変換前のリニアスケールの振幅です。デシベル変換には0dBの時の基準値を使って常用対数の計算をします。音の場合は0dBの時に20μPaであるという定義が国際的にされています。

この周波数波形はデシベル変換後の振幅を使っていますが、250[Hz]以下の大きな振幅の他に、800[Hz]程度のところにも特徴的なピークがあることがわかるようになりました。つまり、全周波数範囲で結果を一望するのにデシベル変換は役に立ちます。

80

19 of 33

18

自己紹介
このトークについて
Pythonで信号処理をするメリット
環境構築
音声分析のために知っておくべき基礎知識
スペクトログラムの描き方

スペクトログラムとは？
スペクトログラムの処理手順
スペクトログラムの分解能について

色々な音の可視化結果
まとめ

/32

20 of 33

19

6.1.スペクトログラムとは？

周波数

時間

振幅

周波数の時間変化

振幅の時間変化

視ればどんな音なのかがわかる音声可視化方法

Check Point !：カラーマップ

スペクトログラムは振幅の大きさにカラーマップ

を使っている。カラーマップはMatplotlibで簡単に

指定することができる。

例）cmap='jet'

jet

coolwarm

小

大

※口笛の音声

Sample/spectrogram.py

https://github.com/watlablog/pyconjp2025-wat

😗

/32

スペクトログラムとは、簡単にいえば、視ればどんな音なのかがわかる音声可視化手法です。

こちらに表示しているグラフがスペクトログラムの例ですが、横軸に時間、縦軸に周波数、そして振幅の大きさを色で表現したものをスペクトログラムと呼びます。

色はカラーマップというあらかじめ値によって色がマップされた配列を使っていますが、これは自分でつくる必要はなく、matplotlibという可視化用の外部ライブラリを使って簡単に設定することができます。

実際に音声を聞いてみましょう。これは自分の口笛の音声です。

口笛の音程変化が周波数変化としてよくわかり、途中で息が続かず振幅が小さくなっているのもよくわかります。

90s

21 of 33

20

6.2.スペクトログラムの処理手順

STFT（Short-Time Fourier Transform）

全体時間波形からフレームを抽出

フレーム単位でフーリエ変換

スペクトログラムにデータを蓄積

Sample/spectrogram.py

https://github.com/watlablog/pyconjp2025-wat

/32

22 of 33

21

6.2.スペクトログラムの分解能について

フレームサイズが大きい：周波数分解能が上がる⤴️/時間分解能が下がる⤵️
フレームサイズが小さい：周波数分解能が下がる⤵️/時間分解能が上がる⤴️

Sample/spectrogram.py

https://github.com/watlablog/pyconjp2025-wat

/32

23 of 33

22

6.2.スペクトログラムの分解能について

Sample/spectrogram.py

https://github.com/watlablog/pyconjp2025-wat

オーバーラップ率=0%

オーバーラップ率=50%

オーバーラップ率を上げることで時間方向の分解能が上がる

/32

また、スペクトログラムを綺麗に見せる処理に、オーバーラップ処理というものがあります。

上の図のように、前のフレームの終端から次のフレームの開始点がはじまるように処理する場合と比べ、

前のフレームの終端ではなく、前のフレームと重ね合わさった位置を開始点とするように処理をする方法をオーバーラップ処理と呼びます。

オーバーラップ処理は、何％重ねるかという設定を行いますが、この処理をすることで時間方向の分解能を上げることができます。

つまり、先ほどのフレームサイズをやや大きくとって周波数方向の分解能を上げた上で、このオーバーラップ処理を行うことで、時間方向の分解能低下を軽減することが可能です。

50s

24 of 33

23

自己紹介
このトークについて
Pythonで信号処理をするメリット
環境構築
音声分析のために知っておくべき基礎知識
スペクトログラムの描き方

スペクトログラムとは？
スペクトログラムの処理手順
スペクトログラムの分解能について

色々な音の可視化結果
まとめ

/32

25 of 33

24

7.1.色々な音の可視化結果

/32

26 of 33

25

7.1.色々な音の可視化結果

アブラゼミの鳴き声

/32

27 of 33

26

7.1.色々な音の可視化結果

/32

28 of 33

27

7.1.色々な音の可視化結果

ミンミンゼミの鳴き声

/32

29 of 33

28

7.1.色々な音の可視化結果

/32

30 of 33

29

7.1.色々な音の可視化結果

ピアノの音

/32

31 of 33

30

7.1.色々な音の可視化結果

減衰振動

打鍵

ハンマー

弦

SciPy odeintによる弦振動のシミュレーション結果

/32

この四角で囲った部分はG#のオクターブ打鍵部分ですが、時間波形を見ると最初の打鍵から振動がどんどん小さくなっていく様子がわかります。

これは振動の分野では「減衰振動」と呼ばれる現象です。

Pythonは物理シミュレーションをするのも得意なので、ちょっとピアノの簡易モデルを見立ててシミュレーションしてみた結果がこちらです。

ピアノはキーを押すと、ハンマーが弦を叩くことで音を鳴らしますが、弦に初期的に力をかけてあげるとだんだんと振幅が小さくなっていく減衰振動を再現することができます。このように、音がこの形で視える理由はなんなんだろう、という疑問を考察するのにもPythonは非常に便利ですね。

50s

32 of 33

31

自己紹介
このトークについて
Pythonで信号処理をするメリット
環境構築
音声分析のために知っておくべき基礎知識
スペクトログラムの描き方
色々な音の可視化結果
まとめ

/32

33 of 33

32

8.まとめ

このトークで説明した内容

録音/フーリエ変換/スペクトログラム描画をする方法
スペクトログラムの見方

スペクトログラムの応用

スペクトログラムはCNN（畳み込みニューラルネットワーク）�の入力データに使用可能�→異常検知、音声分類等のアプリケーションに活用可能

スペクトログラムで色々な音を可視化してみましょう！

/32

本日のトークでは、録音やフーリエ変換、スペクトログラムを描画する方法について説明しました。

また、スペクトログラムの見方について、事例を使いながら説明しました。

スペクトログラムは見て楽しむ以外にも非常に役にたつ技術です。

スペクトログラムは画像データです。そのため、畳み込みニューラルネットワークの学習データに応用することができます。

音声データのスペクトログラムを学習データとすることで、異常な音を判定するシステムや、音声の分類等ができるアプリケーションを作成することに活用可能です。

もちろん音を目でみて楽しむ用途で使っても面白いですが、音声系の機械学習モデルを使ったアプリケーションをつくってみても面白いと思います。

それでは本日は私のトークをお聞きいただきありがとうございました。以上です。

45s