1 of 8

2022.08.11

제네시스랩 신재영

ICLR 2020

2 of 8

Previous Work

Wav2Vec

CNN 기반으로 speech data 자체의 general representation 학습

Contrastive Predictive Coding(CPC) 적용:

음성 내에 전반적으로 공유정보가 존재하며 이를 추출하는 것을 목표로 학습

Context network :

encoder network를 거쳐서 나온 Z를 context representation C로 변환

Encoder network : raw waveform X를 latent space에 embedding하여 latent representation 로 변환

CNN

Input : raw audio data

Output : Speech Recognition System에 적용가능한 audio의 representation

Causal CNN : 특정 시점 이전의 정보만(미래 정보가 안 들어간다는 특징)을 참조하여 CNN에 적용함. 이걸 여러개 stacking하여 사용하면 RNN과 비슷한 효과. 이걸 aggregator로 사용하여 병렬처리가 가능하게 하면서 속도를 향상시킴

Causal Convolution은 time step t의 output을 내기 위해서 time step t까지의 input만 고려하는 방식입니다. 시간, 순서를 고려할 때 유용하게 사용할 수 있다.

음성데이터에서 주요한 정보인 high-level 정보는, 데이터 안에서 느리게 변하는 특징을 갖고 있으며, 음성 전반적으로 공유되는 정보 (VS low-level 정보는 노이즈 등을 포함한 정보로 빠르게 변함)

따라서 이러한 context가 잘 공유될 수 있는, 좋은 representation vector를 추출하는 모델을 개발하는 것이 관건

Context vector : 하나의 고정된 크기의 벡터 표현으로 압축. Retrieval에 활용. ��(이전 시점의 latent vector를 입력으로 받아서 생성한 context vector가 미래 시점에 생성될 vector를 예측하려면, 이전 시점의 latent vector와 미래 시점의 latent vector 사이의 공유 정보를 추출해야 함. 이런 방식으로 학습함으로써 과거와 미래 사이의 latent vector에 공통적으로 들어있는 정보를 모델을 context vector로 끌어올릴 수 있음 )

(기존) Phoneme classification을 위해서 frame-wise로 오디오 데이터를 봄

High level 정보를 추출하는 방법(Training) : 공유벡터를 활용하여 일정 거리에 위치한 특징벡터를 예측하게 모델링함으로써 모델이 공유벡터에 공유정보를 추출하게 하고, 거리와 관련된 패턴을 학습

Why? : 거리벡터는 거리에 따른 정보의 변화를 학습하기 때문. 과거의 특징벡터에 공통적으로 들어있는 정보로 미래 특징벡터 예측

ASR에 적용된 Self-supervised Learning : 음성 데이터만으로 음성의 특징을 잘 추출할 수 있는 모델 개발하고 ASR 개발과정에서 Handcraft Process 대체

Domain Knowledge를 활용하여 Handcraft Feature를 생성 예) Mel-spectrogram. Spectrogram
Handcraft Feature를 이용하여 Acoustic Model을 개발 예) HMM, Deep Architecture�

Representation �https://dgkim5360.tistory.com/entry/deep-learning-nlp-and-representations-kr

성능 향상 방법-> LM 활용하여 각 단계별 이후 나올 단어가 나올 확률을 구한 후 곱함

베이스 모델을 갖고 있다는 가정 하에, 음성을 베이스 모델에 넣으면 feature vector 추출,feature vector를 어쿠스틱 모델에 넣으면 어떤 단어를 갖고 있는지 각 단어의 확률을 구할 수 있음. 그 중 top5 정도를 뽑아서 LM에 넣음

3 of 8

Background

BERT pre-training schema(Masked Language Model)

MLM과 Tansformer Encoder 아키텍처를 활용한 Pre-training 방법론이 Sequence 안의 패턴을 잘 추출

(BERT 파생 모델들에서 공통적으로 나타나는 특징)

VQ-wav2vec 의 목표

→ Sequence 안에 패턴을 잘 추출하는 MLM 방법론을 활용하여 음성 인식의 성능 향상�

→ BERT pre-training 방법론을 활용하기 위한 조건에 주목

Sequence 형태의 입력이어야 함
이산(discrete) 형태의 입력이어야 함

4 of 8

VQ-Wav2Vec Overview

VQ-Wav2vec 목표

�Wav2vec 모델의 출력을 이산 형태로 변환

↓

BERT의 MLM pre-training 방법을 적용

↓

Wav2Vec 모델의 CPC 방법으로 학습하기 위한 모듈(q) 추가 (Gumbel-Softmax,

K-means Clustering 활용)

↓

음성인식의 성능 향상

wav2vec에서는 약 30ms의 오디오가 f를 통해 z로 표현이 되었다. 각 z는 10ms의 stride를 가지고 있다. 이제는 그 z가 q(quantization module)를 통해서 이산 인덱스(discrete index) 로 표현이 되는 것이다. 각 인덱스는 z의 reconstruction인 z^에 매핑되어 있는 형태이다.

즉, q가 z를 받으면 z를 어떠한 하나의 인덱스로 변환을 하고, 따로 저장하고 있는 map에서 그 인덱스에 해당하는 새로운 representation(z^)을 찾아 반환한다는 뜻이다.

그 map은 codebook이라고 불리는V×d차원의 행렬으로, V는 representation의 개수(z^의 개수), d는 각 z^의 차원을 의미한다. q가 z를 받으면, Gumbel-Softmax나 online k-means중 한가지 방법을 사용하여 z를 인덱스로 바꾸고, 그 인덱스에 해당하는 z^을 V개 중에서 찾아 반환하는 형태이다.

이 다음은 wav2vec과 동일하다. z^을 g에 넣어 c가 반환되면 그 c와 positive, negative sample들을 가지고 모델을 학습하는 것이다.

5 of 8

Vector Quantization module

Gumbel-Softmax : 미분이 가능한 Sampling 기법

Uniform(0, 1) 분포에서 Sampling한 후 𝑙𝑜𝑔 함수를 적용한 Noise를 logit에 더함
Softmax를 활용하여 각 element의 확률을 도출
Temperature를 활용하여 Discrete representation으로 근사

→ 도출된 Discrete one-hot Vector에 Embedding matrix를 벡터곱하여 다시 Continuous Vector를 생성

6 of 8

Vector Quantization module

K-means : 미분이 가능한 Sampling 기법

Embedding(Codebook)에서 거리가 가장 가까운 index 탐색

해당 Embedding을 활용하여 CPC 진행

Gradient가 흐를 수 있도록 Trick을 사용
(Gumbel-Softmax와 동일)

7 of 8

Experiments

• Dataset : WSJ dataset, TIMIT dataset

• 결론:

Discrete Speech Representation이 효과적
Gumbel Softmax가 K-means보다 효과적�

한계 : Wav2vec을 사용하는 것보다 �VQ-Wav2vec + BERT 가 성능이 좋으나, vanilla일 경우는 Gumbel Softmax와 k-means 모두 wav2vec이 더 좋음�

→ BERT와 같이 다른 NLP모델과의 hybrid 하는 경우는 VQ-wav2vec이 효과적

Letter error rate (LER) is used to measure the recognition

performance as it is better suited for agglutinative languages

such as Finnish than word error rate (WER)

모델에서 나온 결과를 디코딩하기 위해서 lexicon과 더불어 WSJ에서 학습된 언어모델을 사용했다. 그것은 4-gram KenLM, 단어기반 convolutional 언어모델, 캐릭터기반 convolution 언어모델으로 총 4가지의 디코딩 모델을 사용한 것이다.

WSJ0-2mix is a speech recognition corpus of speech mixtures using utterances from the Wall Street Journal (WSJ0) corpus.

The TIMIT Acoustic-Phonetic Continuous Speech Corpus is a standard dataset used for evaluation of automatic speech recognition systems. It consists of recordings of 630 speakers of 8 dialects of American English each reading 10 phonetically-rich sentences.

다양한실험� 1 Label 데이터가 적을 때 모델의 성능변화� 2 많은 Unlabeled 데이터를 활용할 때 성능변화 3 Language Model을 함께 활용했을 때 성능변화

8 of 8

THANK YOU �FOR LISTENING