1 of 12

2022.10.13

제네시스랩 신재영

NeurIPS 2020

2 of 12

Introduction

Supervised Learning의 한계

전세계의 수많은 언어들에 대한 양질의 labeled data를 얻기 어려움

Labeled data만을 활용하여 학습하는 것은 유아기에 부모가 말하는 것을 듣는 것만으로 �언어를 습득하는 인간의 방식과 다름

Self-Supervised Learning 방법 제안

Self-Supervised Learning은 데이터 자체의 representation을 잘 학습하기 위한 방법으로, �인간이 유아기에 언어를 습득하는 방법과 유사

본 논문에서는 raw waveform 데이터로부터 적절한 representation을 학습하는 �Self-Supervised Learning 프레임워크를 제안함

3 of 12

Background

VQ-wav2vec

Self-supervised 방법으로 audio data의 representation을 학습하되, BERT를 활용하여 음성인식의 성능을 향상시키는 데에 목적을 둔 모델

Context network

encoder network를 거쳐서 나온 Z를 context representation C로 변환

Module q

BERT의 MLM pre-training 방법을 적용하기 위한 Discretization module

Encoder network

raw waveform X를 latent space에 embedding하여 latent representation 로 변환

Input : raw audio data

Output : Speech Recognition System에 적용가능한 audio의 representation

context network, module q, encoder network 순으로 쓰고. 콜론 앞뒤에 띄어쓰기 통일하든가 그러기

그림만 보고 설명할 수 있도록 하기

모듈 q 가 BERT의 MLM pre-training 방법을 적용하기 위한 목적 뿐인지??? 왜 중간에 있는지??

이산화를 목적으로 하는 것임..

VQ-wav2vec : Vector Quantization 모듈을 추가하여 연속형 Vector를 이산형태로 변경하고, 이를 BERT의 MLM으로 학습함으로서 성능을 개선함�Wav2vec 2.0 : VQ-wav2vec은 모듈들을 따로 개발해야하는 단점이 존재하였는데, Aggregator를 Transformer로 변경하고, Masking, Quantization 모듈을 아키텍처에 포함하여 MLM, CPC를 한꺼번에 수행하여 pre-training이 가능하게 함

Wav2vec은 causal convolution을 음성시그널을 인코딩하고 acoustic model의 단어 softmax와 LM의 단어 softmax 두가지를 고려하여 학습하는 구조를 가졌습니다.

VQ-wav2ec은 BERT MLM pre-training 방식을 적용한 논문이었습니다. ASR 자소예측결과를 BERT에 접목시킨 것이라고 할 수 있습니다.

VQ-Wav2vec이란 Wav2vec Encoder -> quantization(Gumbel) ->aggregator의 구조를 가지고 있습니다. Gumbel softmax는 noise + softmax with temperature를 이용하여 discrete한 형태로 변환한것을 말하여 VQ-Wav2vec는 lookup table을 이용하여 continuous variable로 다시 변형시키는 특징을 가지고 있습니다.

하지만 VQ-Wav2vec는 너무 feature을 discrete하게 단순하게 만드는 단점이 있고 acoustic model과 LM이 따로 학습된다는 문제도 있습니다.

이러한 문제를 해결하기 위해Wav2vec 2.0 모델(MLM+CPC)이 제안되었으며, quantization(Gumbel) 방식단계에서 masking을 사용하는 관점에 end-to-end learning이라고 할 수 있습니다.

Loss function에 quantization된 count를 반영해서 diversity를 반영하게 됩니다. Fine-tuning 단계에서 linear layer 뿐만 아니라 wav2vec 2.0 encoder 또한 학습되게 하는 특징이 있었습니다.

Contrastive Predictive Coding(CPC) 적용:

음성 내에 전반적으로 context information이 존재하며 이를 추출하는 것을 목표로 학습

Causal CNN : 특정 시점 이전의 정보만(미래 정보가 안 들어간다는 특징)을 참조하여 CNN에 적용함. 이걸 여러개 stacking하여 사용하면 RNN과 비슷한 효과. 이걸 aggregator로 사용하여 병렬처리가 가능하게 하면서 속도를 향상시킴

Causal Convolution은 time step t의 output을 내기 위해서 time step t까지의 input만 고려하는 방식입니다. 시간, 순서를 고려할 때 유용하게 사용할 수 있다.

음성데이터에서 주요한 정보인 high-level 정보는, 데이터 안에서 느리게 변하는 특징을 갖고 있으며, 음성 전반적으로 공유되는 정보 (VS low-level 정보는 노이즈 등을 포함한 정보로 빠르게 변함)

따라서 이러한 context가 잘 공유될 수 있는, 좋은 representation vector를 추출하는 모델을 개발하는 것이 관건

Context vector : 하나의 고정된 크기의 벡터 표현으로 압축. Retrieval에 활용. ��(이전 시점의 latent vector를 입력으로 받아서 생성한 context vector가 미래 시점에 생성될 vector를 예측하려면, 이전 시점의 latent vector와 미래 시점의 latent vector 사이의 공유 정보를 추출해야 함. 이런 방식으로 학습함으로써 과거와 미래 사이의 latent vector에 공통적으로 들어있는 정보를 모델을 context vector로 끌어올릴 수 있음 )

(기존) Phoneme classification을 위해서 frame-wise로 오디오 데이터를 봄

High level 정보를 추출하는 방법(Training) : 공유벡터를 활용하여 일정 거리에 위치한 특징벡터를 예측하게 모델링함으로써 모델이 공유벡터에 공유정보를 추출하게 하고, 거리와 관련된 패턴을 학습

Why? : 거리벡터는 거리에 따른 정보의 변화를 학습하기 때문. 과거의 특징벡터에 공통적으로 들어있는 정보로 미래 특징벡터 예측

ASR에 적용된 Self-supervised Learning : 음성 데이터만으로 음성의 특징을 잘 추출할 수 있는 모델 개발하고 ASR 개발과정에서 Handcraft Process 대체

Domain Knowledge를 활용하여 Handcraft Feature를 생성 예) Mel-spectrogram. Spectrogram
Handcraft Feature를 이용하여 Acoustic Model을 개발 예) HMM, Deep Architecture�

Representation �https://dgkim5360.tistory.com/entry/deep-learning-nlp-and-representations-kr

성능 향상 방법-> LM 활용하여 각 단계별 이후 나올 단어가 나올 확률을 구한 후 곱함

베이스 모델을 갖고 있다는 가정 하에, 음성을 베이스 모델에 넣으면 feature vector 추출,feature vector를 어쿠스틱 모델에 넣으면 어떤 단어를 갖고 있는지 각 단어의 확률을 구할 수 있음. 그 중 top5 정도를 뽑아서 LM에 넣음

4 of 12

wav2vec2.0 overview

Wav2vec2.0

VQ-wav2vec의 Context Network를 Transformer로 구조 변경한 점이 특징

Architecture:

Encoder, Context Network(Transformer), Quantization Module로 구성됨

Loss:

Codebook의 다양한 패턴을 학습하기 위하여 codebook 관련 제약 Loss를 추가

Performance:

Acoustic Model을 개발할 때 wav2vec2.0 모델도 함께 학습하는 Fine-tuning 방법 적용

Input : raw audio data

Output : Speech Recognition System에 적용가능한 audio의 representation

함께 학습? -> wav2vec 2.0 pre-trained model을 freezing을 안 하는 듯

representation이 그 task에 맞춰서 더 학습이 잘 될 듯?

Vq-wav2vec과의 차이점 : vq는 이산화 모듈이 따로 있음
Wav2vec2.0은 end-to-end로 동작 가능?
end-to-end 아래 문장 따로 설명하기..

Compared to vq-wav2vec [5], our model builds context representations over continuous speech representations and self-attention captures dependencies over the entire sequence of latent representations end-to-end.

entry?

wav2vec2.0은 q를 loss에만 사용하고 있고 vq-wav2vec q를 input으로 받고 있음

① CPC-1 : CNN Encoder를 통해 일정길이의 음성을 특징벡터로 변환하고, RNN Aggregator를 통해 특징벡터를 공유 벡터로 변환 음성 전반적으로 공유되는 high level 정보를 추출이 가능하게 함�② Wav2vec : 기존 CPC-1에서 병렬처리가 가능하도록 Aggregator를 Casual CNN 아키텍처로 변환하고, Acoustic Model과 Language Model를 함께 적용하여 성능을 개선함�③ VQ-wav2vec : Vector Quantization 모듈을 추가하여 연속형 Vector를 이산형태로 변경하고, 이를 BERT의 MLM으로 학습함으로서 성능을 개선함�④ Wav2vec 2.0 : VQ-wav2vec은 모듈들을 따로 개발해야하는 단점이 존재하였는데, Aggregator를 Transformer로 변경하고, Masking, Quantization 모듈을 아키텍처에 포함하여 MLM, CPC를 한꺼번에 수행하여 pre-training이 가능하게 함

wav2vec 2.0 모델은 이전 모델에서 따로 따로 구현되어있던 구조를 End-to-End로 결합한 것을 특징으로 볼 수 있습니다. 여기에, Diversity Loss를 추가해 새롭게 Loss를 디자인했습니다. 결론적으로 un-labeld데이터를 잘 활용하면서도 안정적이고 높은 성능을 보이는 것을 알 수 있었습니다. 무엇보다도, 다양한 Task에 적용할 수 있는 범용성을 갖고 있습니다.

http://dsba.korea.ac.kr/seminar/?mod=document&uid=1779

5 of 12

Architecture

�BERT의 MLM pre-training 방법을 적용

↓

Wav2vec 모델의 출력을 이산 형태로 변환

↓

Discretization 모듈(q) 추가 (Gumbel-Softmax,

K-means Clustering 활용)

↓

음성인식의 성능 향상

Multi-layer convolutional feature encoder

Raw waveform sequence를 X로 �입력 받아서 매 T step마다 latent representation z_1,⋯,z_T로 출력
이후 latent speech representation은 �아래의 두 모듈에 각각 나뉘어 입력값으로 �들어감

Transformer 모듈
Quantization 모듈

6 of 12

Architecture

�BERT의 MLM pre-training 방법을 적용

↓

Wav2vec 모델의 출력을 이산 형태로 변환

↓

Discretization 모듈(q) 추가 (Gumbel-Softmax,

K-means Clustering 활용)

↓

음성인식의 성능 향상

7 of 12

Architecture

Quantization module

Feature encoder를 통과한 z에 Product Quantization(PQ) 수행

각 codebook에 PQ를 수행할 때, gumbel softmax로 수행

변환된 데이터들을 concat하여 일정 크기의 벡터로 변환 후, linear transformation을 적용하여 q 얻음

Gradient가 흐를 수 있도록 VQ-wav2vec과 동일한 trick 사용

이러한 세팅 하에서 quantization 모듈에서 일어나는 일들을 설명해보겠다. encoding 된 zt가 주어졌을 때, zt는 레이어를 통과하여 logit으로 변환되고, gumbel softmax(참고) 및 argmax를 통해 one-hot encoding 된 후(즉, 이산화 과정), 마치 NLP에서 embedding matrix에서 특정 단어에 해당하는 embedding 벡터를 뽑아내듯,

각 codebook 내에서 하나의 code word 벡터를 골라낸다.

code word 벡터는 G개의 codebook 행렬에서 각각 하나씩 추출됨에 따라 총 G개의 e1,…,eG∈Rd/G 벡터들로 추출될 것이다. 이후, G개의 벡터 모두를 concatenate 하여 et∈Rd를 만든다([그림03]에서의 세번째 과정). 여기서 linear transformation Rd↦Rf을 통해서 quantized representation qt∈Rf를 최종적으로 만들어낸다.

G개의 codebook, V개의 code words를 활용한 Wav2Vec 2.0의 quantization 모듈

8 of 12

Training

masking 되는 특징 bert와 다른 점 알아오기(음성 sequence라서 - slow features. time step 여러 개 보는 이유? 한 개만 보면 )

Transformer block의 self-attention 효과를 보기 위해 수행하므로, 당연히 quantization 모듈의 입력값에는 마스킹 수행하지 않음

우선, [그림04]와 같이 p=0.065의 확률로 z sequenc를 마스킹의 시작점으로 선정한다. 그리고는 [그림05]와 같이 M=10M=10 만큼 연달아 마스킹을 수행한다. 이때, p와 M은 하이퍼파라미터이다. 시작 지점에 따라서 당연히 마스킹이 겹치는 경우가 생길 수 있다. 마스킹은 trained feature vector로 마스킹되는 부위를 대체하는 방식이며, 모든 마스킹 부위는 동일하게 해당 feature vector를 사용한다.

9 of 12

Objective

Contrastive Loss

Masking된 time step의 Quantized representation을 유추할 때 활용하는 Loss
Transformer를 통과한 벡터 c가 Quantized vector q와 일치하면 Loss 값이 감소

: Masking이 수행된 time step t에서 추출된 context representation
: K개의 negative sample과 1개의 positive sample 로 구성되어 총 K+1개의

candidate quantized representation

K개의 negative sample : 동일 발화의 다른 mask time step으로부터 랜덤하게 추출한 값들

: 학습 과정에서 temperature 역할을 하는 상수값

Sim : cosine similarity 함수 의미

c_t, q_t 뭔지 적어주기

c_t : 마스킹이 수행된 time step에서 추출된 context representation으로, 해당 시점 기준으로 전체 sequence에 대한 맥락 정보가 반영되어 있다.

Q_t 에 대한 설명 같음

contrastive loss는 마스킹 t시점 context representation c_t이 주어졌을 때 정답에 해당하는 q_t를 오답 역할을 하는 다른 candidate quantized representation 가운데서 구분해내는 역할을 한다.

Diversity Loss : The contrastive task depends on the codebook to represent both positive and negative examples and the diversity loss Ld is designed to increase the use of the quantized codebook representations [10]. We encourage the equal use of the V entries in each of the G codebooks by maximizing the entropy of the averaged softmax distribution l over the codebook entries for each codebook p¯g across a batch of utterances; the softmax disribution does not contain the gumbel noise nor a temperature

10 of 12

Loss Function

Sim : cosine similarity 함수 의미

c_t, q_t 뭔지 적어주기

diversity loss Ld은 위와 같으며, 일종의 regularization 기법이다. 저자가 사용한 codebook의 수 G=2개였으며, 각각의 codebook 내에서 V=320개의 code word를 사용했다. 즉, 첫번째 codebook에서 320가지의 quantized representation이 나올 수 있고, 두번째에서도 마찬가지이므로, 총 320×320=102400320×320=102400가지의 quantized representation 조합이 나올 수 있다.

그런데 우리는 Wav2Vec 2.0이 실제로 이 모든 조합의 확률을 다 고려해서 골고루 quantized representation을 만드는지 알 수 없다. 수많은 code word 선택에 대한 경우의 수가 있는데, 제대로 활용하지 못한다면 codebook을 활용할 이유가 없는 것과 다름 없다.

저자는 이러한 이슈를 방지하기 위해서 정보 이론의 엔트로피 개념인 H(X)를 도입. entropy : information의 Expectation. 확률이 높을수록 가치 (entropy)가 낮아진다.

H(X)=−∑xP(x)log(P(x)) 를 도입했다. 정보 엔트로피는 균등한 분포 하에서 가장 큰 값을 가진다. �예를 들어서, 앞뒷면의 확률이 모두 동일하게 1/2인 동전을 던질 때의 엔트로피가 앞뒷면의 확률이 불균등한 동전을 던질 때보다 엔트로피가 높다. 요컨대, 저자는 엔트로피를 극대화하기 위한 term을 diversity loss에 포함하여 모든 Wav2vec 2.0 모델이 모든 code word를 균등하게 고려할 수 있게 설계한 것이다.

�

Diversity Loss : The contrastive task depends on the codebook to represent both positive and negative examples and the diversity loss Ld is designed to increase the use of the quantized codebook representations [10]. We encourage the equal use of the V entries in each of the G codebooks by maximizing the entropy of the averaged softmax distribution l over the codebook entries for each codebook p¯g across a batch of utterances; the softmax disribution does not contain the gumbel noise nor a temperature

11 of 12

Experiments

• Dataset

16kHz, English
Pre-train : Librispeech (LS-960), LibriVox(LV-60k)

Label 없는 데이터 사용

Finetune : TIMIT dataset (5hours)

• 결론

적은 label만으로 finetuning 해도 높은 성능
많은 Unlabeled 데이터를 활용할수록 높은 성능

한계
Language Model이 성능에 큰 영향을 미침
모델의 크기가 매우 큼(Base 기준 1GB)
Pre-training하는 데 많은 GPU 자원 필요

As unlabeled data we consider the Librispeech corpus [40] without transcriptions containing 960 hours of audio (LS-960) or the audio data from LibriVox (LV-60k).

1. Language Model이 성능에 큰 영향을 미침(특히 label이 적은 데이터를 학습한 모델일수록)

Pre-training하는 데 많은 자원이 필요(GPU)
모델의 크기가 매우 큼(Base checkpoint 1GB)

VQ-wav2vec보다 안정적인 아키텍처

WSJ0-2mix is a speech recognition corpus of speech mixtures using utterances from the Wall Street Journal (WSJ0) corpus.

The TIMIT Acoustic-Phonetic Continuous Speech Corpus is a standard dataset used for evaluation of automatic speech recognition systems. It consists of recordings of 630 speakers of 8 dialects of American English each reading 10 phonetically-rich sentences.

12 of 12

THANK YOU �FOR LISTENING