Deep Learning untuk Fisikawan

Janto V. Sulungbudi

DL4FÜN (Deep Learning untuk Fisikawan, Deep Learning for Fisika ÜNpar) merupakan perpaduan seimbang antara konsep teori dan praktek.

Sebagai fisikawan (dan disiplin ilmu lainnya), belajar dari data merupakan proses yang selalu dilakukan. Saat ini data yang tersedia sangat berlimpah sehingga kita membutuhkan komputer untuk belajar dari data tersebut. Deep learning memungkinkan kita belajar dari data yang sangat banyak, sangat kompleks dan sangat bervariasi.

Kuliah ini menanamkan dasar-dasar dan pengalaman menerapkan deep learning yang dapat menjadi bekal untuk bekerja dan meneliti yang menggunakan deep learning, misalnya mengerjakan proyek, tugas akhir dan skripsi.
Deep learning juga dapat membantu orang lain, seperti contoh berikut yang dapat dibuat dengan bekal pada kuliah ini:
Project Euphonia: Helping everyone be better understood

Peserta kuliah ini diharapkan sudah memahami (mengikuti kuliah yang sesuai):

1. Pemrograman Python
2. Kalkulus peubah banyak
3. Aljabar linear: operasi matriks, nilai eigen dan vektor eigen (dekomposisi eigen)

Akan lebih baik jika mengenal:

4. SVD (Single Value Decomposition)
5. Optimasi seperti gradient descent
6. NumPy dan Pandas

Seri video First Steps to Deep Learning dapat digunakan untuk review dan pengantar kuliah ini. Link tersedia di akhir dokumen ini.

1. Pendahuluan tentang Deep Learning

1. ANN (Artificial Neural Networks)
2. Regresi dan Klasifikasi
3. Training: backpropagation
4. Penggunaan platform
5. Aplikasi: regresi berat badan dan tinggi badan dengan ANN
6. Aplikasi: MNIST - klasifikasi biner

2. Dasar Deep Learning

1. Deep Learning karena tidak linear
2. Ruang vektor
3. SVD dan PCA transformasi data yang berkorelasi menjadi tidak saling berkorelasi
4. Aplikasi: berat badan dan tinggi badan dengan PCA
5. Aplikasi: kompresi dan reduksi gangguan
6. Statistika .vs. konteks dan linear .vs non-linear
7. Neurons, fungsi aktivasi dan layers
8. Loss functions
9. Optimisasi: gradient descent, stochastic gradient descent, ADAM
10. Aplikasi: MNIST - klasifikasi
11. Aplikasi: Klasifikasi pilihan

3. CNN (Convolutional Neural Networks)

1. CNN yang invarian spasial
2. Data gambar
3. Standarisasi dan normalisasi data
4. Convolutional layers
5. Pooling layers
6. Aplikasi: MNIST - klasifikasi dengan CNN
7. Aplikasi: Klasifikasi pilihan

4. RNN (Recurrent Neural Networks)

1. Deret waktu: trend, seasonality, noise
2. Basic RNN dengan masalah gradient descent
3. LSTM (Long-Short Term Memory) belajar melupakan
4. Aplikasi: data univariat deret waktu

5. Autoencoder:

1. Unsupervised Learning
2. Enkoder, dekoder dan ruang laten
3. Kemiripan dan perbedaan dengan SVD & PCA
4. Aplikasi: kompresi data
5. Aplikasi: reduksi gangguan
6. Aplikasi: deteksi anomali

6. Transfer Learning dan Fine-tuning

1. Bias dan Variance
2. Augmentasi data
3. Siamese network: Contrastive Loss dan Triplet Loss
4. Model populer
5. Menggunakan modul dan fine-tuning
6. Curriculum Learning
7. Aplikasi: transfer learning untuk MNIST
8. Aplikasi: transfer learning untuk proyek pilihan

7. Proyek akhir merupakan gabungan dari beberapa topik seperti:

1. LSTM Autoencoder
2. LSTM CNN
3. Merekonstruksi data yang hilang pada ruang vektor minimal
4. One-shot learning
5. …

Referensi:

1. Simon Prince, Understanding Deep Learning, 2023, MIT Press
2. Ian Goodfellow, Deep Learning, 2016, MIT Press
3. Francois Chollet, Deep Learning with Python, 2nd ed., 2021, Manning
4. Andrew W. Trask, Grokking Deep Learning, 2019, Manning

Referensi tambahan:

1. Gilbert Strang, Linear Algebra and Learning from Data, 2019, Wellesley-Cambridge
2. Marc Peter Deisenroth, Mathematics for Machine Learning, 2020, Cambridge

Seri video First (7) Steps to Deep Learning:

1. Dekomposisi Eigen
2. SVD & PCA
3. Contoh penerapan PCA
4. PCA mirip ANN (Artificial Neural Network)
5. PCA .vs. Autoencoder (linear)
6. Non-linear (piecewise linear)
7. Generator foto menggunakan PCA

DEMO