Analisis Regresi

Tingkat Lanjut

Section 4 — Regularisasi dalam Analisis Regresi

44 slide • overfitting • Ridge • Lasso • Elastic Net • validasi silang

Benang merah section

I Gede Nyoman Mindra Jaya

S2 Statistika Terapan FMIPA Unpad

Peta Pembelajaran Section 4

SECTION 4

02

• Memahami regularisasi sebagai kontrol kompleksitas model, bukan sekadar trik machine learning.�• Menjelaskan overfitting, generalisasi, bias–variance trade-off, dan peran penalti.�• Membedakan Ridge, Lasso, dan Elastic Net dari sisi fungsi objektif, geometri, dan implikasi koefisien.�• Menerapkan validasi silang, standardisasi, dan pelaporan model regularized regression.

Alur besar

Contoh aplikasi

Contoh: model prediksi risiko kredit dengan puluhan prediktor perlu stabil; regularisasi mencegah model hafal noise historis.

Overfitting

Ridge

Lasso

Regularisasi membuat model belajar secukupnya—bukan belajar sampai hafal nomor sepatu data.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

02

Mengapa Regularisasi Diperlukan

SECTION 4

03

• Model kompleks dapat memiliki error training kecil tetapi error data baru besar.�• Regularisasi menambahkan penalti terhadap kompleksitas parameter.�• Penalti mendorong koefisien menjadi lebih kecil, lebih stabil, atau sebagian tepat nol.�• Tujuan utamanya adalah menurunkan generalization error, bukan mempercantik R² training.

Kerangka umum

Contoh aplikasi

Pada data pemasaran digital, ratusan fitur iklan bisa membuat model terlalu cocok pada kampanye lama; penalti menjaga koefisien tetap waras.

Penalty

Generalize

Stability

Error training kecil itu menggoda, tapi masa depan tidak ikut di-training.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

03

Overfitting dalam Regresi

SECTION 4

04

• Overfitting terjadi saat model menangkap noise sebagai pola.�• Gejalanya: performa training sangat baik, performa test/validasi turun.�• Risiko meningkat saat jumlah prediktor besar, korelasi tinggi, atau sampel kecil.�• Regularisasi menahan fleksibilitas parameter agar pola mayoritas lebih dominan.

Sinyal overfitting

Contoh aplikasi

Model prediksi IPK dengan 80 fitur untuk 60 mahasiswa hampir pasti bisa ‘hafal’ data—ini bukan kepintaran, ini contekan statistik.

Train

Test

Noise

Overfit itu seperti mahasiswa hafal soal tahun lalu: terlihat pintar sampai soal baru datang.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

04

Bias–Variance Trade-off

SECTION 4

05

• Error prediksi dapat dipahami sebagai bias, variance, dan irreducible error.�• Model terlalu sederhana biasanya bias tinggi dan variance rendah.�• Model terlalu fleksibel biasanya bias rendah tetapi variance tinggi.�• Regularisasi sengaja menambah bias kecil untuk menurunkan variance lebih besar.

Dekomposisi error

Contoh aplikasi

Ridge dapat sedikit membiaskan koefisien, tetapi prediksi pada data baru lebih stabil ketika prediktor saling berkorelasi.

Bias

Variance

Prediction

Regularisasi adalah seni mengalah demi menang di data baru.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

05

Standardisasi Prediktor

SECTION 4

06

• Regularisasi sensitif terhadap skala prediktor.�• Prediktor berskala besar dapat terkena penalti relatif berbeda jika tidak distandardisasi.�• Umumnya penalti tidak diberikan pada intersep.�• Standardisasi harus dihitung dari data training untuk menghindari leakage.

Transformasi

Contoh aplikasi

Pendapatan dalam rupiah dan usia dalam tahun harus distandardisasi; kalau tidak, penalti bisa lebih sibuk menghukum satuan daripada pola.

Scale

Intercept

Leakage

Sebelum regularisasi, samakan dulu bahasa skala prediktor.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

06

Penalized Least Squares

SECTION 4

07

• Regresi regularized mengganti minimisasi RSS menjadi RSS plus penalti.�• Bentuk penalti menentukan perilaku koefisien.�• L2 mengecilkan koefisien secara kontinu; L1 dapat membuat koefisien tepat nol.�• λ mengontrol kekuatan shrinkage.

Objektif umum

Contoh aplikasi

Dalam regresi harga rumah, banyak fitur lingkungan dapat dipakai tetapi koefisiennya dikendalikan agar tidak meledak karena korelasi.

RSS

Penalty

λ

Loss mengukur salahnya model; penalti mengukur kelakuan parameternya.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

07

Bentuk Penalized vs Constrained

SECTION 4

08

• Regularisasi dapat ditulis sebagai masalah penalized atau constrained.�• Semakin besar λ, semakin ketat pembatasan kompleksitas.�• Bentuk constrained membantu memahami geometri Ridge dan Lasso.�• Kedua bentuk ekuivalen untuk nilai tuning tertentu.

Dua formulasi

Contoh aplikasi

Ridge membatasi koefisien berada dalam bola L2; Lasso membatasi koefisien berada dalam diamond L1.

Penalized

Constrained

Geometry

λ dan t adalah dua cara menulis pagar yang sama.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

08

Peran Parameter λ

SECTION 4

09

• λ = 0 menghasilkan OLS jika solusi OLS ada.�• λ kecil memberi shrinkage ringan.�• λ besar mendorong koefisien mendekati nol.�• λ dipilih melalui validasi, bukan perasaan—karena perasaan sering overfit juga.

Arah efek

Contoh aplikasi

Pada glmnet, deret λ dicoba otomatis; kita memilih λ berdasarkan cross-validation error.

λ=0

Shrinkage

CV

λ adalah rem model: terlalu kecil ngebut, terlalu besar mogok.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

09

Ridge Regression: Penalti L2

SECTION 4

10

• Ridge menggunakan penalti jumlah kuadrat koefisien.�• Koefisien dikecilkan menuju nol tetapi umumnya tidak tepat nol.�• Sangat berguna untuk multikolinearitas dan desain hampir singular.�• Ridge menukar sedikit bias dengan variance yang lebih kecil.

Ridge objective

Contoh aplikasi

Jika variabel pendidikan, pendapatan, dan indeks pembangunan saling berkorelasi, Ridge dapat membuat estimasi lebih stabil.

L2

Shrink

Stable

Ridge mengecilkan koefisien, bukan menyapu variabel ke bawah karpet.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

10

Solusi Tertutup Ridge

SECTION 4

11

• Ridge memiliki solusi analitik pada regresi linear Gaussian.�• Penambahan λI membuat matriks lebih mudah diinversi.�• Intersep tidak dipenalti bila X sudah dipusatkan.�• Solusi ini menjelaskan stabilisasi ketika X'X hampir singular.

Solusi

Contoh aplikasi

Pada p mendekati n, invers OLS dapat tidak stabil; Ridge menambahkan bantalan λI pada diagonal.

Closed-form

λI

Invertible

Ridge memberi vitamin diagonal untuk matriks yang lemas.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

11

Ridge dan Spektrum X'X

SECTION 4

12

• Ridge sangat jelas bila dilihat melalui eigenvalue atau singular value.�• Arah prediktor dengan singular value kecil paling banyak distabilkan.�• Shrinkage tidak sama di semua arah ruang prediktor.�• Ini menjelaskan mengapa Ridge efektif pada multikolinearitas.

Representasi SVD

Contoh aplikasi

Dua prediktor hampir identik menghasilkan satu arah informasi sangat lemah; Ridge menahan arah itu agar tidak menghasilkan koefisien liar.

SVD

Eigen

Collinear

Ridge paling tegas pada arah data yang paling rapuh.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

12

Ridge dan Multikolinearitas

SECTION 4

13

• Multikolinearitas memperbesar variance koefisien OLS.�• Ridge menambahkan penalti sehingga koefisien prediktor berkorelasi menjadi lebih stabil.�• Koefisien Ridge bias, tetapi mean squared error dapat lebih kecil.�• Ridge cocok jika prediksi lebih penting daripada seleksi variabel eksplisit.

Masalah OLS

Contoh aplikasi

Dalam ekonomi regional, PDRB, konsumsi, dan investasi sering bergerak bersama; Ridge mengurangi koefisien yang saling tarik-menarik.

VIF

MSE

Prediction

Ridge tidak menyembuhkan korelasi antar prediktor; ia membuat gejalanya tidak mengguncang model.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

13

Ridge Shrinkage Factor

SECTION 4

14

• Dalam basis orthogonal, Ridge mengecilkan estimasi OLS dengan faktor tertentu.�• Semakin kecil d², semakin kuat shrinkage.�• Semakin besar λ, semua arah makin dikecilkan.�• Interpretasi ini penting untuk memahami coefficient path.

Faktor shrinkage

Contoh aplikasi

Arah informasi lemah mendapat faktor shrinkage kecil, sehingga tidak mendominasi prediksi.

Shrinkage

Factor

Path

Ridge seperti volume knob: arah yang berisik diturunkan lebih banyak.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

14

Effective Degrees of Freedom Ridge

SECTION 4

15

• Regularisasi membuat kompleksitas model menjadi kontinu, tidak sekadar jumlah prediktor.�• Effective degrees of freedom menurun ketika λ meningkat.�• Ukuran ini membantu memahami kapasitas prediksi model.�• Semakin kecil df(λ), semakin sederhana model efektif.

Kompleksitas efektif

Contoh aplikasi

Model dengan 50 prediktor bisa memiliki kompleksitas efektif jauh di bawah 50 bila λ cukup besar.

df(λ)

Trace

Complexity

Jumlah variabel bukan satu-satunya ukuran ‘ramainya’ model.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

15

Bias Ridge

SECTION 4

16

• Ridge menghasilkan estimator bias untuk β pada λ > 0.�• Bias ini disengaja untuk menurunkan variance.�• Dalam prediksi, bias kecil sering dapat diterima bila stabilitas meningkat.�• Dalam inferensi kausal, shrinkage harus digunakan lebih hati-hati.

Ekspektasi estimator

Contoh aplikasi

Untuk prediksi risiko, bias kecil dapat diterima; untuk estimasi efek kebijakan, interpretasi koefisien penalized perlu ekstra hati-hati.

Bias

MSE

Causal caution

Bias Ridge bukan bug; ia fitur yang harus dipahami.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

16

Ilustrasi SSR Ridge

SECTION 4

17

• Ridge meminimalkan RSS ditambah penalti L2.�• Jika β besar, penalti λβ² ikut membesar.�• Ketika λ meningkat, optimum bergeser menuju koefisien lebih kecil.�• Contoh numerik sederhana memperlihatkan mengapa slope tidak bebas membesar.

SSR penalized

Contoh aplikasi

Dengan X={2,3,4,6}, Y={4,3.5,4.5,5}, slope yang terbaik tanpa penalti bisa berubah saat λ=30,40,50, dan seterusnya.

SSR

λβ²

Slope

Ridge bertanya: fit bagus, tapi koefisiennya perlu sebesar itu tidak?

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

17

Lasso Regression: Penalti L1

SECTION 4

18

• Lasso menggunakan penalti jumlah nilai absolut koefisien.�• Penalti L1 dapat menghasilkan koefisien tepat nol.�• Karena itu Lasso melakukan estimasi dan seleksi variabel sekaligus.�• Namun seleksi dapat tidak stabil jika prediktor sangat berkorelasi.

Lasso objective

Contoh aplikasi

Dalam studi biomarker, Lasso dapat menyaring puluhan kandidat menjadi beberapa prediktor utama.

L1

Sparse

Selection

Lasso bukan hanya mengecilkan; ia juga berani bilang: variabel ini nol dulu ya.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

18

Geometri Lasso

SECTION 4

19

• Batasan L1 membentuk diamond dalam ruang koefisien dua dimensi.�• Sudut diamond sering menyentuh kontur loss pada sumbu koefisien.�• Akibatnya solusi sering memiliki satu atau lebih koefisien tepat nol.�• Inilah sumber sparsity Lasso.

Batas L1

Contoh aplikasi

Jika dua variabel hampir setara, Lasso dapat memilih salah satunya dan memberi koefisien nol pada yang lain.

Geometry

Corner

Sparse

Sudut L1 adalah tempat koefisien sering ‘parkir’ di nol.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

19

Soft Thresholding pada Desain Orthogonal

SECTION 4

20

• Pada desain orthogonal, solusi Lasso memiliki bentuk soft thresholding.�• Koefisien kecil dapat dipotong menjadi nol.�• Koefisien besar tetap bertahan tetapi dikecilkan.�• Ini memberi intuisi seleksi variabel pada Lasso.

Soft-threshold

Contoh aplikasi

Jika sinyal prediktor lebih kecil dari threshold, Lasso menganggapnya tidak cukup kuat untuk dipertahankan.

Threshold

Zero

Signal

Lasso punya ambang batas: sinyal lemah tidak lolos satpam λ.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

20

Lasso untuk Seleksi Variabel

SECTION 4

21

• Koefisien nol mempermudah interpretasi dan pemilihan fitur.�• Seleksi bergantung pada λ dan korelasi antar prediktor.�• Variabel yang dipilih bukan bukti final kausalitas.�• Stability selection atau validasi ulang membantu menilai ketahanan pilihan variabel.

Set variabel terpilih

Contoh aplikasi

Dalam prediksi churn, Lasso membantu memilih fitur perilaku pelanggan yang paling berguna untuk model ringkas.

Subset

λ

Stability

Daftar variabel Lasso adalah hasil model, bukan wahyu dari langit statistik.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

21

Lasso dan Prediktor Berkorelasi

SECTION 4

22

• Ketika prediktor sangat berkorelasi, Lasso dapat memilih satu dan mengabaikan lainnya.�• Pilihan ini bisa berubah jika sampel sedikit berubah.�• Untuk kelompok prediktor berkorelasi, Elastic Net sering lebih stabil.�• Interpretasi harus menyebut kemungkinan instability.

Isu korelasi

Contoh aplikasi

Dua indikator sosial ekonomi yang mirip dapat saling menggantikan; Lasso mungkin memilih satu, bukan karena yang lain tidak penting.

Correlation

Instability

Elastic Net

Lasso kadang seperti memilih satu dari saudara kembar—bukan berarti kembarannya tidak berguna.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

22

KKT Condition untuk Lasso

SECTION 4

23

• Karena penalti L1 tidak terdiferensiasi di nol, solusi dijelaskan dengan subgradient.�• KKT condition menentukan kapan koefisien menjadi nol.�• Jika korelasi residual dengan prediktor cukup kecil, koefisien dapat nol.�• Ini menjelaskan mekanisme seleksi pada Lasso.

Kondisi optimalitas

Contoh aplikasi

Variabel dengan kontribusi marginal kecil terhadap residual dapat dipotong oleh penalti L1.

KKT

Subgradient

Zero

Nol pada Lasso punya dasar optimisasi, bukan asal coret.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

23

Elastic Net: Gabungan L1 dan L2

SECTION 4

24

• Elastic Net menggabungkan sparsity Lasso dan stabilitas Ridge.�• L1 membantu seleksi variabel; L2 membantu prediktor berkorelasi bergerak lebih bersama.�• Metode ini cocok untuk high-dimensional correlated predictors.�• Dua tuning penting: kekuatan penalti dan proporsi campuran.

Elastic Net

Contoh aplikasi

Dalam genomik, banyak gen berkorelasi dalam jalur biologis; Elastic Net sering lebih masuk akal daripada Lasso murni.

L1+L2

Grouped

High-dim

Elastic Net itu duet: Lasso memilih, Ridge menstabilkan.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

24

Parameter α pada Elastic Net

SECTION 4

25

• Implementasi modern sering memakai α untuk proporsi L1.�• α = 1 sama dengan Lasso.�• α = 0 sama dengan Ridge.�• 0 < α < 1 memberi kompromi antara seleksi dan stabilisasi.

Formulasi glmnet

Contoh aplikasi

Dalam glmnet, alpha=0.5 sering dicoba sebagai titik awal ketika prediktor banyak dan berkorelasi.

α=1

α=0

Mix

α mengatur karakter model: lebih Lasso, lebih Ridge, atau setengah-setengah elegan.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

25

Grouping Effect Elastic Net

SECTION 4

26

• Prediktor berkorelasi cenderung dipertahankan bersama lebih baik daripada Lasso.�• Efek L2 mengurangi kompetisi ekstrem antar prediktor mirip.�• Ini berguna ketika kelompok variabel secara substantif sama-sama penting.�• Namun interpretasi individual tetap perlu hati-hati.

Efek kelompok

Contoh aplikasi

Beberapa indikator kemiskinan yang berkorelasi dapat tetap masuk bersama, bukan dipilih satu secara acak.

Grouping

Correlated

Stable

Elastic Net lebih ramah pada variabel yang datang bergerombol.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

26

Validasi Silang untuk Memilih λ

SECTION 4

27

• λ dipilih berdasarkan performa out-of-sample melalui cross-validation.�• Data training dibagi menjadi K fold.�• Setiap fold bergiliran menjadi validation set.�• Rata-rata error validasi menjadi dasar pemilihan λ.

CV error

Contoh aplikasi

Untuk prediksi PM2.5, λ dipilih dari error validasi, bukan dari model yang terlihat paling indah pada training.

K-fold

λ

Validation

Cross-validation adalah gladi resik data baru.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

27

λ_min dan λ_1se

SECTION 4

28

• λ_min memberi rata-rata CV error terkecil.�• λ_1se memilih model paling sederhana dalam satu standard error dari minimum.�• λ_1se sering lebih stabil dan lebih ringkas.�• Pemilihan harus selaras dengan tujuan: prediksi maksimum atau model sederhana.

Aturan 1-SE

Contoh aplikasi

Untuk model laporan kebijakan, λ_1se dapat dipilih agar koefisien lebih stabil dan narasi lebih mudah dijelaskan.

λ_min

λ_1se

Simple

Kadang model sedikit lebih sederhana adalah model yang lebih siap hidup di dunia nyata.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

28

Train–Validation–Test Workflow

SECTION 4

29

• Training digunakan untuk estimasi model.�• Validation atau cross-validation digunakan untuk memilih λ dan α.�• Test set hanya digunakan sekali untuk evaluasi akhir.�• Mengintip test set berkali-kali sama dengan mengajari model jawaban ujian.

Pembagian data

Contoh aplikasi

Dalam kelas proyek, test set tidak boleh dipakai untuk mencoba-coba λ sampai MAPE paling kecil; itu sudah bukan evaluasi jujur.

Train

Validation

Test

Test set itu wasit, bukan konsultan model.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

29

Data Leakage dalam Regularisasi

SECTION 4

30

• Leakage terjadi ketika informasi test masuk ke proses training atau tuning.�• Standardisasi, imputasi, dan seleksi fitur harus dipelajari dari training set.�• Cross-validation harus memasukkan seluruh preprocessing dalam fold.�• Leakage membuat performa terlihat lebih baik dari realitas.

Aturan preprocessing

Contoh aplikasi

Jika mean dan standard deviation dihitung dari seluruh data sebelum split, informasi test diam-diam bocor ke training.

Preprocess

Fold

Integrity

Leakage itu seperti bocoran soal: hasilnya bagus, integritasnya bubar.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

30

Regularized GLM

SECTION 4

31

• Regularisasi tidak terbatas pada regresi linear Gaussian.�• GLM regularized meminimalkan negative log-likelihood plus penalti.�• Dapat digunakan untuk logistik, Poisson, binomial, dan model lain.�• Fungsi link tetap menentukan skala interpretasi.

Objektif GLM

Contoh aplikasi

Pada regresi Poisson untuk jumlah kasus, penalti dapat digunakan saat banyak kovariat lingkungan dan sosial dimasukkan bersamaan.

GLM

Likelihood

Link

Regularisasi ikut ke GLM; dia tidak berhenti di linear model saja.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

31

Regresi Logistik Terregularisasi

SECTION 4

32

• Pada klasifikasi biner, regularisasi membantu ketika banyak prediktor atau separation terjadi.�• Ridge logistik menstabilkan koefisien.�• Lasso logistik dapat memilih subset prediktor.�• Interpretasi koefisien tetap pada log-odds, tetapi telah mengalami shrinkage.

Logistic loss

Contoh aplikasi

Untuk prediksi gagal bayar pinjaman online, Lasso logistik dapat memilih indikator perilaku transaksi yang paling informatif.

Binary

Log-odds

Separation

Logistik regularized menjaga odds ratio tidak terlalu dramatis karena noise.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

32

Interpretasi Bayesian

SECTION 4

33

• Regularisasi dapat dipandang sebagai prior pada koefisien.�• Ridge ekuivalen dengan prior Normal berpusat nol.�• Lasso ekuivalen dengan prior Laplace berpusat nol.�• Sudut pandang ini membantu menjelaskan shrinkage sebagai informasi awal tentang koefisien kecil.

Prior shrinkage

Contoh aplikasi

Dalam Bayesian regression, prior shrinkage digunakan untuk mencegah estimasi liar pada data kecil atau high-dimensional.

Prior

Normal

Laplace

Penalti frequentist dan prior Bayesian sering hanya beda kostum matematis.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

33

High-Dimensional Data: p > n

SECTION 4

34

• Ketika jumlah prediktor melebihi jumlah observasi, OLS tidak unik atau tidak dapat diestimasi stabil.�• Ridge tetap memberikan solusi karena penambahan λI.�• Lasso dapat memilih subset variabel saat asumsi sparsity masuk akal.�• Validasi dan stabilitas seleksi menjadi sangat penting.

Masalah dimensi

Contoh aplikasi

Data ekspresi gen sering memiliki ribuan prediktor tetapi sampel pasien terbatas; regularisasi menjadi kebutuhan, bukan pilihan kosmetik.

p>n

Rank

Sparse

Saat p lebih besar dari n, OLS bukan pahlawan utama cerita.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

34

Metrik Evaluasi

SECTION 4

35

• Untuk regresi kontinu, gunakan RMSE, MAE, MAPE, atau deviance sesuai konteks.�• Untuk klasifikasi, gunakan AUC, log-loss, Brier score, sensitivity, dan specificity.�• Metrik dipilih sesuai biaya kesalahan dan tujuan analisis.�• Evaluasi akhir harus dilakukan pada data yang tidak dipakai untuk tuning.

Contoh metrik

Contoh aplikasi

Pada prediksi beban rumah sakit, MAE lebih mudah ditafsirkan dalam satuan pasien, sedangkan RMSE lebih sensitif terhadap error besar.

RMSE

MAE

AUC

Metrik bukan aksesoris; ia menentukan model dianggap menang atau kalah.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

35

Interpretasi Koefisien Setelah Shrinkage

SECTION 4

36

• Koefisien regularized bukan estimator OLS biasa.�• Besaran koefisien telah dipengaruhi penalti dan standardisasi.�• Untuk interpretasi substantif, laporkan skala variabel dan jenis penalti.�• Koefisien nol pada Lasso berarti tidak terpilih pada λ tersebut, bukan pasti tidak berpengaruh.

Peringatan interpretasi

Contoh aplikasi

Jika variabel pendidikan tidak dipilih Lasso, jangan langsung menyimpulkan pendidikan tidak penting; bisa jadi korelasi dengan prediktor lain tinggi.

Shrinkage

Scale

Meaning

Koefisien penalized perlu dibaca dengan kacamata penalti, bukan kacamata OLS polos.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

36

Post-Selection Inference

SECTION 4

37

• Setelah variabel dipilih oleh Lasso, p-value OLS biasa tidak otomatis valid.�• Proses seleksi menambah ketidakpastian yang sering diabaikan.�• Gunakan validasi, bootstrap/stability, atau metode post-selection yang sesuai.�• Untuk laporan prediksi, fokus utama biasanya performa out-of-sample.

Seleksi mengubah inferensi

Contoh aplikasi

Refit OLS pada variabel hasil Lasso lalu membaca p-value seperti tidak ada seleksi dapat terlalu optimistis.

Selection

p-value

Uncertainty

Setelah seleksi, p-value naïf sering terlalu percaya diri—seperti reviewer tanpa kopi.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

37

Workflow R dengan glmnet

SECTION 4

38

• Buat matriks X dan respons y.�• Standardisasi otomatis tersedia, tetapi preprocessing tetap harus dijaga dalam resampling.�• cv.glmnet memilih λ melalui cross-validation.�• Gunakan alpha=0 untuk Ridge, alpha=1 untuk Lasso, 0<alpha<1 untuk Elastic Net.

Kode ringkas

Contoh aplikasi

Kode inti: cv.glmnet(X_train, y_train, alpha=1); lalu prediksi pada X_test memakai s='lambda.1se'.

glmnet

alpha

lambda

glmnet cepat; workflow validasinya tetap harus disiplin.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

38

Aplikasi Bioinformatika

SECTION 4

39

• Jumlah fitur genetik sering jauh lebih besar daripada jumlah sampel.�• Lasso membantu memilih marker potensial.�• Elastic Net lebih stabil ketika gen dalam jalur biologis berkorelasi.�• Validasi eksternal sangat penting sebelum klaim biomarker.

Model high-dimensional

Contoh aplikasi

Prediksi respons terapi dapat memakai Elastic Net untuk memilih panel gen yang prediktif namun tidak terlalu besar.

Genomics

p≫n

Markers

Pada genomik, regularisasi bukan tambahan; ia sabuk pengaman.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

39

Aplikasi Keuangan dan Risiko Kredit

SECTION 4

40

• Prediksi gagal bayar sering memakai banyak fitur transaksi dan demografi.�• Regularisasi mengurangi koefisien ekstrem akibat segmentasi kecil.�• Lasso memberi model lebih ringkas untuk scoring.�• Evaluasi harus memperhatikan calibration dan diskriminasi.

Probabilitas default

Contoh aplikasi

Pada pinjaman online, fitur riwayat pembayaran, frekuensi transaksi, dan rasio utang dapat diseleksi dengan Lasso logistik.

Credit

Logistic

Score

Model kredit harus prediktif, stabil, dan tidak dramatis seperti sinetron koefisien.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

40

Aplikasi Kesehatan dan Epidemiologi

SECTION 4

41

• Data kesehatan sering memiliki banyak kovariat klinis, perilaku, dan lingkungan.�• Regularisasi membantu prediksi risiko ketika sampel terbatas.�• Ridge berguna untuk indeks risiko yang stabil.�• Lasso/Elastic Net membantu memilih prediktor untuk model screening.

Risk model

Contoh aplikasi

Prediksi risiko penyakit berbasis usia, komorbiditas, laboratorium, dan lingkungan dapat memakai Elastic Net agar model tidak terlalu rapuh.

Health

Risk

Screening

Dalam kesehatan, model ringkas lebih mudah dipakai klinisi—dan lebih sulit membuat pasien bingung.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

41

Checklist Pelaporan Model Regularized

SECTION 4

42

• Sebutkan metode: Ridge, Lasso, atau Elastic Net.�• Jelaskan standardisasi, pembagian data, dan prosedur tuning.�• Laporkan λ terpilih, α bila Elastic Net, serta metrik validasi/test.�• Bandingkan dengan baseline OLS atau GLM non-regularized bila relevan.

Elemen laporan

Contoh aplikasi

Kalimat laporan: “Elastic Net dipilih dengan 10-fold CV; λ_1se digunakan untuk model yang lebih sederhana.”

Report

Baseline

Metric

Pelaporan rapi membuat regularisasi terlihat ilmiah, bukan sulap glmnet.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

42

Kesalahan Umum

SECTION 4

43

• Tidak melakukan standardisasi sebelum penalti.�• Memilih λ berdasarkan test set.�• Menafsirkan koefisien nol sebagai bukti tidak ada efek substantif.�• Melaporkan performa training sebagai bukti akurasi masa depan.

Praktik baik

Contoh aplikasi

MAPE sangat kecil pada test yang sering dipakai tuning bukan lagi test murni; itu validation set yang menyamar.

Leakage

Scale

Interpret

Regularisasi bagus, tapi workflow bocor tetap bikin hasil licin seperti jalan habis hujan.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

43

Kesimpulan Section 4

SECTION 4

44

• Regularisasi mengontrol kompleksitas model melalui penalti terhadap koefisien.�• Ridge stabil untuk multikolinearitas, Lasso selektif, Elastic Net menyeimbangkan keduanya.�• λ dan α harus dipilih dengan validasi yang benar.�• Interpretasi dan pelaporan harus menyebut shrinkage, preprocessing, dan performa out-of-sample.

Ringkasan final

Contoh aplikasi

Benang merah: kontrol kompleksitas, pilih penalti sesuai tujuan, tuning secara jujur, lalu laporkan secara transparan.

Ridge

Lasso

Elastic Net

Regularisasi membuat model lebih sederhana, lebih stabil, dan lebih siap menghadapi data baru.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

44