Analisis Regresi

Tingkat Lanjut

Section 5 — Bayesian Regression

44 slide • prior • likelihood • posterior • MCMC • INLA • predictive inference

Benang merah section

I Gede Nyoman Mindra Jaya

S2 Statistika Terapan FMIPA Unpad

Peta Pembelajaran Section 5

SECTION 5

02

• Memahami Bayesian regression sebagai inferensi distribusional atas parameter, bukan hanya estimasi titik.�• Membedakan prior, likelihood, posterior, credible interval, dan posterior predictive distribution.�• Menurunkan model konjugat Poisson–Gamma dan Normal–Inverse-Gamma untuk regresi linear Bayesian.�• Mengenal MCMC, INLA, prior/posterior predictive check, dan workflow pelaporan.

Alur Bayesian

Contoh aplikasi

Contoh: prediksi risiko kesehatan dapat memasukkan informasi studi sebelumnya sebagai prior, lalu memperbaruinya dengan data pasien lokal.

Prior

Likelihood

Posterior

Bayesian regression membuat ketidakpastian terlihat penuh—bukan hanya satu angka yang tampak percaya diri.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

02

Perubahan Cara Berpikir Bayesian

SECTION 5

03

• Parameter yang tidak diketahui diperlakukan sebagai variabel acak bersyarat pada data.�• Inferensi utama berupa distribusi posterior, bukan hanya point estimate dan p-value.�• Prior dapat menjadi regularisasi, informasi pakar, atau constraint substantif.�• Prediksi mengintegrasikan uncertainty parameter dan error model.

Objek inferensi

Contoh aplikasi

Pada data kecil, Bayesian regression memungkinkan estimasi tetap stabil melalui prior yang masuk akal secara substantif.

Uncertainty

Distribution

Evidence

Bayesian bukan “lebih mistis”; ia hanya lebih jujur menyimpan ketidakpastian.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

03

Teorema Bayes sebagai Mesin Pembaruan

SECTION 5

04

• Prior menyatakan informasi sebelum data.�• Likelihood mengukur dukungan data terhadap parameter.�• Posterior adalah informasi setelah data diamati.�• Evidence/marginal likelihood menjadi konstanta normalisasi.

Teorema Bayes

Contoh aplikasi

Jika data baru sangat informatif, posterior cenderung bergerak mendekati likelihood; jika data lemah, prior masih terlihat pengaruhnya.

Bayes

Evidence

Update

Posterior = prior yang sudah “diajak ngobrol” oleh data.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

04

Likelihood dalam Bayesian Regression

SECTION 5

05

• Likelihood adalah fungsi parameter untuk data yang sudah diamati.�• Likelihood bukan probabilitas bahwa parameter benar.�• Model sampling menentukan bentuk likelihood: Gaussian, Poisson, Bernoulli, dan lain-lain.�• Bayesian dan frequentist dapat memakai likelihood yang sama, tetapi inferensinya berbeda.

Definisi likelihood

Contoh aplikasi

Untuk jumlah kasus harian dengue, likelihood Poisson sering menjadi titik awal sebelum menguji overdispersion.

Sampling

LogLik

Model

Likelihood menjawab: seberapa kuat data mendukung nilai parameter tertentu?

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

05

Likelihood Gaussian untuk Regresi Linear

SECTION 5

06

• Respons kontinu sering dimodelkan dengan error Gaussian.�• Mean kondisional dinyatakan sebagai kombinasi linear prediktor.�• Parameter utama: koefisien β dan varians residual σ².�• Likelihood menjadi dasar posterior bersama dengan prior.

Likelihood Gaussian

Contoh aplikasi

Model skor ujian terhadap jam belajar, motivasi, dan latar belakang akademik dapat ditulis sebagai regresi linear Bayesian Gaussian.

Gaussian

Linear

σ²

OLS muncul sebagai kerabat dekat ketika prior dibuat sangat lemah.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

06

Prior: Informasi Awal dan Regularisasi

SECTION 5

07

• Prior harus dinyatakan pada skala yang substantif dan masuk akal.�• Prior dapat informative, weakly informative, diffuse, objective, atau improper.�• Prior terlalu lebar tidak selalu aman, terutama pada model nonlinear dan hierarkis.�• Prior predictive check membantu melihat implikasi prior sebelum data dipakai.

Peran prior

Contoh aplikasi

Untuk koefisien regresi terstandardisasi, prior Normal(0,1) sering lebih masuk akal daripada Normal(0,10^6).

Informasi

Skala

Regularisasi

Prior itu bukan hiasan; kalau salah skala, model bisa percaya hal yang absurd.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

07

Informative Prior

SECTION 5

08

• Mengandung informasi eksternal yang kuat dari studi terdahulu, meta-analisis, atau expert judgment.�• Cocok bila bukti sebelumnya relevan dan kualitasnya dapat dipertanggungjawabkan.�• Harus disertai sensitivity analysis untuk melihat pengaruh asumsi prior.�• Berbahaya bila informasi lama tidak relevan dengan populasi baru.

Contoh prior kuat

Contoh aplikasi

Dalam studi klinis kecil, prior dari meta-analisis dapat membantu menstabilkan estimasi efek terapi.

Expert

Meta-analysis

Sensitivity

Informative prior bagus jika informasinya benar; kalau tidak, ia menjadi “gosip berskala matematis”.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

08

Objective dan Improper Prior

SECTION 5

09

• Objective prior dirancang memakai prinsip formal seperti invariance atau Fisher information.�• Improper prior tidak terintegrasi menjadi satu sehingga bukan distribusi probabilitas penuh.�• Improper prior boleh dipakai hanya jika posterior proper.�• Tidak ada prior yang benar-benar netral untuk semua parameterisasi.

Contoh objective prior

Contoh aplikasi

Prior datar pada μ dapat terlihat netral, tetapi prior datar pada transformasi μ tidak selalu memberikan kesimpulan sama.

Jeffreys

Improper

Proper?

“Non-informative” bukan izin untuk berhenti berpikir.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

09

Vague Prior: Mengapa Perlu Hati-hati

SECTION 5

10

• Prior proper dengan varians sangat besar sering disebut diffuse/vague.�• Pada skala nonlinear, massa prior dapat jatuh pada wilayah substantif yang tidak masuk akal.�• Prior sangat lebar dapat memperburuk komputasi MCMC.�• Weakly informative prior sering lebih stabil daripada vague prior ekstrem.

Peringatan prior vague

Contoh aplikasi

Pada regresi logistik, koefisien sangat besar berarti probabilitas hampir 0 atau 1; prior terlalu lebar dapat memberi prediksi ekstrem sebelum melihat data.

Diffuse

Scale

Computation

Prior terlalu “bebas” kadang bukan demokratis, tapi liar.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

10

Weakly Informative Prior

SECTION 5

11

• Membatasi nilai yang tidak realistis tanpa mendominasi rentang wajar.�• Meningkatkan stabilitas pada data kecil, multikolinearitas, dan separasi.�• Skala prior harus mengikuti skala prediktor.�• Prior predictive simulation wajib dipertimbangkan.

Prior moderat

Contoh aplikasi

Untuk prediktor yang sudah distandardisasi, β sekitar ±5 sudah sangat besar; prior ini menahan koefisien agar tidak dramatis.

Shrinkage

Stabil

Realistis

Weakly informative prior itu sabuk pengaman: tidak mengemudi, tapi mencegah terpental.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

11

Posterior dan Ringkasan Inferensi

SECTION 5

12

• Posterior menggabungkan prior dan likelihood setelah data diamati.�• Ringkasan umum: mean, median, mode/MAP, varians, quantile, dan credible interval.�• Posterior probability dapat menjawab pertanyaan langsung seperti P(β>0|y).�• Kesimpulan selalu bersyarat pada model dan prior yang digunakan.

Posterior dan probabilitas

Contoh aplikasi

Alih-alih “p < 0.05”, laporan dapat menyebut: probabilitas posterior bahwa efek positif adalah 0.97.

Mean

CI

P(β>0)

Posterior memberi jawaban probabilistik yang lebih langsung—asal modelnya jujur.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

12

Credible Interval vs Confidence Interval

SECTION 5

13

• Credible interval 95% menyatakan probabilitas posterior parameter berada dalam interval tersebut.�• Confidence interval 95% merujuk pada coverage jangka panjang prosedur.�• Makna keduanya berbeda meskipun angka dapat mirip.�• Dalam Bayesian, interval dihitung dari kuantil posterior atau HPD.

Makna interval

Contoh aplikasi

Untuk λ kasus per hari, interval kredibel [2.48, 3.71] berarti berdasarkan model dan data, probabilitas posterior λ berada di rentang itu 95%.

Credible

Coverage

HPD

CI frequentist bukan “probabilitas parameter”; credible interval memang boleh berkata begitu.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

13

Formulasi Dasar Bayesian Regression

SECTION 5

14

• Regresi Bayesian menentukan model untuk y|β,σ² serta prior untuk parameter.�• Target inferensi adalah posterior bersama parameter.�• Prediksi baru diperoleh dari posterior predictive distribution.�• Model dapat linear, GLM, nonlinear, hierarkis, atau spasial.

Kerangka umum

Contoh aplikasi

Pada regresi Poisson Bayesian, θ mencakup β, dengan log λ_i = x_i^Tβ.

Model

Prior

Predictive

Bayesian regression = model data + prior + posterior + prediksi.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

14

Bayesian Linear Regression Gaussian

SECTION 5

15

• Model ini adalah fondasi untuk memahami Bayesian regression.�• Mean kondisional tetap Xβ, tetapi β dan σ² diberi prior.�• Posterior menggabungkan informasi data dan regularisasi prior.�• Jika prior sangat lemah, hasil mendekati OLS.

Model konjugat

Contoh aplikasi

Digunakan untuk memodelkan outcome kontinu seperti konsumsi energi, harga rumah, skor akademik, atau indeks kualitas hidup.

Gaussian

NIG

OLS+

Prior Normal–Inverse-Gamma membuat posterior bisa ditulis rapi tanpa MCMC.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

15

Normal–Inverse-Gamma Prior

SECTION 5

16

• Prior β bersyarat pada σ² menjaga konjugasi dengan likelihood Gaussian.�• V0 mengatur ketidakpastian awal terhadap koefisien.�• a0 dan b0 mengatur informasi awal tentang varians residual.�• Prior ini menghasilkan posterior tertutup untuk β dan σ².

Faktorisasi prior

Contoh aplikasi

Jika kita percaya slope dekat nol tetapi tidak ingin memaksakan, gunakan m0=0 dan V0 besar namun tetap realistis.

m₀,V₀

a₀,b₀

Conjugate

Konjugasi itu bukan sekadar elegan; ia sangat berguna untuk validasi komputasi.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

16

Posterior Hyperparameter untuk BLR

SECTION 5

17

• Posterior tetap Normal–Inverse-Gamma.�• Vn menggabungkan presisi prior dan informasi desain X^TX.�• mn adalah rata-rata posterior β bersyarat pada σ².�• an dan bn memperbarui informasi varians residual.

Update posterior

Contoh aplikasi

Formula ini dapat digunakan sebagai benchmark ketika memeriksa hasil MCMC untuk regresi Gaussian.

Vn

mn

an,bn

Posterior hyperparameter adalah cara data memperbarui “memori awal” prior.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

17

Posterior Tertutup: β dan σ²

SECTION 5

18

• β bersyarat pada σ² mengikuti Normal multivariat.�• σ² mengikuti Inverse-Gamma.�• Marginal β setelah σ² diintegrasikan mengikuti Student-t multivariat.�• Ekor Student-t mencerminkan uncertainty terhadap σ².

Posterior bersama

Contoh aplikasi

Interval koefisien Bayesian dapat dihitung dari marginal Student-t tanpa sampling bila model konjugat terpenuhi.

Normal

InvGamma

Student-t

Regresi linear Bayesian konjugat memberi jawaban analitik yang sangat bersih.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

18

Marginal Posterior β: Multivariate Student-t

SECTION 5

19

• Mengintegrasikan σ² menghasilkan marginal posterior β dengan ekor lebih berat.�• Derajat bebas ν=2an meningkat seiring data bertambah.�• Untuk kombinasi linear c^Tβ, distribusinya Student-t univariat.�• Ini berguna untuk interval dan probabilitas posterior koefisien.

Marginal β

Contoh aplikasi

Untuk efek slope, ambil c=(0,1)^T sehingga c^Tβ adalah koefisien prediktor pertama.

MVT

ν=2an

β

Ketidakpastian varians membuat ekor posterior β lebih realistis.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

19

Posterior Predictive untuk Observasi Baru

SECTION 5

20

• Prediktif posterior mengintegrasikan uncertainty parameter dan noise observasi.�• Interval prediktif lebih lebar daripada interval mean kondisional.�• Untuk kovariat baru x*, prediksi mengikuti Student-t.�• Ini inti Bayesian forecasting dan risk prediction.

Posterior predictive

Contoh aplikasi

Untuk mahasiswa baru dengan profil tertentu, model memprediksi distribusi skor, bukan hanya skor rata-rata.

Prediction

x*

Interval

Prediksi Bayesian tidak pura-pura parameter sudah diketahui pasti.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

20

Model Poisson–Gamma Konjugat

SECTION 5

21

• Cocok untuk data hitungan dengan satu laju λ.�• Likelihood Poisson dikombinasikan dengan prior Gamma.�• Posterior tetap Gamma sehingga mudah dihitung.�• Menjadi jembatan intuitif menuju regresi Poisson Bayesian.

Model dan prior

Contoh aplikasi

Jumlah kasus penyakit per hari selama n hari dapat dimodelkan dengan laju λ yang tidak diketahui.

Count

Gamma

Conjugate

Poisson–Gamma adalah contoh terbaik untuk melihat prior berubah menjadi posterior.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

21

Likelihood Poisson Gabungan

SECTION 5

22

• Independensi kondisional membuat likelihood menjadi produk peluang individual.�• Statistik cukupnya adalah total kejadian S=Σyi.�• Kernel likelihood hanya bergantung pada λ melalui λ^S exp(-nλ).�• Bentuk ini kompatibel dengan kernel Gamma.

Likelihood Poisson

Contoh aplikasi

Jika total kasus 93 dalam 30 hari, data membawa informasi terutama melalui S=93 dan n=30.

Sufficient

S=Σy

Kernel

Untuk model Poisson iid, total kejadian adalah ringkasan yang sangat kuat.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

22

Posterior Gamma untuk λ

SECTION 5

23

• Prior Gamma dikalikan likelihood Poisson menghasilkan posterior Gamma.�• Shape posterior bertambah oleh total kejadian.�• Rate posterior bertambah oleh banyaknya exposure/observasi.�• Parameterisasi rate harus dibedakan dari scale.

Update Poisson–Gamma

Contoh aplikasi

Dengan α0=2, β0=1, S=93, n=30, diperoleh αn=95 dan βn=31.

αn

βn

Rate

Data menambah “jumlah kejadian”; waktu pengamatan menambah “exposure”.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

23

Ringkasan Posterior Poisson–Gamma

SECTION 5

24

• Mean posterior adalah αn/βn.�• Varians posterior adalah αn/βn².�• MAP ada jika αn>1.�• Credible interval diperoleh dari kuantil Gamma.

Momen posterior

Contoh aplikasi

Untuk αn=95 dan βn=31, mean posterior λ≈3.06 kasus/hari dengan uncertainty yang dapat dihitung dari Gamma.

Mean

Variance

MAP

Ringkasan posterior harus selalu menyebut parameterisasi distribusinya.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

24

Posterior Predictive Negative Binomial

SECTION 5

25

• Prediksi hitungan baru mengintegrasikan uncertainty λ.�• Campuran Poisson–Gamma menghasilkan Negative Binomial.�• Varians prediktif lebih besar daripada plug-in Poisson.�• Ini menjelaskan overdispersion prediktif secara natural.

Prediktif Poisson–Gamma

Contoh aplikasi

Prediksi kasus besok tidak hanya memakai λ mean, tetapi juga uncertainty posterior λ.

NegBin

Predictive

Uncertainty

Posterior predictive lebih rendah hati daripada plug-in estimate.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

25

Sensitivity Analysis terhadap Prior

SECTION 5

26

• Bandingkan posterior di bawah prior informative, weakly informative, dan vague.�• Jika posterior berubah besar, data belum cukup kuat untuk mengalahkan prior.�• Laporkan sensitivitas ketika sampel kecil atau parameter lemah teridentifikasi.�• Gunakan prior predictive untuk mengecek plausibilitas sebelum data dipakai.

Skenario prior

Contoh aplikasi

Dalam Poisson–Gamma, bandingkan prior Gamma(15,5), Gamma(3,1), dan Gamma(0.1,0.1) untuk melihat pengaruh asumsi awal.

Scenario

Robustness

Prior check

Posterior yang robust terhadap beberapa prior lebih mudah dipercaya.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

26

MCMC: Ide Dasar

SECTION 5

27

• MCMC menghasilkan sampel dari posterior ketika solusi analitik tidak tersedia.�• Rantai Markov dibangun agar distribusi stasionernya adalah posterior target.�• Ringkasan posterior dihitung dari sampel setelah warm-up/burn-in.�• MCMC sangat fleksibel tetapi perlu diagnostik serius.

Monte Carlo posterior

Contoh aplikasi

Model hierarkis dengan random effects dan prior kompleks biasanya diestimasi memakai MCMC melalui Stan, JAGS, atau NIMBLE.

Sampling

Chain

Posterior

MCMC bukan tombol ajaib; ia perlu rantai yang sehat.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

27

Algoritma MCMC yang Sering Dipakai

SECTION 5

28

• Metropolis–Hastings menerima/menolak proposal berdasarkan rasio posterior.�• Gibbs sampling mengambil sampel dari conditional posterior.�• Hamiltonian Monte Carlo memanfaatkan gradien untuk eksplorasi efisien.�• Pemilihan algoritma memengaruhi mixing dan waktu komputasi.

Acceptance MH

Contoh aplikasi

Stan memakai HMC/NUTS sehingga sering lebih efisien daripada random-walk Metropolis untuk model berdimensi tinggi.

MH

Gibbs

HMC

Algoritma yang baik membuat posterior dijelajahi, bukan cuma dikunjungi sebentar.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

28

Diagnostik MCMC

SECTION 5

29

• Trace plot harus menunjukkan mixing yang baik dan tidak terjebak.�• R-hat mendekati 1 menunjukkan konsistensi antar-rantai.�• Effective sample size mengukur jumlah sampel independen ekuivalen.�• Autocorrelation tinggi menandakan sampel posterior kurang efisien.

Ukuran diagnostik

Contoh aplikasi

Jika R-hat β1 = 1.15, posterior mean terlihat ada tetapi belum layak dipercaya; jalankan ulang atau perbaiki model.

R-hat

ESS

Trace

Posterior cantik tanpa diagnostik itu seperti slide bagus tanpa isi—rawan tepuk tangan palsu.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

29

Workflow Implementasi JAGS

SECTION 5

30

• Susun data list, inits, parameter yang dipantau, dan model string.�• JAGS efektif untuk model hierarkis dengan Gibbs/Metropolis internal.�• Periksa burn-in, thinning jika perlu, dan konvergensi beberapa rantai.�• Laporkan mean/median posterior dan credible interval 95%.

Model JAGS ringkas

Contoh aplikasi

Untuk regresi Gaussian sederhana, JAGS dapat mengestimasi β0, β1, dan σ sekaligus menghasilkan prediksi posterior.

JAGS

Model string

CI 95%

JAGS rapi untuk belajar struktur model; diagnostiknya tetap wajib.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

30

INLA: Ide Utama

SECTION 5

31

• INLA dirancang untuk latent Gaussian model.�• Menggunakan aproksimasi Laplace dan integrasi numerik, bukan sampling MCMC penuh.�• Sangat cepat untuk banyak GLMM, spasial, dan spatiotemporal model.�• Hasil utama berupa marginal posterior parameter dan latent effects.

Target marginal

Contoh aplikasi

Model penyakit spasial dengan random effect wilayah sering dapat diestimasi jauh lebih cepat memakai R-INLA.

INLA

Laplace

LGM

INLA itu jalur cepat—asal modelnya memang masuk kelas latent Gaussian.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

31

Latent Gaussian Model

SECTION 5

32

• Komponen laten x memiliki prior Gaussian multivariat terstruktur.�• Likelihood observasi dapat Gaussian, Poisson, Binomial, dan lain-lain.�• Hyperparameter θ mengatur presisi, korelasi, atau struktur random effect.�• Regresi Bayesian, GLMM, BYM/BYM2, dan AR dapat masuk dalam kerangka ini.

Struktur LGM

Contoh aplikasi

Pada pemetaan risiko penyakit, x dapat berisi intersep, koefisien, efek spasial, dan efek temporal.

Latent x

θ

GLMM

INLA kuat karena banyak model kompleks dapat ditulis sebagai latent Gaussian.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

32

MCMC vs INLA

SECTION 5

33

• MCMC sangat fleksibel dan menghasilkan sampel posterior bersama.�• INLA cepat untuk latent Gaussian model dan memberi marginal posterior yang akurat.�• MCMC lebih umum untuk model di luar kelas INLA.�• INLA sangat praktis untuk model spasial/epidemiologi berskala besar.

Perbandingan target

Contoh aplikasi

Untuk BYM2 Poisson disease mapping, INLA sering menjadi pilihan efisien; untuk model kustom sangat nonlinear, MCMC mungkin lebih fleksibel.

Flexibility

Speed

Approximation

Pilih alat sesuai model; jangan semua paku dipukul dengan palu yang sama.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

33

OLS versus Bayesian Regression

SECTION 5

34

• OLS memberi estimasi titik dan standard error berbasis asumsi sampling.�• Bayesian memberi distribusi posterior parameter dan prediksi.�• Dengan prior sangat lemah, estimasi pusat Bayesian dapat mendekati OLS.�• Dengan prior informatif/regularisasi, Bayesian dapat lebih stabil pada data sulit.

Kontras estimator

Contoh aplikasi

Pada n kecil dan multikolinearitas tinggi, posterior Bayesian dengan prior shrinkage dapat lebih stabil daripada koefisien OLS.

OLS

Posterior

Shrinkage

OLS memberi jawaban cepat; Bayesian memberi peta ketidakpastian yang lebih lengkap.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

34

Bayesian GLM

SECTION 5

35

• Untuk respons non-Gaussian, gunakan likelihood sesuai keluarga distribusi.�• Link function menghubungkan mean dengan prediktor linear.�• Prior diberikan pada koefisien β dan hyperparameter lain.�• Posterior biasanya membutuhkan MCMC atau INLA.

Formulasi Bayesian GLM

Contoh aplikasi

Regresi logistik Bayesian untuk status penyakit atau regresi Poisson Bayesian untuk jumlah kejadian.

GLM

Link

β

Bayesian GLM memperluas GLM dengan prior dan posterior uncertainty.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

35

Bayesian Logistic Regression

SECTION 5

36

• Respons biner dimodelkan dengan likelihood Bernoulli.�• Koefisien memengaruhi log-odds melalui link logit.�• Prior membantu ketika terjadi separasi atau data kecil.�• Probabilitas posterior efek positif lebih informatif daripada p-value tunggal.

Logistic Bayesian

Contoh aplikasi

Model risiko gagal bayar pinjaman online dapat memberi distribusi posterior peluang default untuk setiap calon peminjam.

Binary

Logit

Separation

Pada separasi, prior bukan kosmetik; ia bisa menyelamatkan identifikasi.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

36

Bayesian Hierarchical Regression

SECTION 5

37

• Parameter dapat bervariasi antar-kelompok melalui random effects.�• Partial pooling menyeimbangkan estimasi kelompok dengan informasi populasi.�• Model ini cocok untuk data sekolah, rumah sakit, wilayah, atau waktu.�• Prior hyperparameter mengontrol variasi antar-kelompok.

Model hierarkis

Contoh aplikasi

Efek intersep berbeda antar kabupaten, tetapi kabupaten dengan sampel kecil “dipinjamkan informasi” dari kabupaten lain.

Groups

Pooling

Random effects

Partial pooling itu gotong royong statistik: kelompok kecil tidak dibiarkan sendirian.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

37

Prior Predictive Check

SECTION 5

38

• Simulasikan data dari prior sebelum melihat data aktual.�• Tujuannya mengecek apakah prior menghasilkan nilai y yang masuk akal.�• Sangat penting pada model logistik, count, nonlinear, dan hierarkis.�• Jika simulasi prior absurd, perbaiki skala prior.

Simulasi dari prior

Contoh aplikasi

Jika prior regresi Poisson menghasilkan ratusan ribu kasus per hari padahal skala realistis puluhan, prior perlu dikalibrasi.

Simulate

Plausible

Scale

Prior predictive check mencegah model berkhayal sebelum bertemu data.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

38

Posterior Predictive Check

SECTION 5

39

• Simulasikan data replikasi dari posterior predictive distribution.�• Bandingkan karakteristik yrep dengan data aktual.�• Cek mean, variance, zero count, tail behavior, pola residual, dan ekstrem.�• PPC bukan bukti model benar, tetapi membantu menemukan ketidakcocokan.

Prediktif posterior

Contoh aplikasi

Pada count data, jika model Poisson gagal mereplikasi jumlah nol, pertimbangkan zero-inflated atau negative binomial model.

PPC

Replicate

Fit

Posterior predictive check bertanya: model bisa meniru dunia data, atau hanya meniru rata-ratanya?

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

39

Model Comparison: WAIC dan LOO

SECTION 5

40

• WAIC dan LOO mengukur performa prediktif out-of-sample secara Bayesian.�• Keduanya berbasis log predictive density.�• LOO dengan Pareto-smoothed importance sampling sering dipakai pada workflow modern.�• Model terbaik bukan hanya elpd terbesar; cek juga diagnostik dan interpretabilitas.

Ukuran prediktif

Contoh aplikasi

Bandingkan model Poisson, negative binomial, dan zero-inflated dengan LOO untuk melihat model yang lebih prediktif.

WAIC

LOO

elpd

Model comparison Bayesian tetap harus jujur pada prediksi data baru.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

40

Aplikasi Kesehatan dan Epidemiologi

SECTION 5

41

• Bayesian regression cocok ketika data terbatas, heterogen, atau bertingkat.�• Prior dapat berasal dari literatur atau expert elicitation.�• Model hierarkis menangani variasi rumah sakit, wilayah, atau periode waktu.�• Posterior predictive memberi distribusi risiko individual atau wilayah.

Count disease model

Contoh aplikasi

Pemetaan risiko dengue atau stunting dapat memakai model Poisson hierarkis dengan offset ekspektasi kasus.

Disease map

Offset

Risk

Untuk epidemiologi, Bayesian kuat karena uncertainty spasial dan data kecil sering datang sepaket.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

41

Aplikasi Keuangan dan Risiko Kredit

SECTION 5

42

• Prior shrinkage menjaga koefisien tetap stabil pada fitur yang banyak dan berkorelasi.�• Bayesian logistic regression memberi distribusi peluang gagal bayar.�• Credible interval membantu mengukur uncertainty pada score.�• Posterior predictive dapat dipakai untuk stress testing.

Probabilitas posterior default

Contoh aplikasi

Model probabilitas gagal bayar pinjaman online dapat menyajikan median risiko dan interval ketidakpastian, bukan hanya satu score.

Default

Score

Risk

Dalam kredit, terlalu percaya diri bisa mahal; posterior membantu menahan ego model.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

42

Checklist Pelaporan Bayesian Regression

SECTION 5

43

• Tuliskan likelihood, link function, prior, dan parameterisasi lengkap.�• Laporkan alasan pemilihan prior dan hasil sensitivity analysis bila relevan.�• Sajikan diagnostik MCMC/INLA dan posterior predictive check.�• Laporkan ringkasan posterior, credible interval, dan prediksi pada skala substantif.

Elemen laporan

Contoh aplikasi

Kalimat laporan: “β dilaporkan sebagai median posterior dengan 95% credible interval; konvergensi dievaluasi melalui R-hat dan ESS.”

Prior

Diagnostics

PPC

Model Bayesian yang baik harus bisa diaudit: prior jelas, diagnostik jelas, prediksi jelas.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

43

Kesimpulan Section 5

SECTION 5

44

• Bayesian regression menggabungkan prior dan likelihood menjadi posterior.�• Poisson–Gamma dan Normal–Inverse-Gamma memberi contoh konjugasi yang sangat penting.�• MCMC fleksibel; INLA cepat untuk latent Gaussian model.�• Prior predictive, posterior predictive, dan sensitivity analysis menjaga inferensi tetap kredibel.

Ringkasan final

Contoh aplikasi

Benang merah: nyatakan model, pilih prior dengan sadar, hitung posterior, cek model, lalu prediksi dengan uncertainty penuh.

Posterior

MCMC/INLA

Predictive

Bayesian regression bukan sekadar metode; ia adalah disiplin berpikir probabilistik.

Analisis Regresi Tingkat Lanjut • S2 Statistika Terapan FMIPA Unpad

44