Metode Kuantitatif Pengambilan Keputusan (MKPK)
Week 12
BAB 10 –Markov Chain & Markov Decision Process
1
Muhamad Wahid Ibrahim, SE., M.Sc.
Photo by Robert Schöller on Unsplash
BAB 10 – Rantai Markov (Markov Chain) & Markov Decision Process (MDP)
Model stokastik untuk sistem yang berubah dari waktu ke waktu
Perubahan Keadaan Berdasarkan Probabilitas
Rantai Markov menggambarkan bagaimana suatu sistem berpindah dari satu keadaan ke keadaan lain berdasarkan probabilitas transisi antar keadaan.
Sistem Tanpa Ingatan (Memoryless)
Ciri khas rantai Markov adalah probabilitas transisi hanya bergantung pada keadaan saat ini, bukan pada riwayat sebelumnya.
Beragam Aplikasi Dunia Nyata
Digunakan dalam berbagai bidang seperti antrian, manajemen stok, analisis keuangan, ekonomi makro, dan pemeliharaan mesin.
Tujuan Pembelajaran
Setelah mempelajari bab ini, mahasiswa mampu:
Memahami Dasar Rantai Markov
Menjelaskan konsep inti dari rantai Markov, termasuk sifat memoryless dan bagaimana sistem stokastik dapat dimodelkan.
Menganalisis Matriks Transisi
Menyusun dan membaca matriks transisi, serta menghitung probabilitas steady-state dan waktu kembali rata-rata.
Menguasai Konsep MDP
Menjelaskan struktur dan elemen penting dalam Markov Decision Process (MDP) dan aplikasinya.
Mengaitkan dengan Dunia Nyata
Menghubungkan teori Markov dan MDP dengan aplikasi dalam sistem antrian, manajemen stok, keuangan, dan lainnya.
10.1 Pendahuluan Rantai Markov
Model probabilistik untuk sistem stokastik
Photo by Nik on Unsplash
Contoh Intuitif Rantai Markov
Ilustrasi transisi antar keadaan mesin pabrik
Definisi Keadaan Mesin
Mesin dalam tiga keadaan: Baik, Rusak Ringan, dan Rusak Berat. Mewakili kondisi sistem pada setiap periode waktu.
Sifat Markovian dalam Mesin
Kondisi minggu depan hanya bergantung pada kondisi minggu ini, bukan pada kondisi-kondisi sebelumnya.
Model Transisi Probabilistik
Perpindahan antar keadaan dijelaskan melalui probabilitas transisi, membentuk dasar rantai Markov.
10.2 Karakteristik Rantai Markov: Keadaan (States)
Definisi dan contoh keadaan dalam sistem stokastik
Photo by Robert Schöller on Unsplash
Transisi & Sifat Markovian
Pergerakan antar state dan konsep tanpa ingatan
Photo by Roman Mager on Unsplash
Jenis Rantai Markov
Perbandingan waktu diskrit dan waktu kontinu
Photo by Daniele Levis Pelusi on Unsplash
10.3 Matriks Transisi
Representasi probabilitas perpindahan antar keadaan
Photo by Alexander Grey on Unsplash
Matriks Transisi n-Langkah
Melihat perkembangan sistem dalam beberapa langkah ke depan
Photo by Anessa Pennington on Unsplash
10.4 Klasifikasi Keadaan
Memahami jenis-jenis state dalam rantai Markov
Photo by Volodymyr Hryshchenko on Unsplash
Keadaan Menyerap & Transien
Analisis sifat-sifat state dalam sistem Markov
Photo by Wesley Tingey on Unsplash
Keadaan Berulang & Periodik
State yang dikunjungi kembali secara teratur atau berkala
Photo by Dan Meyers on Unsplash
10.5 Probabilitas Steady-State
Distribusi probabilitas jangka panjang dalam rantai Markov
Photo by Brett Jordan on Unsplash
Contoh Steady-State: Antrian 2 Keadaan
Perhitungan dan interpretasi steady-state dalam sistem sederhana
Photo by Mika Baumeister on Unsplash
10.6 Waktu Kembali Rata-Rata (Mean Return Time)
Mengukur seberapa lama sistem kembali ke state tertentu
Photo by Icons8 Team on Unsplash
10.7 Markov Decision Process (MDP): Konsep Dasar
Perluasan dari rantai Markov dengan aksi dan keputusan
Photo by Edho Pratama on Unsplash
Komponen Utama MDP
Struktur pembentuk Markov Decision Process
Contoh MDP: Pemeliharaan Mesin
Membangun kebijakan optimal dari state dan aksi
Photo by Emanuele Diviso on Unsplash
10.8 Aplikasi Dunia Nyata
Penerapan Markov Chain dan MDP dalam berbagai bidang
Photo by Clint Adair on Unsplash
10.9 Ringkasan Bab
Intisari konsep Rantai Markov dan MDP
Rantai Markov
Model stokastik dengan sifat memoryless, terdiri dari state dan matriks transisi (P).
Klasifikasi State
Termasuk menyerap, transien, berulang, dan periodik. Mempengaruhi analisis perilaku jangka panjang.
Steady-State & Return Time
Distribusi probabilitas jangka panjang (π) dan waktu kembali rata-rata (mⱼ = 1/πⱼ).
Markov Decision Process (MDP)
Memasukkan aksi dan kebijakan untuk optimasi keputusan dalam ketidakpastian.
Referensi
Sumber utama untuk pendalaman materi Rantai Markov dan MDP
Photo by Thomas Kelley on Unsplash