1 of 20

PENGANTAR

BIG DATA

Pertemuan 1

Pengampu : Ridho Surya Kusuma, S.T., M.Kom., CSA

Tutor : Lukman Reza. M.Kom.

2 of 20

Pembahasan

  • Latar belakang kemunculan data berlimpah
  • Sifat Big Data
  • Kompleksitas Big Data
  • Framework Big Data
  • Siklus Manajemen Big Data

3 of 20

Apa Itu Big Data

  • Big Data adalah data yang skala, distribusi, keragaman, dan / atau ketepatan waktunyamemerlukan penggunaan arsitektur teknis dan analitikbaruuntuk memungkinkan wawasan/ pengetahuanyang membuka sumber baru nilai bisnis. McKinsey& Co

  • Big Data adalah kemampuan untuk mengelola sejumlah besar data yang berbeda, dengan kecepatan yang tepat, dan dalam kerangka waktu yang tepat untuk memungkinkan analisis dan reaksi secara real-time.

4 of 20

Latar Belakang

  • Sejak mulai dikenalnya internet pada tahun 1989, mulai banyak hal kegiatan melalui internet, Pada tahun 1990 John Romkey menciptakan 'perangkat', pemanggang roti yang bisa dinyalakan dan dimatikan melalui Internet.

  • Wear Cam diciptakan pada tahun 1994 oleh Steve Mann. Pada tahun 1997 Paul Saffo memberikan penjelasan singkat pertama tentang sensor dan masa depan.

  • Tahun 1999 Kevin Ashton menciptakan The Internet of Things, direktur eksekutif Auto IDCentre, MIT. Mereka juga menemukan peralatan berbasis RFID (Radio Frequency Identification) global yang sistem identifikasi pada tahun yang sama. Penemuan ini disebut sebagai sebuah lompatan besar dalam commercializing IoT

5 of 20

Latar Belakang (cont.)

  • Pada tahun 2008 kelompok perusahaan meluncurkan IPSO Alliance untuk mempromosikan penggunaan Internet Protocol (IP) dalam jaringan dari "Smart object" dan untuk mengaktifkan Internet of Things. Pada tahun 2008 FCC menyetujui penggunaan ”white space spectrum”.

  • Akhirnya peluncuran IPv6 di tahun 2011 memicu pertumbuhan besar di bidang Internet of Things, perkembangan ini didukung oleh perusahaan raksasa seperti Cisco, IBM, Ericson mengambil inisiatif banyak dari pendidikan dan komersial dengan IOT teknologi dapat hanya dijelaskan sebagai hubungan antara manusia dan komputer.

  • Perkembangan Internet of Things, semua peralatan yang kita gunakan dalam kehidupan kita sehari hari dapat dikendalikan dan dipantau menggunakan IOT.

6 of 20

IOT?

  • Internet of things merupakan sebuah konsep di mana suatu benda atau objek ditanamkan teknologi-teknologi seperti sensor dan software dengan tujuan untuk berkomunikasi, mengendalikan, menghubungkan, dan bertukar data melalui perangkat lain selama masih terhubung ke internet.

  • IoT memiliki hubungan yang erat dengan istilah machine-to-machine atau M2M

7 of 20

Sifat Big Data

  1. Volume (Jumlah)

Definisi: Volume mencerminkan jumlah besar data yang dihasilkan atau dikumpulkan dari berbagai sumber. Data tersebut dapat mencapai skala petabytes atau lebih.

Contoh: Misalnya, perusahaan e-commerce yang mengumpulkan data transaksi harian dari jutaan pelanggan atau proyek penelitian ilmiah yang menghasilkan data eksperimental besar.

8 of 20

Sifat Big Data (cont.)

  1. Velocity (Kecepatan)

Definisi: Velocity menekankan kecepatan pembentukan dan pemrosesan data. Data yang dihasilkan atau diakuisisi dengan kecepatan tinggi memerlukan kemampuan untuk diproses secara real-time atau hampir real-time.

Contoh: Streaming data dari sensor IoT yang menghasilkan data secara kontinu, data transaksi keuangan dalam waktu nyata yang memerlukan pemrosesan cepat.

9 of 20

Sifat Big Data (cont.)

  1. Variety (Variasi)

Definisi: Variety mencerminkan beragamnya jenis data, baik struktur maupun tidak terstruktur. Data bisa berupa teks, gambar, audio, video, serta data terstruktur dari database relasional.

Contoh: Data terstruktur seperti tabel database, data setengah terstruktur seperti format JSON atau XML, dan data tidak terstruktur seperti teks bebas atau file gambar.

10 of 20

Sifat Big Data (cont.)

  1. Veracity (keandalan)

Definisi: Veracity menyoroti tingkat keandalan dan kualitas data. Dengan volume besar data, ada tantangan untuk memastikan keandalan dan integritas data.

Contoh: Kualitas data yang diragukan karena kesalahan pengukuran sensor atau inkonsistensi dalam format data.

11 of 20

Sifat Big Data (cont.)

  1. Value (Nilai)

Definisi: value menekankan bahwa tujuan dari analisis data adalah untuk menghasilkan nilai atau wawasan yang bermanfaat dan relevan bagi pengambilan keputusan.

Contoh: Menghasilkan wawasan yang dapat digunakan untuk meningkatkan efisiensi operasional, memahami perilaku pelanggan, atau membuat keputusan strategis dalam bisnis.

12 of 20

Sifat Big Data (cont.)

Seiring waktu, karakteristik /sifat dari big data meningkat berdasarkan issue dan tantangan kedepan, dari 3V sampai 42V dan seterusnya.

Khan, Nawsher & Alsaqer, Mohammed & Shah, Habib & Badsha,

Gran & Abbasi, Aftab & Salehian, Solmaz. (2018).

The 10 Vs, Issues and Challenges of Big Data. 52-56. 10.1145/3206157.3206166.

13 of 20

Kompleksitas Big Data

  1. Volume yang besar
  2. Kecepatan yang tinggi
  3. Varietas jenis data
  4. Veracity (keandalan)
  5. Nilai informasi

14 of 20

Framework Big Data

Framework Big Data adalah kerangka kerja perangkat lunak atau struktur konseptual yang menyediakan dasar untuk merancang, mengelola, dan menganalisis data dalam skala besar.

Framework ini membantu dalam pengembangan aplikasi Big Data dengan menyediakan alat dan layanan yang diperlukan untuk mengelola kompleksitas data besar.

15 of 20

Contoh Framework

  1. Apache Hadoop
  2. Apache Spark
  3. Apache Flink
  4. Apache Kafka
  5. Hadoop Ecosystem (Hive, Pig, HBase, dll.):
  6. Apache Storm

16 of 20

Hadoop Framework

Hadoop merupakan sebuah tools framework yang dibuat oleh Google dan Apache Software Foundation yang dikhususkan untuk mempermudah pekerjaan yang terkait dengan Big Data Analytics. Hadoop bisa mengatasi segala permasalahan pengolahan Big Data yang masih dilakukan secara konvensional.

17 of 20

Siklus Manajemen Big Data

  • Data pertama-tama harus diambil
  • Kemudian diatur dan diintegrasikan
  • Data kemudian dianalisis berdasarkan masalah yang ditangani
  • Manajemen/system mengambil Tindakan berdasarkan hasil analisis

Contoh : rekomendasi video berdasarkan history pencarian.

CAPTURE

ORGANIZE

ACT

INTEGRATE

ANALYZE

18 of 20

Big Data Myths

Big Data is only an issue if you are in IT

  • Beberapa decade yang lalu, satu-satunya computer dalam sebuah organisasi, jika ada, akan menjadi satu satunya domain departemen TI. Ketika computer pribadi menjadi lebih murah dan lebih mudah diakses, PC mulai muncul di setiap meja dan hamper setiap karyawan organisasi menggunakannya setiap hari.
  • Prinsip yang sama berlaku untuk data.

19 of 20

Big Data Myths

Big Data is an All-in-one Solution

  • big data bisa jadi berantakan dan mengubah data mentah ini menjadi wawasan yang bermakna sbig data bisajadiberantakandanmengubahdata mentahinimenjadiwawasanyang bermaknasangatpenting. • Keberhasilanbig data bergantungpadadata scientists, analysts, support staff and business managers. . Semuainibersamamembuatanalisisbig data berguna.angat penting.
  • Keberhasilan big data bergantung pada data scientists, analysts, support staff and business managers. Semua ini Bersama membuat analisis big data berguna.

20 of 20

Bagaimana

Implementasi

Big Data

Di Masa depan?