Ekspansi Fitur dengan FastText untuk Analisis Sentimen di Media Sosial X Menggunakan Recurrent Neural Network dan Convolutional Neural Network

Robith Naufal Razzak - 1301204017

Pembimbing

Dr. Erwin Budi Setiawan, S.Si., M.T.

Pendahuluan

Latar Belakang

Di era digital saat ini, Twitter telah menjadi tempat penting untuk diskusi publik, khususnya selama event politik besar seperti pemilihan umum. Ini memberikan kesempatan unik untuk menganalisis opini publik secara real-time.

Masalah

Tantangan utama adalah memproses teks tidak terstruktur dan bahasa kiasan di media sosial yang sering sulit dipahami oleh model.

Tujuan

Mengembangkan model hybrid RNN-CNN dengan FastText untuk meningkatkan akurasi dan efisiensi analisis sentimen dari data Twitter.

Studi Terkait

Studi Menggunakan RNN dan FastText

Penelitian menunjukkan bahwa RNN, ketika dikombinasikan dengan FastText dan teknik ekstraksi fitur lainnya seperti TF-IDF, berhasil mencapai akurasi hingga 97.75% pada analisis sentimen film berdasarkan berbagai aspek seperti plot dan akting.

Penggunaan Word2Vec dan CNN

Dalam penelitian lain, model yang menggunakan Word2Vec dengan CNN menunjukkan peningkatan akurasi yang signifikan, dengan CNN yang dikombinasikan dengan ekspansi fitur Word2Vec mencapai akurasi tertinggi 89.23%.

Studi dengan Berbagai Metode Deep Learning

Penelitian dengan metode CNN, LSTM, BiLSTM, dan variasi lainnya menunjukkan bahwa model-model hibrida, seperti CNN-LSTM, memberikan hasil yang lebih baik dibandingkan model tunggal dalam analisis sentimen di level dokumen.

Sistem yang Dibangun

Crawling Data

Labeling Data

Pre-Processing

A. Data Cleaning: Proses data cleaning dilakukan untuk membersihkan data di dataset dari username, URL, angka, tanda baca, hashtag, mention, emoticon dan simbol-simbol lain yang tidak diperlukan dalam analisis sentiment.�B. Case Folding: Semua huruf kapital (uppercase) diubah menjadi huruf kecil (lowercase) pada proses ini.�C. Stopword Removal: Proses stopword dilakukan untuk menghapus kata-kata yang umum digunakan namun tidak memberikan makna signifikan. Pada proses ini data stopword diambil dari library nltk.�D. Stemming: Proses stemming digunakan untuk mengubah kata-kata menjadi ke bentuk dasarnya. Proses ini bertujuan untuk mengurangi variasi kata yang sebenarnya memiliki arti/kata dasar yang sama. Library sastrawi digunakan pada proses ini.�E. Normalization: Normalization bertujuan mengubah kata-kata yang tidak terdaftar dalam kamus (out-of-vocabulary, OOV) menjadi kata-kata yang lebih umum. Proses ini sangat krusial karena mempermudah analisis bahasa dalam memahami makna leksikal. Dengan normalisasi kata-kata OOV, efisiensi dalam pemrosesan bahasa dapat dioptimalkan.�F. Tokenizing: Tokenizing adalah metode pemecahan teks menjadi unit-unit yang lebih kecil seperti kata, frasa, dan simbol, yang dikenal sebagai token. Proses ini memudahkan analisis dan pemrosesan data yang lebih efisien

​

​

Ekstraksi Fitur

Dalam penelitian ini, metode Term Frequency-Inverse Document Frequency (TF-IDF) dipilih sebagai teknik ekstraksi fitur. Metode ini terdiri dari dua komponen utama: Term Frequency (TF) dan Inverse Document Frequency (IDF). TF mengukur seberapa sering suatu kata muncul dalam dokumen tertentu, menunjukkan kepentingannya. Sementara itu, IDF menghitung berapa banyak dokumen yang mencakup kata tersebut, yang menandakan pentingnya kata tersebut dalam keseluruhan korpus. Nilai TF-IDF diperoleh dengan mengalikan nilai Term Frequency (TF) dengan nilai Inverse Document-Frequency (IDF).

Ekspansi Fitur

Jumlah kosakata pada korpus

Korpus Top 5 Similarity

Classification Model

1. Recurrent Neural Network

​

Classification Model

2. Convolutional Neural Network

​

Classification Model

3. Hybrid RNN-CNN

​

Performance Evaluation

Confusion Matrix

Proses evaluasi dilakukan menggunakan Confusion Matrix. Confusion matrix menjelaskan jumlah data uji yang benar diklasifikasi dan yang salah diklasifikasi oleh model.

Evaluasi

• Skenario I, menguji rasio split data untuk memperoleh nilai dasar atau baseline.
• Skenario II, menguji integrasi max feature dalam ekstraksi fitur TF-IDF yang bertujuan untuk memperoleh nilai max feature dengan akurasi terbaik.
• Skenario III, menguji penggunaan n-gram dalam ekstraksi fitur TF-IDF untuk mendapatkan konfigurasi n-gram dengan akurasi terbaik.
• Skenario IV, melakukan pengujian dengan mengaplikasikan ekspansi fitur menggunakan FastText untuk memperoleh model dengan akurasi terbaik setelah melakukan ekspansi fitur.
• Skenario V, melakukan pengujian dengan model hybrid untuk mendapatkan model dengan hasil akurasi terbaik.

​

Evaluasi

Hasil pengujian

Kesimpulan

Penelitian yang dilakukan berhasil mengidentifikasi efektivitas model hybrid RNN-CNN dengan penambahan ekspansi fitur FastText dengan membangun korpus dari 62955 Tweet dan 126673 data IndoNews. Hasilnya menunjukkan peningkatan signifikan dalam akurasi, model hybrid memberikan kinerja yang lebih unggul dibandingkan dengan penggunaan model-model deep learning yang berdiri sendiri seperti CNN dan RNN.

Berdasarkan hasil pengujian, model hybrid menggunakan split data 90:10, max feature 20000, konfigurasi n-gram uni-bigram, dan ekspansi fitur FastText pada penggunaan korpus Tweet + IndoNews dengan similarity top 1, akurasi yang dicapai adalah 73.00% , dengan peningkatan 2.50% terhadap model RNN dan 3.00% terhadap model CNN. Peningkatan substansial dibandingkan dengan baseline model RNN dan CNN, mengindikasikan bahwa kombinasi RNN dan CNN dalam model hybrid, bersama dengan strategi ekspansi fitur, berhasil memberikan pemahaman yang lebih mendalam dan akurat tentang sentimen yang terkandung dalam data. Ekspansi fitur menggunakan FastText terbukti efektif dalam meningkatkan akurasi, menunjukkan pentingnya penambahan informasi leksikal dalam analisis sentimen yang akurat.

Saran

Dengan mempertimbangkan hasil tersebut, sangat disarankan untuk mengaplikasikan model ini pada dataset yang lebih luas dan dari berbagai platform media sosial untuk mengevaluasi adaptabilitas dan robustness model. Penelitian lebih lanjut dapat melibatkan eksplorasi metode ekspansi fitur lain seperti GloVe atau Word2Vec untuk membandingkan efektivitasnya dalam analisis sentimen. Optimasi arsitektur model hybrid, khususnya pengaturan RNN dan CNN, juga bisa menjadi area penelitian yang menjanjikan untuk melihat peningkatan performa yang potensial.

Terimakasih