Eksplorativna analiza tekstova vezanih uz COVID-19

ODD2022

Matej Peranić

​

Beliga S, Martinčić-Ipšić S, Matešić M, Petrijevčanin Vuksanović I, Meštrović A Infoveillance of the Croatian Online Media During the COVID-19 Pandemic: One-Year Longitudinal Study Using Natural Language Processing JMIR Public Health Surveill 2021;7(12):e31540 URL: https://publichealth.jmir.org/2021/12/e31540 DOI: 10.2196/31540

O podacima

• 5 online portala (Večernji.hr, Tportal.hr, Net.hr, Telegram.hr, 24sata.hr)

​

• siječanj – lipanj 2021.
• članci su filtrirani na temelju ključnih riječi koje se u njima spominju
• ODD – siječanj 2021.

​

• https://github.com/InfoCoV/Cro-CoV-Texts

​

Zadaci

a) Odrediti sve bigrame koji se pojavljuju u tekstovima i zapisati ih u datoteku sortirano po frekvencijama�b) Odrediti top 50 najfrekventnijih riječi u zbirci svih dostupnih tekstova u zadanom podatkovnome skupu i zapisati ih u datoteku zajedno s frekvencijom�c) Koristeći TF-IDF shemu, odrediti top 50 najrelevantnijih (ključnih) riječi u zbirci svih dostupnih tekstova u zadanom podatkovnome skupu i zapisati ih u datoteku zajedno s TF-IDF mjerom�d) Odrediti ukupne frekvencije zadanih pojmova vezanih uz COVID-19 (dobiva se zadana lista riječi)*�e) Odrediti frekvencije nekoliko COVID-19 pojmova i grafički prikazati njihovu zastupljenost po mjesecima (koronavirus, covid-19, pandemija, stožer, mjere, maske – voditi računa o tome da je koprus lematiziran, pa pretragu prilagoditi tome)�f) Napraviti pregled sličnosti tekstova po mjesecima primjenom Jaccard indexa sličnosti (Jaccard similarity index): mjeri se sličnost između najfrekventnijih 50 pojmova za svaka dva mjeseca – rezultate vizualitirati kao “heat map”

• lista riječi: koronavirus, covid-19, wuhan, hubei, pandemija, epidemija, karantena, samoizolacija, respirator, strože mjere, ostanimo doma, budimo odgovorni, lockdown, stožer, stožer civilne zaštite, cjepivo, propusnice, zaraženi, aerosol, maske

​

Zadaci

a) Odrediti sve bigrame koji se pojavljuju u tekstovima i zapisati ih u datoteku sortirano po frekvencijama�b) Odrediti top 50 najfrekventnijih riječi u zbirci svih dostupnih tekstova u zadanom podatkovnome skupu i zapisati ih u datoteku zajedno s frekvencijom�c) Koristeći TF-IDF shemu, odrediti top 50 najrelevantnijih (ključnih) riječi u zbirci svih dostupnih tekstova u zadanom podatkovnome skupu i zapisati ih u datoteku zajedno s TF-IDF mjerom�d) Odrediti ukupne frekvenicje zadanih pojmova vezanih uz COVID-19 (dobiva se zadana lista riječi)*�e) Odrediti frekvencije nekoliko COVID-19 pojmova i grafički prikazati njihovu zastupljenost po mjesecima (koronavirus, covid-19, pandemija, stožer, mjere, maske – voditi računa o tome da je koprus lematiziran, pa pretragu prilagoditi tome)�f) Napraviti pregled sličnosti tekstova po mjesecima primjenom Jaccard indexa sličnosti (Jaccard similarity index): mjeri se sličnost između najfrekventnijih 50 pojmova za svaka dva mjeseca – rezultate vizualitirati kao “heat map”

• lista riječi: koronavirus, covid-19, wuhan, hubei, pandemija, epidemija, karantena, samoizolacija, respirator, strože mjere, ostanimo doma, budimo odgovorni, lockdown, stožer, stožer civilne zaštite, cjepivo, propusnice, zaraženi, aerosol, maske

​

NMF (Non-negative matrix factorization)

Topic #0: nov ministar, ministar zdravstvo Topic #1: slučaj zaraza, grad wuhan �

Topic #0: nov ministar, ministar zdravstvo, vili beroš

Topic #1: slučaj zaraza, grad wuhan, kineski grad

Topic #2: hrvatski ratni, ratni zrakoplovstvo, grabar kitarović �

Topic #0: nov ministar, ministar zdravstvo, vili beroš, imovinski kartica

Topic #1: slučaj zaraza, grad wuhan, kineski grad, zaraza koronavirus

Topic #2: hrvatski ratni, ratni zrakoplovstvo, tomislav baturina, helikopter kiowa

Topic #3: grabar kitarović, kolinda grabar, zoran milanović, predsjednički izbor �

Topic #0: nov ministar, ministar zdravstvo, vili beroš, odbor zdravstvo, beroš nov Topic #1: slučaj zaraza, grad wuhan, kineski grad, zaraza koronavirus, potvrditi slučaj

Topic #2: hrvatski ratni, ratni zrakoplovstvo, tomislav baturina, helikopter kiowa, načelnik stožer

Topic #3: grabar kitarović, kolinda grabar, zoran milanović, predsjednički izbor, izlazni anketa

Topic #4: imovinski kartica, 000 kuna, pomoćnik ministar, milan kujundžić, vili beroš �

Topic #0: uvoditi strog mjera, kina uvoditi strog, savjetovati građanin putovati

Topic #1: hrvatski ratni zrakoplovstvo, natporučnik tomislav baturina, helikopter kiowa warrior

Topic #2: nov ministar zdravstvo, povjerenje nov ministar, zdravstvo vili beroš

Topic #0: uvoditi strog mjera, kina uvoditi strog, savjetovati građanin putovati, kongo proglasiti visok

Topic #1: hrvatski ratni zrakoplovstvo, natporučnik tomislav baturina, helikopter kiowa warrior, zapovjednik hrvatski ratni Topic #2: nov ministar zdravstvo, povjerenje nov ministar, zdravstvo vili beroš, sabor izglasati povjerenje

Topic #3: mjerni postaja zagreb, dišni srčano krvožilni, razina dišni srčano, srčano krvožilni sustav �

Najfrekventnije riječi

Godina 1956

Velik 1764

Nov 1639

Hrvatski 1553

čovjek 1419

dan 1037

hrvatska 1008

raditi 1001

slučaj 989

dobar 910

TF-IDF (Term Frequency - Inverse Document Frequency)

• statistical measure that evaluates how relevant a word is to a document in a collection of documents

tfidf

vizni 0.344800

peticija 0.331364

posjećivati 0.298992

malezija 0.278148

internet 0.265182

ograničenje 0.241324

dopustiti 0.232809

kinez 0.225007

uvesti 0.223244

potpisati 0.222671

Korišteni materijali

• https://www.analyticsvidhya.com/blog/2021/09/creating-a-movie-reviews-classifier-using-tf-idf-in-python/
• https://towardsdatascience.com/text-analysis-basics-in-python-443282942ec5