ANALIZA DATELOR DIGITALE CURS 1

28 februarie 2022

Analiza Datelor Digitale

​

Pachete software pentru analiza și vizualizarea datelor digitale

​

CURS 2

​

S.l. dr. ing. Eduard ZADOBRISCHI

Media Digitală

An II

Excel – Generarea, procesarea și analizarea datelor

2

Excel oferă diverse opțiuni pentru generarea de date, cum ar fi:

• Introducerea manuală a datelor;
• Importul datelor din alte surse (ex: fișiere text, CSV);
• Utilizarea funcțiilor și formulelor pentru a calcula valori;
• Crearea de grafice și diagrame.

Procesarea datelor:

• Curățarea datelor (ex: eliminarea duplicatelor, corectarea erorilor);
• Sortarea și filtrarea datelor;
• Manipularea datelor (ex: concatenarea textului, calcularea procentelor);
• Utilizarea funcțiilor avansate (ex: VLOOKUP, INDEX/MATCH).

Analiza datelor:

• Statistici descriptive (ex: medie, mediană, abatere standard);
• Tabele pivot (ex: rezumarea datelor, identificarea tendințelor);
• Analiza "What-if" (ex: simularea scenariilor ipotetice);
• Vizualizarea datelor.

Creați un fișier Excel cu următoarele coloane (Data – format: dd.mm.yyyy.), Produs, Vânzări)

1. Curățarea datelor prin verificarea dacă există elemente eronate în coloanele create, corectarea acestora și eliminarea duplicatelor)
2. Formatarea coloanei Data și formatarea coloanei Vânzări ca fiind număr cu două zecimale.
3. Conturarea uni tabel pivot, analiza acestuia și generarea de grafice.

Excel – Generarea, procesarea și analizarea datelor

3

• 1. SUM (SUMĂ): Calculează suma valorilor dintr-un interval de celule. Exemplu: Calcularea venitului total din vânzări: =SUM(B2:B10)
• 2. AVERAGE (MEDIE): Calculează media valorilor dintr-un interval de celule. Exemplu: Calcularea mediei notelor elevilor: =AVERAGE(C2:C15)
• 3. COUNT (NUMĂRĂ): Numără celulele care conțin numere.

Exemplu: Numărarea clienților care au plasat o comandă: =COUNT(A2:A100)

​

4. COUNTIF (NUMĂRĂ.DACĂ): Numără celulele care conțin o anumită valoare sau care îndeplinesc o anumită condiție.

Exemplu: Numărarea produselor cu un stoc mai mic de 10: =COUNTIF(B2:B10,"<10")

5. VLOOKUP (CAUTĂ.VERTICAL): Găsește o valoare specifică într-o coloană și returnează valoarea din altă coloană din aceeași linie.

Exemplu: Găsirea numelui clientului pentru un ID specific: =VLOOKUP(A2,$A$2:$B$10,2,FALSE)

GROUPBY

�

Excel – Generarea, procesarea și analizarea datelor

4

6. IF (DACA): Returnează o valoare dacă o condiție este adevărată și o altă valoare dacă este falsă.

Exemplu: Afișarea mesajului "Promoție activă" dacă prețul este mai mic de 100: =IF(A2<100,"Promoție activă","")

7. INDEX & MATCH (INDEX & POTRIVIRE): O combinație de funcții care permite găsirea unei valori specifice într-o matrice și returnarea valorii din altă celulă din aceeași linie sau coloană.

Exemplu: Găsirea prețului unui produs specific: =INDEX($B$2:$B$10,MATCH(A2,$A$2:$A$10,0))

8. PivotTable (Tabel Pivot)

9. Conditional Formatting (Formatare condiționată)

10. Charts (Diagrame)

�

Excel – Generarea, procesarea și analizarea datelor

5

PIVOTBY

�

Funcții ca argumente

În exemplele de mai sus, trecem funcțiile SUM și MAX la GROUPBY, respectiv PIVOTBY. Acestea sunt funcții lambda, funcțiile “ eta reduse lambda ” pentru a fi precise. Și deși au un nume complex, sunt extrem de ușor și intuitiv de utilizat .

Lista completării automată a funcțiilor

�

Excel – Generarea, procesarea și analizarea datelor

6

De asemenea, am adăugat și sprijinul lambda la toate funcțiile noastre care acceptă lambdas, îmbunătățind considerabil lizibilitatea formulelor pentru scenarii simple. Luați în considerare exemplul BYCOL de mai jos. Anterior, trebuia să scrii: = BYCOL ( C3: F6, LAMBDA ( x, SUM ( x ) )

�

SUM după coloană

�

Semnătura funcției

GROUPBY și PIVOTBY au argumente suplimentare care vă oferă controlul ieșirilor lor. De exemplu, puteți controla modul în care sortează, dacă datele dvs. au anteturi și dacă doriți să filtrați unele valori. Puteți vedea semnăturile lor complete mai jos:

GROUPBY ( row_fields, valori, funcție, [ field_headers ], [ total_depth ], [ sort_order ], [ ]

​

PIVOTBY ( row_fields, col_fields, valori, funcție, [ field_headers ], [ row_total_depth ], [ row_sort_order ], [,�[ col_sort_order ], [ filter_array ] )

Excel – Generarea, procesarea și analizarea datelor

7

Funcția bonusului

PERCENTOF. Este o funcție simplă ca SUM să fie primul său argument și să se împartă de SUM al celui de-al doilea argument. În timp ce îl puteți utiliza singur, este deosebit de util cu GROUPBY și PIVOTBY, deoarece vă permite să returnați procente. 

PERCENTOF ( data_subset, date_all )

Vânzări procentuale pe categorii

Limbajul de programare R – utilizat în calculul statistic și generarea de grafice

8

R este un limbaj și un mediu pentru calcul statistic și grafică. Este un Proiect GNU care este similar cu limbajul și mediul S.

R oferă o mare varietate de modele statistice (liniare și neliniare, teste statistice clasice, analize de serii de timp, clasificare, clustering) �

R este o suită integrată de facilități software pentru manipularea, calculul și afișarea grafică a datelor, având următoarele facilități:

​

• Instalare eficientă, gestionare și stocare a datelor,
• o suită de operatori pentru calcule pe tablouri, în special matrice,
• o colecție mare, coerentă și integrată de instrumente intermediare pentru analiza datelor,
• facilități grafice pentru analiza datelor și afișare fie pe ecran.un limbaj de programare bine dezvoltat, simplu și eficient, care include condiționări, bucle, funcții recursive definite de utilizator și facilități de intrare și ieșire.

The R limbaj de programare este un limbaj dinamic construit pentru calcul statistic și grafică. R este utilizat în mod obișnuit în analiza statistică, calculul științific, învățarea mașinilor și vizualizarea datelor.

The Extensie R pentru Visual Studio Code acceptă evidențierea extinsă a sintaxei, completarea codului, sclipirea, formatarea, interacțiunea cu terminalele R, vizualizarea datelor, parcele, variabilele spațiului de lucru, paginile de ajutor, gestionarea pachetelor și lucrul cu R Markdown documente.

9

Limbajul de programare R – modalitate de instalare și utilizare R

10

Limbajul de programare R – modalitate de instalare și utilizare R

​

1. Instalați R ( > = 3.4.0 ) pentru platforma dvs. Pentru utilizatorii Windows, se recomandă verificarea Salvați numărul versiunii în registru în timpul instalării, astfel încât extensia R să poată găsi executabilul R automat.
2. Instalare languageserver în R.

install.packages("languageserver")

3. Instalați Extensie R pentru Visual Studio Code.
4. Creați un fișier R și începeți codarea.

​

Pentru a îmbunătăți experiența utilizării R în VS Code, sunt recomandate următoarele programe și pachete:

• Radian: O consolă R modernă care corectează multe limitări ale terminalului R oficial și acceptă multe caracteristici, cum ar fi evidențierea sintaxei și completarea automată.
• httpgd: Un pachet R pentru a furniza un dispozitiv grafic care servește asincron grafic SVG prin HTTP și WebSockets. Acest pachet este solicitat de vizualizatorul de complot interactiv al extensiei R pentru Codul VS.

Dacă aveți probleme cu instalarea pachetelor R sau extensiei R pentru VS Code, accesați paginile wiki de instalare (Windows | MacOS | Linux) pentru mai multe detalii.

​

11

Limbajul de programare R – modalitate de instalare și utilizare R

Rularea codului R

• Rularea codului R este pur și simplu trimiterea codului către terminalul R. Înainte de a rula codul R, puteți crea un terminal R prin comandă R: Creați terminal R în Paleta de comandă.

​

• După ce un terminal R este gata, puteți selecta codul sau puteți pune cursorul la începutul sau la sfârșitul codului pe care doriți să îl rulați, apăsați (Ctrl+Enter), apoi codul va fi trimis terminalului R activ.

​

• Dacă doriți să rulați un întreg fișier R, deschideți fișierul în editor și apăsați Ctrl+Shift+S iar fișierul va fi furnizat în terminalul R activ.

​

• Pentru o utilizare mai avansată, cum ar fi rularea mai multor terminale R sau terminale R autogestionate, puteți citi Interacționarea cu terminalele R.

Finalizarea codului ( IntelliSense )

​

Extensia R acceptă completarea codului și multe alte funcții de editare a codului datorită serverului de limbaj R. Finalizarea arată funcțiile și variabilele disponibile în domeniul de aplicare și spațiul de lucru R curent, împreună cu documentația din pachete sau furnizate ca comentarii.

12

Limbajul de programare R – modalitate de instalare și utilizare R

13

Limbajul de programare R – modalitate de instalare și utilizare R

Linting

Linting-ul este o caracteristică care verifică codul pentru avertismente și erori potențiale. Linting-ul de cod R este furnizat de Lintr pachet. Îl puteți personaliza alegând din lista căptușeli disponibile prin fișier de configurare.

Pe lângă completarea și legarea codului, extensia R acceptă și alte caracteristici, cum ar fi formatarea codului, mergeți la definiție, redenumiți simbolul, găsiți referințe. Citit R Serviciul lingvistic pentru mai multe detalii.

�

14

Limbajul de programare R – modalitate de instalare și utilizare R

Vizualizatorul spațiului de lucru este situat în bara laterală din Codul VS și conține pachetele utilizate și variabilele globale în sesiunea R activă. Selectați pictograma R din bara de activități și va apărea vizualizatorul spațiului de lucru și vizualizatorul paginilor de ajutor. Este o modalitate convenabilă de a vizualiza spațiul de lucru R, de a previzualiza obiectele R existente, de a găsi subiecte de ajutor și de a citi paginile de ajutor în mod interactiv.

Pe lângă vizualizatorul spațiului de lucru, există și un vizualizator de date, un vizualizator de complot și un vizualizator de widget

�

Limbajul de programare Python

15

Python este un limbaj de programare general-purpose care poate fi utilizat și pentru analiza datelor.

​

• Încărcarea datelor dintr-un fișier CSV.
• Afișarea primelor rânduri din setul de date.
• Crearea de grafice și diagrame pentru a vizualiza datele.
• Calculul statisticilor descriptive.
• Filtrarea datelor pentru a obține un subset specific.

Continuă către Python Tutorial

Limbajul de programare Python

16

Întregul proces al Analiza datelor exploratorii (EDA) implică unele etape care includ teste statistice, vizualizează datele noastre prin crearea de parcele diferite pentru aceasta, verificarea calității datelor, teste cantitative etc.

​

Verificarea calității datelor:�Se poate face folosind funcția de bibliotecă pandas descrie ( ), info ( ) etc.

Test statistic:�Corelația Pearson, corelația Spearman, testul Kendall, etc. pot fi găsite folosind biblioteca de statistici.

Test cantitativ:�găsiți răspândirea caracteristicilor numerice, număr de caracteristici categorice efectuate prin biblioteca pandas.

Vizualizare:�Se folosesc bare de bare, histograme, diagrame, parcele de împrăștiere etc.

Această bibliotecă poate face această sarcină în doar câteva linii de cod în mod automat.

Limbajul de programare Python

17

Sweetviz este o bibliotecă de vizualizare automată a pitonului open-source care generează un raport, care explorează datele cu ajutorul unor parcele de înaltă densitate.

​

​

Nu numai că automatizează EDA, dar este utilizat și pentru compararea seturilor de date și pentru extragerea inferențelor din aceasta. O comparație a două seturi de date se poate face tratând unul ca instruire și celălalt ca testare.

�

Acesta generează un raport care are:

Prezentare generală a setului de date, proprietăți variabile, asociații categorice, asociații numerice, cea mai mare, cea mai mică sau cea mai frecventă valoare pentru setul de date.

Numele setului de date: Predicția Churn

Limbajul de programare Python

18

Biblioteca DTale:

�

D-Tale este o bibliotecă de vizualizare automată a pitonului open-source. Este una dintre cele mai bune biblioteci de vizualizare a datelor auto. D-Tale vă ajută să obțineți un EDA detaliat al datelor. De asemenea, are o caracteristică a exportului de cod, pentru fiecare diagramă sau analiză din raport.

​

Generează raportul de a avea:

​

O imagine de ansamblu a setului de date, filtrele personalizate, corelația, graficele și hatmaps-urile, evidențierea tipurilor de date, valorile lipsă, intervalele, exportul codului

Limbajul de programare Python

19

“ Analiza exploratorie a datelor este o atitudine, o stare de flexibilitate, disponibilitatea de a căuta acele lucruri care credem că nu există, precum și lucrurile pe care credem că ar putea fi acolo. ”

Numele setului de date: Predicția Churn

�

Link:https://www.kaggle.com/shubh0799/churn-modelling

�

Tableau AI (Explorare data, analiză informații și luare decizii)

20

Accelerați luarea deciziilor și eliminați sarcinile repetitive cu Tableau Pulse și Einstein Copilot. Analitice inteligente la scară.

​

​

Tableau AI (Explorare data, analiză informații și luare decizii)

21

Produsele Tableau includ:

• Table Desktop
• Tableau Server
• Tableau Online
• Tableau Prep Builder (lansat în 2018)

​

• Tableau Vizable (aplicație mobilă de vizualizare a datelor pentru consumatori lansată în 2015)
• Tableau Public (utilizare gratuită)
• Tableau Reader (utilizare gratuită)
• Tableau Mobile
• Tableau CRM

​

Tableau AI (Explorare data, analiză informații și luare decizii)

22

Unele vizualizări create de Tableau Software:

�

Server de temperaturi globale.

�

Tableau are o funcționalitate de cartografiere și este capabil să traseze coordonatele de latitudine și longitudine și să se conecteze la fișiere spațiale precum Esri Shapefiles, KML și GeoJSON pentru a afișa geografia personalizată. Geocodarea încorporată permite locurilor administrative (țară, stat/provincie, județ/district), coduri poștale, districte ale Congresului SUA, CBSA/MSA din SUA, coduri de zonă, aeroporturi și zone statistice ale Uniunii Europene (coduri NUTS) să fie mapate automat. Datele geografice pot fi grupate pentru a crea teritorii personalizate sau geocodare personalizată utilizată pentru a extinde rolurile geografice existente în produs.

Tableau AI (Explorare data, analiză informații și luare decizii)

23

1 - Analiza anuală a bonusului

1.1 Câmpuri calculate

Un câmp calculat este cruțat la sursa de informații din Tableau și poate fi utilizat pentru a face reprezentări progresive puternice. Noile tale date rămân imaculate sau impecabile.

Trebuie să faceți clic dreapta pe măsuri secțiune. Faceți clic pe crearea unui nou câmp calculat și introduceți terminologia cu o formulă specifică.

i.e TotalSales = (Unit)*(Unit Price)

�

Creați un câmp calculat:

Un semn egal ( = ) apare lângă pictograma tipului de date. Toate câmpurile calculate au semne egale ( = ) lângă ele în fereastra Date.

Tableau AI (Explorare data, analiză informații și luare decizii)

24

1.2 Adăugarea culorilor

�

Setați dimensiunea peste secțiunea de culori. Tableau va găsi automat cea mai bună vizualizare posibilă pentru graficul dvs. de bare. Prin atingerea culorii, puteți trece la diverse culori și efecte de paletă de culori.

În acest exemplu de mai jos, am tras dimensiunea ‘ Regiune ’ peste culoare, astfel încât toată aceeași regiune capătă o culoare similară, care este mai ușor de înțeles / înțeles.

Tableau AI (Explorare data, analiză informații și luare decizii)

25

1.3 Etichete și formatare

�

În primul rând, trebuie să specificați reprezentantul, regiunea cu o sumă totală de vânzări pe graficul dvs. de bare pentru a pictura perfect. Pentru aceasta, trebuie să tragem acești parametri pe eticheta câmpului. După aceasta, vedeți clar că aceste dimensiuni sunt reprezentate.

�

1. Când faceți click dreapta pe eticheta câmpului din vizualizare și selectați Format.

​

• În Format panou, Puteți specifica fonturi, umbrire, aliniere și separatoare pentru fiecare dintre aceste tipuri de etichete de câmp.

Tableau AI (Explorare data, analiză informații și luare decizii)

26

2. Șomaj pe termen lung

2.1 Extras de date în tabel

În momentul în care faceți un extras din informațiile dvs., puteți reduce suma totală de informații utilizând canale și proiectând diferite puncte de întrerupere.

1. Susține colecții informaționale enorme

2. Rapid de făcut

3. Ajută la îmbunătățirea execuției

4. Utilitate suplimentară Bolster

5. Oferiți acces deconectat la informațiile dvs.

Tableau AI (Explorare data, analiză informații și luare decizii)

27

2.2 Serie de timp în tabel

Este vital să înțelegeți informațiile dvs. Capacitatea de a privi înainte și invers, de a reduce de la ani la zile și de a vedea inclinarea informațiilor pe diverse perioade de timp este de bază pentru investigația cea mai exhaustivă.

​

Trebuie să vă schimbați Perioadă dimensiunea până la an, trimestru, lună săptămână, formate de zi pentru a-și observa analiza.

Tableau AI (Explorare data, analiză informații și luare decizii)

28

2.3 Granularitate și nivel de detalii

​

Granularitatea face aluzie la gradul de detaliu al informațiilor puse într-un tabel.

Articulațiile de nivel de detaliu ( LOD ) vă permit să descoperiți stime la nivelul sursei de informații și la nivelul de percepție.

Tableau AI (Explorare data, analiză informații și luare decizii)

29

2.4 Evidențierea acțiunilor și a graficului de zonă

1. Fișă de lucru > Acțiuni. Selectați Tablou de bord > Acțiuni.
2. În caseta de dialog Acțiuni, Adăugați acțiune butonează și apoi selectează Evidențiați.

Tableau AI (Explorare data, analiză informații și luare decizii)

30

2.5 Filtru rapid

Multe tipuri de filtre din Tableau sunt accesibile rapid folosind alternativa cu clic dreapta pe măsură. Aceste filtre cunoscute sub numele de filtre rapide au suficientă utilitate pentru a înțelege marea majoritate a nevoilor de separare de bază.

• Valoare unică ( Listă ),
• Valoare unică ( Dropdown ),
• Valori multiple ( Listă ),
• Valori multiple ( Dropdown ), Valori multiple (, Valoare unică ) Slider <TAG1,
• Wildcard Match sunt diferitele filtre rapide disponibile.

Power BI (Explorare data, analiză informații și luare decizii)

31

Continuă către Tutorial

Avantajele Power BI:

​

• Vizualizare excelentă a datelor, cu posibilitatea utilizatorilor de a accesa tablouri de bord de pe web sau dispozitivul lor mobil;
• Vizualizări încorporate în interiorul aplicațiilor corporative;
• Gateways pentru accesarea datelor premise direct din cloud.

​

​

Temă (bonificație notă examen)

32

Tema 1. Având toate aceste tool-uri prezentate, realizați rapoarte cu privire la modul în care sunt expuse locurile de muncă în regiunea de Nord-Est. Clasificarea să se realizeze pentru mai multe categorii de locuri de muncă, impactul pe care îl creează scăderea natalității, numărul scăzut de absolveți de Bacalaureat și expuneți evoluția pe termen lung 10-15 ani. Trasați direcții clare cu privire la sectoarele de interes și care sunt cele mai prolifice oportunități raportate la piața actuală.

Nota acestei teme se va contoriza ca parte în formula de calcul a mediei finale ale examenului!

Tema 2. Având toate aceste tool-uri prezentate, realizați rapoarte cu privire la modul în care sunt expuse locurile de muncă în regiunea de Nord-Est. Realizați un studiu cu privire la impactul media (clasic & online) în dezvoltarea socio-regională. În aceste simulări și predicții trebuie să aveți în vedere inclusiv și aspecte care țin de economia subterană. Trasați direcții clare cu privire la impactul mass-media în dezvoltarea și progresul economic, dar și factori negativi sau pozitivi privind impactul pe care îl generează utilizatorilor.

33