Didelių duomenų tyrinėjimas naudojant MS Excel

Duomenų tyryba ir informacija III klasei

C2. Tyrinėja duomenis ir atlieka veiksmus su jais.   

Kas yra duomenys?

• Duomenys - tai įvairiomis formomis, pavyzdžiui, skaičiais, tekstu, vaizdais ar kitais formatais, surinkta ar užregistruota informacija apie faktus, stebėjimus ar matavimus.
• Duomenys yra informacijos apdorojimo, analizės ir sprendimų priėmimo pagrindas įvairiose srityse - nuo mokslo ir verslo iki technologijų ir mokslinių tyrimų.

​

1. _____________ gali būti paveikslėliai, skaičiai, tekstas be konteksto
1. Duomenys
2. Informacija
3. Žinios
4. Išmintis (wisdom)

​

2. Kai duomenys tampa reikšmingais gavėjui, tai vadinama ___________________
1. Duomenų rinkiniu
2. Informacija
3. Žiniomis
4. Tinkamo atsakymo nėra

​

3. Kuris iš žemiau pateiktų teiginių yra teisingas?
1. Informacija yra duomenų dalis
2. Duomenys yra informacijos dalis
3. Duomenys ir informacija yra priešingos prigimties.
4. Tinkamo atsakymo nėra.

4. Ar teisingas teiginys: „Kad duomenys būtų naudingi, jie turi virsti informacija“?
1. Taip
2. Ne

​

5. Kuriuos iš žemiau išvardintų pavyzdžių galima laikyti duomenimis?
1. Datos
2. Kainos
3. Išlaidos
4. Visi išvardinti pavyzdžiai yra duomenys

​

6. Kurie iš žemiau išvardintų pavyzdžių yra informacija?
1. Ataskaita
2. Receptas
3. Asmens tapatybės kortelė
4. Visi išvardinti pavyzdžiai yra informacija 

Duomenų saugojimas

• Duomenys gali būti saugomi įvairiais formatais, pavyzdžiui, tekstiniai dokumentai, skaičiuoklės, duomenų bazės, vaizdai, vaizdo įrašai ir kt.
• Šie formatai lemia, kaip duomenys yra struktūrizuoti, organizuoti ir pateikti, kad jie būtų prieinami ir tinkami naudoti įvairiais tikslais ir programomis.

​

Duomenų saugojimas

• Skaičiuoklėje
• CSV formato dokumente
• Duomenų bazėje

​

1. Kurios sritys glaudžiai susijusios su duomenų tyryba?
1. Mašininis mokymasis.
2. Dirbtinis intelektas.
3. a ir b variantai teisingi.
2. Kuris iš pavyzdžių yra nestruktūrizuoti duomenys?
• Klasės mokinių sąrašas.
• Mokinių esė kolekcija.
• Socialinio tinklo vartotojų draugų grafas.
3. Koks yra pagrindinis duomenų tyrybos tikslas?
• Surinkti duomenis.
• Apdoroti duomenis.
• Gebėti sukurti duomenimis pagrįstus sprendimus.

Duomenų prigimtis

Duomenų prigimtis

Duomenų prigimtis

Didieji duomenys (Big Data)

• Sparčiai vystantis šiuolaikinėms technologijoms daugiausia dėmesio skiriama milžiniškų duomenų kiekių, vadinamų didžiaisiais duomenimis, rinkimui.
• Tačiau susiduriama su dideliais iššūkiais apdorojant didžiuosius duomenis ir išgaunant iš jų informaciją.
• Didieji duomenys apibūdinami "3V" charakteristikomis – apimties (Volume), įvairovės (Variety) ir greičio (Velocity).
• Duomenys generuojami per socialinę žiniasklaidą, apsipirkimą internetu, sandorius, tinklo įrenginius ir švietimo įrašus.
• Didieji duomenys yra glaudžiai susiję su debesų kompiuterija (Cloud Computing), nes jų saugojimui reikia didelių saugyklų, o apdorojimui ir analizei – daug skaičiavimų

Duomenų paėmimo būdai

• Pagrindiniai duomenų paėmimo ir naudojimo būdai yra šie:
• Duomenys parsisiunčiame tam tikru formatu (CSV, JSON, XML,...) ir įsikeliame į reikiamą programą.
• Arba prisijungiama prie duomenų teikimo paslaugos (duomenų šaltinio, kaip pvz. duomenų bazė, API, interneto puslapis, ...) ir matomi šiuo metu aktualūs duomenys.
• Skaičiuoklė yra vienas iš įrankių, skirtų duomenų tvarkymui ir analizei.

21

Atviri duomenys

• - laisvai prieinami institucijos veikloje ar dokumentuose užfiksuoti duomenys, informacija ar jos dalis, nepaisant jų pateikimo būdo, formos ir laikmenos, įskaitant registro duomenis, registro informaciją, registrui pateiktų dokumentų ir (arba) jų kopijų duomenis, valstybės informacinės sistemos duomenis, kuriuos visi asmenys gali pakartotinai naudoti ir platinti bet kokiu tikslu, nurodydami jų šaltinį ir tik tomis pačiomis sąlygomis, kuriomis buvo gauti.

​

Atvirų duomenų šaltiniai

• Lietuvos atvirų duomenų portalas: https://data.gov.lt/
• https://www.kaggle.com/datasets
• https://data.europa.eu/lt
• https://www.opendatanetwork.com/
• https://data.unicef.org/resources/resource-type/datasets/
• https://learn.g2.com/open-data-sources
• https://datahub.io/collections

Atvirieji duomenys

• Atviri duomenys - tai informacija ir duomenų rinkiniai, kurie yra laisvai prieinami visuomenei, paprastai be prieigos, naudojimo ar platinimo apribojimų.
• Taip siekiama skatinti skaidrumą, inovacijas ir bendradarbiavimą pateikiant duomenis, kuriuos asmenys, įmonės ir vyriausybės gali naudoti tyrimams, analizei ir taikomųjų programų bei paslaugų kūrimui.
• Atvirų duomenų šaltiniai:
• https://data.gov.lt 
• https://osp.stat.gov.lt/
• https://data.europa.eu ��

​

Mokomasi rinkti duomenis iš įvairių šaltinių

https://data.gov.lt

​

https://data.europa.eu/euodp/lt

​

​

CSV (Comma-Separated Values) duomenų formatas

• Paprastas ir plačiai naudojamas failų formatas lentelinių duomenų saugojimui ir keitimuisi jais. 
• CSV faile duomenys suskirstyti į eilutes ir stulpelius, kiekviena eilutė reiškia vieną lentelės duomenų eilutę, o kiekvienos eilutės reikšmės atskirtos kableliais (arba kitais skyrybos ženklais, pvz., kabliataškiais arba skirtukais).

​

CSV failo pavyzdys

Mokomasi rinkti duomenis iš įvairių šaltinių

https://data.gov.lt

​

Mokomasi rinkti duomenis iš įvairių šaltinių

CSV įkėlimas į MS Excel

Įkeliamas į MS Excel naudojantis Duomenys >> Iš teksto

​

Office2013

2 žingsnyje reikia pasirinkti skyriklį

​

pavizdys.csv

CSV įkėlimas į MS Excel

Įkeliamas į MS Excel naudojantis Data->From text/CSV

​

Office365

Office2016

CSV įkėlimas į MS Excel

Įkeliamas į MS Excel naudojantis Duomenys >> Iš teksto

​

Praktinė užduotis

• Iš atvirųjų duomenų portalo data.gov.lt, suraskite ir parsisiųskite prasmingą duomenų rinkinį CSV formatu, kurį galėtumėte panaudoti
• Įsikelkite jį į skaičiuoklę.
• Padiskutuokime, kokias užduotis galėtume parengti

​

• Pasirinkite dominančią temą (sritį) ir pasinaudodami vienu ar daugiau csv duomenų rinkinių parenkite pranešimą.

​

MS Excel funkcija�

=NUMBERVALUE (K3;".";",")

Sample Footer Text

33

2/7/2024

XML failo formatas

XML reiškia "eXtensible Markup Language" (išplėstinė žymėjimo kalba).

Tai tekstinė teksto žymėjimo kalba, naudojama duomenims saugoti ir perduoti struktūrizuotu formatu.

XML dokumentus sudaro elementai, kuriuose yra duomenų ir kitų elementų, todėl galima kurti sudėtingus dokumentus su hierarchine struktūra.

​

XML failai paprastai naudojami duomenims tarp skirtingų sistemų keistis

XML failo formatas

• Hierarchinė struktūra: XML dokumentai turi hierarchinę struktūrą, sudarytą iš įterptų elementų. Šiuose elementuose gali būti duomenų ir kitų elementų, sudarančių į medį panašią struktūrą.
• Žymos: XML elementams apibrėžti naudojamos žymos. Žymos pateikiamos skliaustuose, pavyzdžiui, <element>. Kiekvienas elementas turi atidarymo žymą ir uždarymo žymą, pavyzdžiui, <element> ir </element>. Uždarymo žymoje prieš elemento pavadinimą rašomas pasvirasis brūkšnys.
• Atributai: Elementai gali turėti atributų, kurie suteikia papildomos informacijos apie elementą. Atributai paprastai nurodomi atidarymo žymėje ir turi pavadinimą bei reikšmę, pavyzdžiui, <element attribute="value">.
• Gerai apibrėžtos taisyklės: Kad XML dokumentai būtų laikomi galiojančiais, jie turi atitikti XML specifikacija vadinamą taisyklių rinkinį. Šios taisyklės apima vieną šakninį elementą, tinkamai įterptus elementus ir gerai suformuotas žymas.

https://conversiontools.io/convert/xml-to-excel

​

XML failo pavyzdys

XML failo įkėlimas į MS Excel

Duomenys->Iš kitų šaltinių>Iš XML...

​

XML dokumento struktūros tikrinimas

https://www.xmlvalidation.com/index.php?id=1&L=0

​

Office2013

pavizdys.hml

XML failo įkėlimas į MS Excel

Duomenys->Iš kitų šaltinių>Iš XML...

​

XML dokumento struktūros tikrinimas

https://www.xmlvalidation.com/index.php?id=1&L=0

​

Office2016

pavizdys.hml

XML failo įkėlimas į MS Excel

Data->Get Data->From File->From XML

​

XML dokumento struktūros tikrinimas

https://www.xmlvalidation.com/index.php?id=1&L=0

​

Office365

Praktinė užduotis

• Sukurkite nedidelį XML failiuką ir įkelkite jį į MS Excel
• Galite redaguoti/papildyti esamą pvz failą

​

​

• Struktūra: https://www.w3schools.com/xml/default.asp

​

​

​

41

JSON failo formatas

• JSON (JavaScript Object Notation) - tai paprastas keitimosi duomenimis formatas, kurį žmonėms lengva skaityti ir rašyti, o programoms - analizuoti ir generuoti.
• JSON dažnai naudojamas duomenims perduoti tarp serverio ir žiniatinklio programos kaip XML alternatyva.

JSON failo formatas

• Duomenų struktūra: JSON pateikia struktūrizuotus duomenis teksto formatu, naudodamas rakto ir vertės poros derinį. Iš esmės tai būdas hierarchiškai saugoti ir tvarkyti duomenis.
• Duomenų tipai: JSON palaiko keletą duomenų tipų, įskaitant objektus, masyvus, eilutes, skaičius, logines reikšmes ir tuščias reikšmes. Šiuos duomenų tipus galima įterpti vieną į kitą ir taip sukurti sudėtingas duomenų struktūras.
• Sintaksė: JSON yra lengvai skaitomas ir rašomas, nes jame naudojama paprasta ir minimalistinė sintaksė. Duomenys paprastai formatuojami naudojant figūrinius skliaustus {}, laužtinius skliaustus [], dvitaškius : ir kablelius ,.

JSON failo formato pavyzdys

JSON failo formatas

• JSON failo formato palaiko šiuos duomenų tipus:
• a string
• a number
• an object (JSON object)
• an array
• a boolean
• Null
• JSON failo struktūra neturi komentavimo galimybės

​

​

JSON failo formato duomenų įkėlimas į MS Excel

• Data ->Get Data ->From File ->From JSON
• Nuoroda kaip įkelti: https://www.howtogeek.com/775651/how-to-convert-a-json-file-to-microsoft-excel/

​

• https://www.youtube.com/watch?v=T_Jp2X9owQk
• https://www.youtube.com/watch?v=CjnsX81qWUg

​

JSON failo formato duomenų įkėlimas į MS Excel

① Paspausti ant List – išskleisti sąrašą

②Paspausti Į lentelę – konvertuoti sąrašą į lentelę

JSON failo formato duomenų įkėlimas į MS Excel

JSON failo formato duomenų įkėlimas į MS Excel

JSON failo struktūros tikrinimas

• Sukūrus naują JSON formato dokumentą reikėtų patikrinti ar nėra palikta kokių klaidų.
• JSON tikrinimas internete: https://jsonlint.com/

Praktinė užduotis

Susikurkite JSON tipo nedidelį failiuką, su keliais (5 ar daugiau) įrašais ir įsikelkite į MSExcel.

51

Praktinė užduotis

• Iš data.gov.lt parinkti mokiniams aktualų duomenų rinkinį JSON formatu ir įsikelti į MSExcel
• Atrinktus duomenų rinkinius įkelti į diską prie praktinių užduočių

SQL komandų panaudojimas www.w3schools.com

Kas yra SQL?

• SQL yra standartinė kalba, skirta pasiekti ir valdyti duomenų bazes.
• Tai struktūrinės užklausos kalba.
• SQL tapo Amerikos nacionalinio standartų instituto (ANSI) standartu 1986 m., o Tarptautinės standartizacijos organizacijos (ISO) – 1987 m.

Ką gali padaryti SQL?

• SQL gali vykdyti duomenų bazės užklausas;
• gali gauti duomenis iš duomenų bazės;
• gali įterpti įrašus į duomenų bazę;
• gali atnaujinti įrašus duomenų bazėje;
• gali ištrinti įrašus iš duomenų bazės;
• gali sukurti naujas duomenų bazes;
• gali sukurti naujas lenteles duomenų bazėje;
• gali sukurti saugomas procedūras duomenų bazėje;
• gali sukurti rodinius duomenų bazėje;
• gali nustatyti leidimus lentelėms, procedūroms ir rodiniams

Turėkite omenyje, kad...

• SQL raktiniai žodžiai NĖRA skiriami didžiosioms ir mažosioms raidėms: pasirinkimas yra toks pat kaip SELECT
• Kai kurios duomenų bazių sistemos reikalauja kabliataškio kiekvieno SQL sakinio pabaigoje.
• Kabliataškis yra standartinis būdas atskirti kiekvieną SQL sakinį duomenų bazių sistemose, kurios leidžia vykdyti daugiau nei vieną SQL sakinį tame pačiame serverio iškvietime.

Kai kurios iš svarbiausių SQL komandų

• SELECT – ištraukia duomenis iš duomenų bazės
• UPDATE – atnaujina duomenis duomenų bazėje
• DELETE – ištrina duomenis iš duomenų bazės
• INSERT INTO - įterpia naujus duomenis į duomenų bazę
• CREATE DATABASE – sukuriama nauja duomenų bazė
• ALTER DATABASE – modifikuoja duomenų bazę
• CREATE TABLE – sukuriama nauja lentelė
• ALTER TABLE – keičia lentelę
• DROP TABLE – ištrina lentelę
• CREATE INDEX – sukuria indeksą (paieškos raktas)
• DROP INDEX – ištrina indeksą

SQL teiginiai

• Dauguma veiksmų, kuriuos turite atlikti duomenų bazėje, atliekami naudojant SQL sakinius.
• SQL sakinius sudaro raktiniai žodžiai, kuriuos lengva suprasti.
• SELECT * FROM Customers;

Šis SQL sakinys grąžina visus įrašus iš lentelės pavadinimu „Klientai“:

SQL teiginiai

• SELECT CustomerName,City FROM Customers; / PASIRINKITE Kliento vardą, miestą IŠ klientų;

Pavyzdžiai

SELECT * FROM Customers�WHERE Country='Mexico';

SELECT * FROM Products�ORDER BY Price; / PASIRINKTI * IŠ produktų UŽSAKYTI PAGAL kainą;

SELECT *�FROM Customers�WHERE Country = 'Spain' AND CustomerName LIKE 'G%';

SELECT *�FROM Customers�WHERE Country = 'Germany' OR Country = 'Spain';

SELECT * FROM Customers�WHERE NOT Country = 'Spain';

INSERT INTO sintaksė

Teiginį INSERT INTO galima parašyti dviem būdais:

1. Nurodykite stulpelių pavadinimus ir reikšmes, kurias norite įterpti:

INSERT INTO lentelės_pavadinimas (1 stulpelis, 2 stulpelis, 3 stulpelis, ...) VERTĖS (reikšmė1, vertė2, reikšmė3, ...);

2. Jei pridedate visų lentelės stulpelių reikšmes, SQL užklausoje stulpelių pavadinimų nurodyti nereikia. Tačiau įsitikinkite, kad reikšmių tvarka yra tokia pati kaip ir lentelės stulpeliai.

INSERT INTO lentelės_pavadinimas VERTĖS (reikšmė1, vertė2, reikšmė3, ...);

Pavyzdžiai

INSERT INTO Customers (CustomerName, ContactName, Address, City, PostalCode, Country)�VALUES ('Cardinal', 'Tom B. Erichsen', 'Skagen 21', 'Stavanger', '4006', 'Norway');

INSERT INTO Customers (CustomerName, City, Country)�VALUES ('Cardinal', 'Stavanger', 'Norway');

INSERT INTO Customers (CustomerName, ContactName, Address, City, PostalCode, Country)�VALUES�('Cardinal', 'Tom B. Erichsen', 'Skagen 21', 'Stavanger', '4006', 'Norway'),�('Greasy Burger', 'Per Olsen', 'Gateveien 15', 'Sandnes', '4306', 'Norway'),�('Tasty Tee', 'Finn Egan', 'Streetroad 19B', 'Liverpool', 'L1 0AA', 'UK');

Kas yra NULL reikšmė?

• Laukas su NULL reikšme yra laukas be reikšmės.
• Jei lentelės laukas yra neprivalomas, galima įterpti naują įrašą arba atnaujinti įrašą nepridedant reikšmės prie šio lauko.
• Tada laukas bus išsaugotas su NULL reikšme.

Pastaba: NULL reikšmė skiriasi nuo nulio reikšmės arba lauko, kuriame yra tarpų. Laukas su NULL reikšme yra tas, kuris buvo paliktas tuščias kuriant įrašą!

SELECT column_names�FROM table_name�WHERE column_name IS NULL;

SELECT CustomerName, ContactName, Address

FROM Customers

WHERE Address IS NULL;

SQL SUM() funkcija

Funkcija SUM() grąžina bendrą skaitinio stulpelio sumą.

​

SELECT SUM(Quantity)

FROM OrderDetails; / PASIRINKTI SUMĄ (kiekis) IŠ OrderDetails;

JOIN

Sąlyga JOIN naudojama dviejų ar daugiau lentelių eilėms sujungti pagal susijusį stulpelį tarp jų.

JOIN

Išbandykime

SELECT Orders.OrderID, Customers.CustomerName, Orders.OrderDate

FROM Orders

INNER JOIN Customers

ON Orders.CustomerID=Customers.CustomerID;

SQL komandų panaudojimas www.w3schools.com

Išbandykime

SELECT ProductName, CategoryID FROM Products WHERE CategoryID>3;

​

SELECT Products.ProductName, Categories.CategoryName FROM [Products]

INNER JOIN Categories ON Products.CategoryID=Categories.CategoryID;

SQL komandų panaudojimas www.w3schools.com

Sugalvokime savo filtrų.

Kokius išbandėte?

Reliacinės duomenų bazės

• Reliacinės duomenų bazių valdymo sistemos – tokios duomenų bazių valdymo sistemos (DBVS), kurios remiasi Edgaro Kodo (Edgar F. Codd) aprašytu reliaciniu modeliu, kurio pagrindinis elementas yra reliacinė lentelė.
• Pirmoji beveik pilnai reliacinė DBVS – 1978 m. išleista Multics Relational Data Store.
• Tai tokia duomenų bazė, kurioje panaudotas sąsajinis (reliacinis) loginis duomenų bazės modelis.
• Duomenų bazių valdymo sistemos, tokios kaip: Microsoft Access, Visual FoxPro, Paradox, Clarion, Oracle, Informix, Sybase yra vadinamos reliacinėmis, kadangi pagrindinė juose saugomų dokumentų konstrukcija yra lentelė (angl. table).
• Paprastai tokia duomenų bazė yra realizuojama kaip susietų lentelių aibė.

68

Reliacinės duomenų bazės

• Pagrindinė reliacinio modelio sąvoka yra lentelė.
• Kiekvienas tokios lentelės stulpelis apibrėžia lauką, o kiekviena eilutė - įrašą.
• Skirtingi tačiau susiję duomenys yra saugomi skirtingose tačiau susietose lentelėse.
• Taigi, reliacinė DBVS - tai duomenų bazė, kurią vartotojai priima kaip lentelių rinkinį.
• Kitaip tariant, lentelių rinkinys sudaro reliacinę duomenų bazę.
• Tipinis tokios DBVS atstovas yra taikomoji programa Microsoft Access 2000.

​

69

Reliacinės duomenų bazės

• https://www.codecademy.com/resources/docs/general/relational-database�
• https://www.w3schools.com/mysql/mysql_rdbms.asp

​

• SQL: https://www.w3schools.com/sql/default.asp

​

70

Duomenų bazės esybės ir ryšiai

Kas yra duomenų bazės esybė?

• Reliacinėse duomenų bazėse duomenys saugomi lentelėse.
• Dažniausiai kiekvieno objekto (gyvo pasaulio objektas, mokinys, mokytojas ir panašiai) duomenims saugoti kuriama lentelė.

​

​

Kas yra duomenų bazės ryšiai

• Duomenų bazėje, kad galėtume peržiūrėti visus duomenis pagal įvairias užklausas lentelės, viena su kita turi turėti ryšius.
• Ryšiai duomenų bazėse kuriami vienoje lentelėje įterpiant papildomą stulpelį iš kitos lentelės, kuriuo galime identifikuoti konkretų įrašą.
• Pvz. Mokinių registro lentelėje, šalia mokinio nurodomas mokyklos identifikacinis kodas. Taip galima atsekti mokyklų lentelėje, daugiau informacijos apie mokyklą kuria lanko mokinys.

Pirminiai ir išoriniai raktai

• Lentelėje esantis stulpelis, kuriama kaupiama unikali informacija (pvz moksleivio asmens kodas) apie įrašą esantį lentelėje, vadinamas pirminiu raktu.
• O lentelėje esantis stulpelis, kuris sukuria ryšį su kita lentele, vadinamas išoriniu raktu. (pvz, moksleivių lentelėje mokyklos kodas)

Lentelių (esybių) sąryšiai

• Lentelės (esybės) viena su kita gali turėti įvairių sąryšių:
• Vienas įrašas vienoje lentelėje atitinka vieną įrašą kitoje lentelė
• Vienas įrašas vienoje lentelėje turi ryšį su keliais įrašais kitoje lentelėje (arba atvirkščiai). Pvz.
• Daug įrašų iš vienos lentelės gali turėti sąryšių su daug įrašų kitoje lentelėje (pvz vienos mokyklos mokiniai ir mokytojai). Tuomet reikia kurti atskirą lentelę ryšiams saugoti.

Užduotis

• Pasirinkite vieną iš pateiktų temų (arba sugalvokite savo) ir temoje naudojamiems pagrindiniams objektams sukurkite lenteles (~4 maždaug), su informacija, kurią reikėtų apie juos saugoti duomenų bazėje. Taip pat nepamirškite sukurti sąryšių stulpelių tarp objektų.
• Temos:
• Biblioteka
• Elektroninė parduotuvė
• Sporto šakos lygos varžybos
• E. paspirtukų nuoma
• Mokymosi platforma
• .....

​

Užduoties vertinimo kriterijai

• Sukurtos ne mažiau kaip 4 lentelės – 2 balai
• Kiekvienoje lentelėje pateikiama logiška informacija apie objektą (sukurti stulpeliai informacijai saugoti) – 3 balai
• Sukurti kiekvienoje lentelėje unikaliai informacijai identifikuoti stulpeliai (pirminiai raktai) – 2 balai
• Sukurti sąryšių stulpeliai (išoriniai raktai) tarp lentelių ir/arba jei reikia atskiros sąryšių lentelės – 3 balai

Jūsų klausimai?

Sample Footer Text

80

2/7/2024