Masinõpe ja

andmeteadus

Taivo Pungas

23.11.2017

Mitu ruutu?

Mitu ruutu?

[[0, 0, 0, 1, 1, 1, 0, 0, 0, 1, 1, 1, 0, 0, 0],

[0, 0, 0, 1, 1, 1, 0, 0, 0, 1, 1, 1, 0, 0, 0],

[0, 0, 0, 1, 1, 1, 0, 0, 0, 1, 1, 1, 0, 0, 0],

[1, 1, 1, 0, 0, 0, 1, 1, 1, 0, 0, 0, 1, 1, 1],

[1, 1, 1, 0, 0, 0, 1, 1, 1, 0, 0, 0, 1, 1, 1],

[1, 1, 1, 0, 0, 0, 1, 1, 1, 0, 0, 0, 1, 1, 1],

[0, 0, 0, 1, 1, 1, 0, 0, 0, 1, 1, 1, 0, 0, 0],

[0, 0, 0, 1, 1, 1, 0, 0, 0, 1, 1, 1, 0, 0, 0],

[0, 0, 0, 1, 1, 1, 0, 0, 0, 1, 1, 1, 0, 0, 0],

[1, 1, 1, 0, 0, 0, 1, 1, 1, 0, 0, 0, 1, 1, 1],

[1, 1, 1, 0, 0, 0, 1, 1, 1, 0, 0, 0, 1, 1, 1],

[1, 1, 1, 0, 0, 0, 1, 1, 1, 0, 0, 0, 1, 1, 1],

[0, 0, 0, 1, 1, 1, 0, 0, 0, 1, 1, 1, 0, 0, 0],

[0, 0, 0, 1, 1, 1, 0, 0, 0, 1, 1, 1, 0, 0, 0],

[0, 0, 0, 1, 1, 1, 0, 0, 0, 1, 1, 1, 0, 0, 0]]

Mitu ruutu?

Mitu ruutu?

Päris maailm on mürane

...aga inimene saab hakkama

Terminoloogia

Tehisintellekt: üldise intellekti arendamine

Masinõpe: kogemusest keeruliste ülesannete õppimine

Suurandmed: rohkem, kui mällu mahub (>2TB)

Andmeteadus: andmete abil kasulike otsuste tegemine

Mürasuse probleemiga seotud alad ja buzzwordid.

Mis on andmed?

Lorem ipsum dolor sit amet, consectetur adipiscing elit

Üks viis müraga toimetulemiseks on üritada seda veidi struktureerida. Andmed on struktureeritud kujul info.

Programmi kirjutamise asemel

õpetame arvutit

Masinõpe

Machine learning

Masinõpet jaotatakse...

Juhendatud õpe

Juhendamata õpe

Stiimulõpe

Juhendatud õpe: funktsioonide lähendamine

Õpime näidete põhjal funktsiooni

{ … }

{ … }

Juhendatud õpe: funktsioonide lähendamine

Õpime näidete põhjal funktsiooni

vanus: 42,

sugu: M,

kuupalk: 1100€,

riik: Eesti

tugitoolid

meeldivad/ei meeldi

vektor

klass

Juhendatud õpe: funktsioonide lähendamine

Õpime näidete põhjal funktsiooni

leidub/ei leidu

(sissetungija)

pilt

klass

Juhendatud õpe: funktsioonide lähendamine

Õpime näidete põhjal funktsiooni

pilt

koordinaadivektor

Juhendatud õpe: funktsioonide lähendamine

Õpime näidete põhjal funktsiooni

pilt

pilt

Igale pikslile vastavusse üks piksel

http://mi.eng.cam.ac.uk/projects/segnet/tutorial.html

Juhendatud õpe: funktsioonide lähendamine

Õpime näidete põhjal funktsiooni

HELLO DEAR THIS IS CONCERNING YOUR MASTER ATM CARD!!

spämm/mittespämm

tekst

klass

Juhendatud õpe: funktsioonide lähendamine

Õpime näidete põhjal funktsiooni

[-1, 1]

(kommentaari positiivsus)

That is amazing. And finally putting those woman's magazines to good use!

tekst

reaalarv

Juhendatud õpe: funktsioonide lähendamine

Õpime näidete põhjal funktsiooni

Mitmed varased tsivilisatsioonid võisid olla seniarvatust võrdsema poliitilise süsteemiga.

Värskes ajakirjas Science kirjeldatud avastuste jada näitab, kui ekslik võib olla meie arusaam ajaloost.

Me kõik teame ju, et muistsed tsivilisatsioonid – olgu selleks vaaraode valitsetud Egiptus, Sumerite kuningriigid või maiade riigid – olid autokraatlike isevalitsejate valdused, kus tavainimese elu ja arvamus ei maksnud midagi. Oleme kõik koolis õppinud, et demokraatia häll oli Kreeka, kust vabariiklik ühiskonnavorm on aegamööda üle maailma levinud.

Selline arusaam võib olla aga erakordselt ekslik, kirjutab Science.

Euroopa-kesksus kirjutas ajalugu

Näiteks pidid tänapäeva Mehhikos asunud Tlaxcallani riigi senati liikmed tegema võimu juurde pääsemiseks aastaid kestvad läbi keerulised ja karmid, tihti ka verised, katsumused. Piitsutamistest, mõnitamisest, ja ühiskonnast eraldamisest koosnevad kaatsumused hirmutaksid tõenäoselt ära kõik tänapäevased poliitikud. Sellistest tuleproovidest annavad meile aimu Hispaania vallutajate ülestähendused.

tekst

tekst

Juhendamata õpe: struktuuri leidmine

{ … }

{ … }

Juhendamata õpe: struktuuri leidmine

Anomaaliate tuvastamine

Juhendamata õpe: struktuuri leidmine

Andmepunktide grupeerimine

Juhendamata õpe: struktuuri leidmine

Andmepunktide grupeerimine

Stiimulõpe: katsetades õppimine

Agent

Keskkond

Tegevused

Preemia

Stiimulõpe: katsetades õppimine

Agent

Keskkond

Tegevused

Preemia

Masinõpet jaotatakse...

Juhendatud õpe: funktsioonide lähendamine

Juhendamata õpe: struktuuri leidmine

Stiimulõpe: katsetades õppimine

Juhendamata: meil on ainult üks hulk, s.t. mitte kujutus ühest hulgast teise, vaid ainult üks hulk.

Andmeteadus

Data science

Andmeteaduse roll

andmed

teadmised

otsus

arusaamatu

mürane

selge

praktiline

Andmeteadus on...

andmeanalüüs
data analysis

ärianalüütika

business intelligence

masinõpe

machine learning

visualiseerimine

data visualisation

statistika

programmeerimine

suhtlemine

ennustamine

Andmeteadus kui tööriist

...et saada maailmast aru

Kuhu kulub kogu mu aeg?

Mis on parim aeg Facebooki postitada?

Millist keelt kasutavad Eesti parteid?

Andmeteadus kui karjäär

Miks ei ole robot piisavalt turvaline?

100 000 km ~ 20 000 h ~ 10a

Rohkem sensoreid?

Kiirem protsessor?

Paremad algoritmid? Millised?

Kas krediitkaart on varastatud?

IP riik

Tüüpiline riik

Viimane külastus

Maksete ajalugu

Kellest saavad maksvad kliendid?

Reklaam

Külastus

Registreerimine

Makse

Püsiklient

Mõned Eesti firmad

Lingid

Datasci.ee | Data Science Estonia

Sissejuhatus erialasse

2014: 5 soovitust tudengilt tudengile

2015: kuidas ülikoolis valikuid teha

Blogi: pungas.ee

Ebaõnnestumine

Motivatsioon

Produktiivsus

Diivanikartul

Õnnelikkus

Kofeiin

Toitumine

Andmeteadus

@taivopungas

taivo@pungas.ee

pungas.ee/se17

Kano mudel

kasutaja rahulolu

kvaliteet

turvavöö

kiirus

WiFi autos

Andmeteaduse roll

andmed

info

teadmised

tarkus

otsus

arusaamatu

mürane

selge

praktiline

slaidid - Google Slides