Adatbányászat alapjai

Felügyelt tanulás

Prof. Dr. Kovács László diái alapján

Kunné Dr. Tamás Judit�2025/26/2

Osztályozás

• Adott rekordok egy halmaza (tanító adatállomány)
• Minden rekord attribútumok értékeinek egy halmazából áll, az attribútumok egyike (vagy némelyike) az ún. osztályozó változó (osztály vagy kategória).
• Találjunk olyan modellt az osztályozó attribútumra, amely más attribútumok függvényeként állítja elő.
• Cél: korábban nem ismert rekordokat kell olyan pontosan osztályozni ahogyan csak lehetséges, tehát meg kell jósolni az osztályba tartozást.
• Bináris, ha két osztály lehet a jósolt eredmény (Például: Körte, Nem körte; )
• Többosztályos, ha több mint kettő osztály van (pl. Képen látható gyümölcs körte, szilva vagy cseresznye)

​

Példák osztályozási feladatra

• Osztályozzuk az országokat éghajlatuk alapján (szárazföldi, mediterrán, trópusi), úgy hogy mérjük az évi középhőmérsékletet, csapadékot, stb.
• Az autók márkája, kora, súlya, mérete, stb. ismeretében osztályozzuk az autókat, hogy mennyi az éves szervízköltség (sok, közepes, kevés)
• a levelezés költség csökkentése azon ügyfelek halmazának megcélzásával akik valószínűleg megvásárolják az új telefont a foglalkozás, lakhely, fizetés értékek alapján (demográfiai adatok, életstílus, stb)

​

​

​

​

• Csalásnak tűnő esetek előrejelzése hitelkártya tranzakciónál a hitelkártya történet és a számlatulajdonos információi alapján, a korábbi tranzakciókat felcímkézzük (csalás, jó) és ezekre betanítunk egy modellt, ami a jövőben a tranzakciónál előrejelezzük a csalást
• Ügyfél elvesztésének előrejelzése az összes múlt és jelenlegi ügyfélhez kapcsolódó tranzakció alapján (milyen gyakran telefonál, hol telefonál, melyik napszakban, pénzügyi helyzete, családi állapota, stb), így az ügyfeleket cimkézzük hűségesnek vagy hűtlennek
• Égboltfelmérés katalógizálása, tehát égi objektumok osztályainak (csillag vagy galaxis) előrejelzése, figyelembe véve még az alig láthatóakat is
• Sikeres: 16 új vörös-eltolódású kvazárt találtak, amely a legtávolabbi objektumok egyike és nehéz megtalálni

• Galaxisok osztályozása

Fiatal

Középkorú

Idős

Adatnagyság:

• 72 millió csillag, 20 millió galaxis
• Objektum katalógus: 9 GB
• Kép adatbázis: 150 GB

Osztályozó változó:

• Az alakzat állapotai

Attributumok:

• Képi jellemzők
• A vett fényhullámok karakterisztikája stb.

Forrás: http://aps.umn.edu

Osztályozási hatékonyság metrika Bináris esetre

Többosztályos esetben visszavezetés binárisra

Osztályozó módszerek

Naív Bayes Osztályozó

• Valószínűségi alapú módszer
• a kategória maximális valószínűséggel történő kiszámítása az attribútumok alapján
• a valószínűségi értékek közvetlen kiszámítása
• Az összes kategória felsorolása
• függetlenség feltételezése
• egyszerű módszer
• gyors végrehajtás

prediction input: d(a₁,a₂,....a_m)

C = c₁,c₂,..,c_k

​

prediction output: c_win

c|d ritka esemény

Alakítsuk át P(d|c) komponensekké

Számítsuk ki az P(a|c)

a|c gyakoribb esemény

Tesztelje az összes kategóriát a kiszámításhoz P(c|d)

c_w = argmax_c { P(c|d)}

c_w = argmax_c { P(d|c) P(c) / P(d)} c_w = argmax_c { P(d|c) P(c) }

​

c_w = argmax_c { P(a₁ a₂ a₃ .. |c) P(c) }

c_w = argmax_c { P(a₁ |c) P( a₂ |c) P(a

3

|c) .. P(c) }

Laplace Simítás

• Ritka események esetén
• P(a|c) nulla, hamis eredményeket tud adni
• Ne lehessen nulla
• P’(a | c) = (1+freq_ac) / (1 + freq_c)
• Összegzés hackelés
• Szorzás az összegzés helyett
• Csak valószínűségi helyzetekben

​

Python kód

iris = datasets.load_iris() gnb = GaussianNB()

y_pred = gnb.fit(iris.data, iris.target).predict(iris.data)

​

for i in range(len(iris.target)):

print (iris.data[i], iris.target[i],y_pred[i])

​

acc = 1. - (iris.target != y_pred).sum() acc = 1.- acc / len(iris.target)

print (acc)

pl.scatter([ x[0] for x in iris.data], [ x[1] for x in iris.data] , c=[ x for x in (y_pred == iris.target)])

from sklearn import datasets

from sklearn.naive_bayes import GaussianNB import matplotlib.pyplot as pl

from sklearn import datasets

from sklearn.naive_bayes import GaussianNB import matplotlib.pyplot as pl

​

iris = datasets.load_iris() gnb = GaussianNB()

y_pred = gnb.fit(iris.data, iris.target).predict(iris.data) for i in range(len(iris.target)):

print (iris.data[i], iris.target[i],y_pred[i])

​

pl.scatter([ x[0] for x in iris.data], [ x[1] for x in iris.data] , c=[ x for x in iris.target])

print ("---------------------")

acc = (iris.target != y_pred).sum() acc = 1.- acc / len(iris.target) print (acc)

pl.scatter([ x[0] for x in iris.data], [ x[1] for x in iris.data] , c=[ x for x in (y_pred == iris.target)])

pl.show()

Döntési fa

Szabály alapú döntés:

• Egy szabály adott attribútumértékekhez rendeli a kategóriát
• több eredmény a csomópontokon
• Az elemi szabályok hierarchiája
• döntés a levélcsomópontokban
• A cél a fa magasságának minimalizálása
• könnyen értelmezhető
• gyors előrejelzés
• Nehéz módosítani

ID3 Döntési fa

• Címkézett tanító halmaz
• Minden csomópont hozzá van rendelve egy attribútumhoz
• A gyermekcsomópontok különböző attribútumértékeknek felelnek meg
• Leállási feltétel: homogén kategória
• Az útvonal mentén egyetlen attribútum sem ismételhető meg
• Optimális attribútum: a legjobb homogenitás

Attibútum választás algoritmusa

• a legjobb homogenitást biztosítja�minimális entrópiát biztosít a kategóriacímkék tekintetében
• Az összes attribútum tesztelése
• Súlyozott entrópia érteket számol ki
• minimális famagasság

ID3 Fa tulajdonságai

• magasság <= attribútumok száma�A folytonos tartományokat először diszkretizálni kell�véletlenszerű faszerkezet�nehezen módosítható

ID3 Python kód

​

bdata = [] bdata.append([12,800,1]) bdata.append([20,600,1]) bdata.append([2.0,800,0]) bdata.append([115,4000,0])

…..

bdata.append([80,800,0]) bdata.append([22,1800,0]) bdata.append([28,1000,1]) bdata.append([109,600,0]) bdata.append([60,1100,0]) bdata.append([50,900,0]) db = len(bdata)

pl.scatter([ x[0] for x in bdata],[ x[1] for x in bdata],c=[ x[2] for x in bdata])

​

clf = tree.DecisionTreeClassifier()

clf.fit([ x[0:2] for x in bdata], [ x[2] for x in bdata])

​

​

tdata = [[20, 1000],[40,500],[100,2000]]

pp = clf.predict_proba(tdata)

co = [ 'red' if p[0]==1 else 'green' for p in pp] print(co)

#pl.scatter([ x[0] for x in tdata],[ x[1] for x in tdata],c= co)

​

​

tree.export_graphviz(clf, out_file = "ki.gr",

feature_names=["meret","suruseg"], class_names=["nem","labda"], filled=True, rounded=True, special_characters=True)

from sklearn import tree from sklearn import datasets

clf = tree.DecisionTreeClassifier()

​

iris = datasets.load_iris()

​

​

clf = clf.fit(iris.data, iris.target) y_pred = clf.predict(iris.data)

​

acc = (iris.target != y_pred).sum() acc = 1.- acc / len(iris.target) print (acc)

pl.scatter([ x[0] for x in iris.data], [ x[1] for x in iris.data] , c=[ x for x in (y_pred == iris.target)])

pl.show()

Véletlenszerű erdő

• Együttes osztályozás
• véletlenszerű faszerkezetek (különböző alapattribútum-készlet; különböző betanítási készletek)
• többségi szavazás
• Megnövelt pontosság

K legközelebbi szomszéd(K-nearest neighbor, K-NN)

• A kategória a szomszédos elemek címkéiből kerül kiszámításra
• Nagyban függ a távolság mértékétől
• Közvetlen előrejelzés
• Többségi szavazás:

Amelyik osztálycímke szerepel legtöbbször a legközelebbi szomszédok esetében, azt rendeljük a tesztadathoz

• Súlyozott szavazás:

A távolság alapján súlyozzuk a szavazatokat, a jobbat (kisebb távolságot eredményező) címkét választjuk

​

​

Problémái

• K kiválasztása (a szomszédság mérete)
• Távolság kiszámítása
• skálázás (normalizálás)
• Szomszédok megtalálása
• Lassú előrejelzés
• Könnyen módosítható

SVM (Support Vector Machine) osztályozó

• megtalálja a legjobb elválasztó síkot
• Legnagyobb térrés (margin)
• Hasonló a perceptron modellhez Korlátozott másodfokú optimalizálás
• Komplex problémákra a kernel transzformációt használják
• hatékony módszer

• a térrés nagysága

• optimalizálási feladat:

• Nem mindig alkalmazhatunk szigorú elkülönítést
• A térrés megsértése : slack változó minden adatponthoz

• a nem lineárisan elválasztható problémák esetében az objektumokat egy magasabb térbe kell leképezni�Kernel funkciók

SVM Python kód

import numpy as np from sklearn import svm

from sklearn import datasets

​

iris = datasets.load_iris() X = np.array(iris.data)

y = np.array(iris.target)

clf = svm.SVC(gamma='scale', decision_function_shape='ovo') // ovr

clf.fit(X, y)

​

y_pred = clf.predict(X)

​

acc = (iris.target != y_pred).sum() acc = 1.- acc / len(iris.target) print (acc)

pl.scatter([ x[0] for x in iris.data], [ x[1] for x in iris.data] , c=[ x for x in (y_pred == iris.target)])

pl.show()

Mit csinálunk az eredménnyel?

Interpretálás:

• célja, hogy a talált mintázatot fel lehessen használni, és hogy segítse az üzleti döntésben résztvevő személyeket.
• Egyes módszerek könnyen magyarázhatóak, míg mások kevésbé

​