3

Adattudomány · 2026/27

Magas dimenzió, embeddingek és dimenziócsökkentés

A vetítés nem az adat, hanem egy nézet az adatról – és minden nézet dönt arról, mit mutat meg és mit rejt el.

3. óra · 2026/27 ősz

Dr. Kőrösi Gábor · Nagy Soma Bálint · Dr. Berta Árpád

A félév íve – négy blokk, tizenkét fejezet

3. fejezet · Magas dimenzió, embeddingek és dimenziócsökkentés

áttekintés

1

Két teret elemeztünk. Egyiket sem láttuk.

3. fejezet · Magas dimenzió, embeddingek és dimenziócsökkentés

Múlt órán két térben dolgoztunk – és egyiket sem láttuk:

480 bejegyzés × 3664 kifejezés

TF–IDF · ritka

480 bejegyzés × 384 dimenzió

mondatembedding · sűrű

Minden állításunkat pontszámokból és rangsorokból olvastuk ki. A teret magát nem rajzoltuk ki.

Rajzold le a 384 dimenziós teret. …

Ma ugyanez a probléma – de olyan adaton, amit vissza tudunk nézni: egy 8×8 pixeles kézzel írt számjegy ugyanúgy magas dimenziós pont, csak képként is megjeleníthető.

8 × 8 pixel · scikit-learn digits · címke nélkül

2

Egy kép = 64 szám = egy pont

3. fejezet · Magas dimenzió, embeddingek és dimenziócsökkentés

Ugyanaz a számjegy, háromféleképpen – kép → 8×8 számtáblázat → egyetlen 64 elemű sor:

Elemzési egység

egy 8×8 pixeles számjegykép

Feature

egy pixel intenzitása, 0–16

Dimenzió

64

Címke

a valódi számjegy, 0–9

A címkét a módszer nem kapja meg – csak utólag, színnek, ellenőrzésnek. Ugyanaz a lépés, mint múlt órán (bejegyzés → 3664 szám), csak most vissza tudunk nézni a képre.

3

Fogadás: válassz két pixelt a 64-ből

3. fejezet · Magas dimenzió, embeddingek és dimenziócsökkentés

64 dimenziót nem tudunk megnézni. Kettőt igen. x = az egyik pixel intenzitása · y = a másiké · egy pont = egy kép

Ti választotok. Melyik kettőt?

Fogadás – felírjuk a táblára. Mit fogunk látni?

A

a számjegyek szépen szétválnak

B

részben szétválnak, néhány keveredik

C

egyetlen összemosódott folt

És a nehezebb kérdés: ha bármely két tengelyt választhatnál a 64 helyett – mit választanál?

a rács hátterében a digits átlagolt képe · a scatter-keret még üres: a jóslat előbb jön, mint az adat

4

És ez lett belőle

2. fejezet · Magas dimenzió, embeddingek és dimenziócsökkentés

4 / 12

A ti két pixeletek, 1797 kép, valódi számjegy szerint színezve – három előkészített párral:

62 dimenziót eldobtunk. És nem is ez a legnagyobb baj: nem tudjuk, melyik kettő lenne a jó – 64 pixelből 2016 pixelpár van.

Nem a scatterplot a rossz eszköz. A tengelyválasztás önkényes.

a notebook mind az 1128 párt kipróbálta a 48 változó pixelből: a legjobb pár szomszédság-tisztasága 0,37, a mediáné 0,27, a véletlen szint 0,10 – a teljes 64 dimenzió 0,97

Méri, hogy egy adott csoport mennyire homogén a benne lévő elemek osztályai szerint.

Ha például szomszédságot (szomszédság-tisztaság) vizsgálunk, a tisztaság azt mutatja meg, hogy az ott található pontok többsége egyazon osztályba tartozik-e.

Mértékének két széle:

• Magas tisztaság: A szomszédságban lévő elemek többsége ugyanahhoz az osztályhoz tartozik (1, vagy 1-hez közeli érték).
• Alacsony tisztaság: A szomszédságban az osztályok egyenletesen keverednek, általában a véletlen “találgatáshoz” mérjük (1/k -hoz közeli érték).

​

4a

Tisztaság (Purity)

5

Ki dönt, és miről? – az OCR-audit

3. fejezet · Magas dimenzió, embeddingek és dimenziócsökkentés

Egy dokumentumdigitalizáló (OCR) rendszer minőségellenőrző csapatában dolgozol.

Még nem osztályozót építesz. Előbb meg akarod érteni:

mely számjegyek hasonlítanak egymásra, és hol várhatók nehéz, bizonytalan esetek?

A döntés nagyon konkrét:

mely számjegypárokat és írásváltozatokat vizsgáljunk meg részletesen, mielőtt modellt vagy új adatgyűjtést tervezünk?

A kimenet tehát nem pontosság, hanem jelöltlista emberi ellenőrzésre – ugyanúgy, mint múlt órán.

valódi, nehezen olvasható példányok – melyik micsoda?

Hipotézis – felírjuk. Melyik két számjegyet fogja a rendszer leginkább összekeverni?

6

Skálázás: döntés, nem rituálé

3. fejezet · Magas dimenzió, embeddingek és dimenziócsökkentés

ELHAGYHATÓ

A vetítés előtt egy döntés: egységesítsük a feature-ök szórását?

Amit eddig tanultál: „skálázni kell, különben a nagy egységű változó dominálja a távolságot.”

Itt viszont: minden pixel ugyanaz a mértékegység, ugyanaz a 0–16 tartomány.

Szavazás: standardizáljuk mind a 64 pixelt? IGEN / NEM / attól függ

Gondolj erre

Mi történik azzal a sarokpixellel, amely szinte mindig 0, ha egységszórásúra húzzuk? A digits-ben 3 pixel varianciája pontosan 0, további 16 pixelé 1 alatti.

a 64 pixel varianciája ugyanabban a 8×8 elrendezésben – a szélek mozdulatlanok

(A központosítás – az átlag levonása – attól még kell. Azt a PCA magától megteszi.)

7

Ne mi találgassunk tengelyt

3. fejezet · Magas dimenzió, embeddingek és dimenziócsökkentés

A 4. dián az volt a baj, hogy mi választottuk ki a tengelyt – 2016 lehetőségből, találomra. Fordítsuk meg:

Ne mi találgassunk. Keresse meg a gép azt az irányt, amely mentén a képek a legjobban különböznek.

Ez az első főkomponens. A második: a legnagyobb maradék változás iránya, az elsőre merőlegesen. És így tovább.

Három dolog, amit fontos érteni

• egy főkomponens nem egy pixel: mind a 64 pixel súlyozott kombinációja;
• ezért maga is megjeleníthető képként – megnézhetjük, „mit fog meg”;
• a PCA a címkét nem kapja meg: nem tudja, melyik kép melyik számjegy.

PC1 = w1·p1 + w2·p2 + … + w64·p64 w1² + w2² + … + w64² = 1

PC1 – a legnagyobb változás iránya

PC2 – a legnagyobb maradék, merőlegesen

ez vész el

sematikus ábra – 2D-ben, hogy az intuíció működjön

7

Ne mi találgassunk tengelyt

3. fejezet · Magas dimenzió, embeddingek és dimenziócsökkentés

A PCA azt keresi, hogy milyen súlyokat válasszon, hogy ezen az új tengelyen az 1797 kép koordinátái a lehető legjobban szétszóródjanak.

Vagyis:

​

PC1 = az az irány, ahol a legnagyobb a variancia

Ez nem azt jelenti, hogy ezen válnak szét legjobban a 0, 1, 2 stb. számjegyek. A PCA nem ismeri a címkéket. Csak a pixeleket látja.

A PCA nem azt keresi, hogyan válasszuk szét a számjegyeket. Azt keresi, hogy a képek milyen irányban különböznek egymástól a leginkább.

PC1 = w1·p1 + w2·p2 + … + w64·p64 w1² + w2² + … + w64² = 1

7a

PCA kézzel: merre van a legtöbb változás?

Mini-példa: három pont két dimenzióban. A PCA előtt először központosítunk.

1. Központosítás

Eredeti pontok

A = (1, 1)�B = (2, 2)�C = (3, 3)

átlag = (2, 2)

vonjuk ki az átlagot

Központosított pontok

A′ = (−1, −1)�B′ = ( 0, 0)�C′ = (+1, +1)

A középpont most az origó.

2. Hol a legnagyobb változás?

A′

B′

C′

PC1

Mindhárom pont ugyanazon az átlón fekszik.�A legnagyobb változás iránya ezért ez az átló.

A PCA nem egy eredeti tengelyt választ ki: új irányt keres, amely több feature kombinációja.

3. fejezet · Magas dimenzió, embeddingek és dimenziócsökkentés

7b

PCA kézzel: hogyan lesz 2 számból 1?

A vetítés egyszerű skalárszorzat: minden pontból egy új koordináta lesz a PC1 tengelyen.

PC1 = (1/√2, 1/√2) → z = x₁·(1/√2) + x₂·(1/√2)

3. Vetítsük rá a három központosított pontot

pont

(x₁, x₂)

számolás

új koordináta

A′

(−1, −1)

−1/√2 − 1/√2

−√2

B′

(0, 0)

0

0

C′

(+1, +1)

+1/√2 + 1/√2

+√2

2 dimenzió → 1 szám

Ebben a játékpéldában�100% variancia megmarad,�mert minden pont egy egyenesre esik.

A valódi digits-adatban ez már nem igaz:�ott több irányra van szükség.

Megjegyzés: a PCA ezeket az irányokat a kovarianciaszerkezetből számolja. A sajátérték/sajátvektor levezetés most nem cél.

3. fejezet · Magas dimenzió, embeddingek és dimenziócsökkentés

8

Mennyit őriztünk meg? A két komponens ára

3. fejezet · Magas dimenzió, embeddingek és dimenziócsökkentés

64 irányból most kettőt tartunk meg. Kérdés: mennyi maradt meg abból, amiben a képek különböztek?

megőrzött variancia(k) = (λ1 + λ2 + … + λk) / (λ1 + λ2 + … + λ64) λi = a szórásnégyzet az i. irány mentén

Becslés – felírjuk

Hány százalék az első két komponens?

Hány komponens kell 90%-hoz?

A becslést előbb írjuk fel, csak utána nézzük a görbét.

Amit ez a szám NEM jelent

90% megőrzött variancia ≠ 90% pontosság. A variancia nem tudja, mi a feladatod.

És nincs univerzális küszöb: más komponensszám kell vizualizációhoz, tömörítéshez és részletes auditáláshoz.

9

Mikor válik felismerhetővé a számjegy?

A megőrzött variancia egy szám. Nézzük meg, mit jelent. A vetítést vissza lehet alakítani képpé: rekonstrukció.

rekonstrukció = átlagkép + z1·PC1 + z2·PC2 + … + zk·PCk

két sor: egy tisztán írt és egy nehéz eset · oszlopfejlécben csak a komponensszám

Fogadás – felírjuk

Hány komponensnél ismernéd fel biztosan a számjegyet?

És hány kellene ahhoz, hogy egy rosszul írt számjegyet meg tudj különböztetni a hozzá leginkább hasonlótól?

A választ most nem oldjuk fel – a CS5-ben te futtatod ki, saját szemmel.

Amit a rekonstrukció nem hoz vissza, azt a vetítésed nem tudja. Akkor sem, ha az ábra szép.

átlagkép = az összes számjegykép pixelről pixelre vett átlaga;

PC1,PC2,… = a PCA által megtalált 64 dimenziós irányok;

z1,z2,… = annak az adott képnek a koordinátái ezeken az új tengelyeken;

10

A PCA 2D vetítése – és mikor kerül fel a címke?

3. fejezet · Magas dimenzió, embeddingek és dimenziócsökkentés

ELHAGYHATÓ

Végre olyan két tengely, amit nem mi találtunk ki: PC1 és PC2. Egy pont = egy kép, 1797 kép.

Először címke nélkül. Hány csoportot látsz? Írd le a számot. Ne mondd ki.

Utána ugyanaz a pontfelhő, most számjegy szerint színezve. A PCA a színt nem látta – mi tettük rá, utólag, ellenőrzésnek.

Amit ez az ábra NEM bizonyít

hogy a számjegyek elkülöníthetők. Az átfedés részben vetítési eredmény: a maradék 71,5% változatosság ebben a képben nincs benne.

azonos tengelyhatárok, azonos pontméret és képarány – csak a szín különbözik

11

t-SNE: közelebb a szomszédokhoz – de valódiak-e a szigetek?

3. fejezet · Magas dimenzió, embeddingek és dimenziócsökkentés

A PCA a globális varianciaszerkezetre optimalizál, lineárisan. Lehet más cél is: maradjanak együtt azok a képek, amelyek az eredeti 64 dimenzióban szomszédok voltak. Ez a t-SNE.

Ugyanaz az 1797 kép, két t-SNE-futás – az egyetlen különbség a random_state (0 vs 3), a perplexity mindkettőben 30.

Szavazás: valódiak-e a szigetek? IGEN / NEM / attól függ, mit értünk „valódi” alatt

A két ábra kimenetelét nem oldjuk fel – a CS5-ben te futtatod.

STOP — most te dolgozol

Nyisd meg a CooSpace-en a 3. fejezet tananyagát, és dolgozd át.

​

⏱ 20 perc — utána itt folytatjuk közösen.

​

A beépített ellenőrző kérdések kötelezőek — ne lapozd át őket.

​

Ha hamarabb végzel: várd meg a többieket, vagy belekezdhetsz a feladat-notebook elejébe.

​

Ha elakadtál: jelezz — odamegyek.

3. fejezet · Magas dimenzió, embeddingek és dimenziócsökkentés

​

10

A PCA 2D vetítése – és mikor kerül fel a címke?

3. fejezet · Magas dimenzió, embeddingek és dimenziócsökkentés

ELHAGYHATÓ

Végre olyan két tengely, amit nem mi találtunk ki: PC1 és PC2. Egy pont = egy kép, 1797 kép.

Először címke nélkül. Hány csoportot látsz? Írd le a számot. Ne mondd ki.

Utána ugyanaz a pontfelhő, most számjegy szerint színezve. A PCA a színt nem látta – mi tettük rá, utólag, ellenőrzésnek.

Amit ez az ábra NEM bizonyít

hogy a számjegyek elkülöníthetők. Az átfedés részben vetítési eredmény: a maradék 71,5% változatosság ebben a képben nincs benne.

azonos tengelyhatárok, azonos pontméret és képarány – csak a szín különbözik

5,9

1,8

11

t-SNE: közelebb a szomszédokhoz – de valódiak-e a szigetek?

3. fejezet · Magas dimenzió, embeddingek és dimenziócsökkentés

A PCA a globális varianciaszerkezetre optimalizál, lineárisan. Lehet más cél is: maradjanak együtt azok a képek, amelyek az eredeti 64 dimenzióban szomszédok voltak. Ez a t-SNE.

Ugyanaz az 1797 kép, két t-SNE-futás – az egyetlen különbség a random_state (0 vs 3), a perplexity mindkettőben 30.

Szavazás: valódiak-e a szigetek? IGEN / NEM / attól függ, mit értünk „valódi” alatt

A két ábra kimenetelét nem oldjuk fel – a CS5-ben te futtatod.

12

Vissza az OCR-audithoz: mit mutatott az adat?

3. fejezet · Magas dimenzió, embeddingek és dimenziócsökkentés

Nyitó hipotézisünk: melyik két számjegyet fogja a rendszer leginkább összekeverni?

Amit az adatok mutattak

• 1–8: a legerősebb és legkövetkezetesebb kockázati pár�5–9: a másik erős jelölt�további visszatérő párok: 3–9 és 8–9�Ezek nem egyetlen szép vetítésből jöttek: az eredeti 64 dimenziós tér és a lokális szomszédság-vizsgálat is ugyanabba az irányba mutatott.

Konkrét audittalálat

digits[129] valódi címkéje 8, mégis főként 1-esek közé kerül az eredeti térben is.�→ nem vetítési artifact: ezt a példányt tényleg érdemes kézbe venni.

A PCA 2D önmagában félrevezethet: ott az 5–8 pár látszik nagyon erősnek, miközben az eredeti térben alig jelenik meg.��A vetítésből tehát nem olvasunk közvetlenül „összetévesztési listát”.

Fontos: nem építettünk osztályozót, ezért ez NEM tévesztési pontosság. Szomszédsági auditot végeztünk: mely eltérő címkéjű példányok kerülnek következetesen egymás közelébe?�Vissza az 5. diához: mit írtunk fel hipotézisként? Módosítanád?

Feloldás

Elsőként az 1–8, majd az 5–9 párokat vizsgálnánk részletesen – és mindig visszanéznénk az eredeti adatot.

13

A vetítés nem az adat – és mi jön ezután?

3. fejezet · Magas dimenzió, embeddingek és dimenziócsökkentés

A vetítés nem az adat, hanem egy nézet az adatról – és minden nézet dönt arról, mit mutat meg és mit rejt el.

Amit ma NEM csináltunk

• nem osztályoztunk – nincs teljesítménymutatónk új képekre;
• nem klasztereztünk – a szemmel körberajzolt sziget nem validált csoport: nincs hozzárendelés, nincs profil, nincs stabilitásmérés;
• nem bizonyítottuk, hogy a számjegyek elkülönülnek.

Amit igen

mérhetővé tettük, mennyit őrzünk meg, és láthatóvá, mit vesztünk.

Most már külön tudjuk választani: mi az eredeti tér szerkezete, mi a vetítés torzítása, és mi az, amit csak hipotézisként vihetünk tovább.

Most önállóan: [B feladat] 561 szenzorfeature – az aktivitás látszik a vetítésben, vagy az egyes emberek mozgásstílusa?

Exit ticket

1) Mit jelent egy pont a vetítésedben? 2) Mennyi információt őrzött meg a választott reprezentációd?

3) Melyik ábrarészletet lenne veszélyes klaszterként értelmezni? 4) Mit kellene tenned, ha címkék nélkül tényleg csoportokat akarnál meghatározni?