2 of 25

Дәрістің мақсаты

Data Mining-тің технологиялық әдістерін (нейрондық желілер, шешім ағаштары, генетикалық алгоритмдер) қарастыру. Статистикалық әдістердің негіздерін: сипаттамалық статистика, корреляция, регрессия түсіндіру. Гипотезаларды тексеру және уақыттық қатарларды талдау тәсілдерімен таныстыру. Модель сапасын бағалау және нәтижені визуализациялау әдістерін көрсету

3 of 25

Дәріс жоспары

1. Data Mining технологиялық әдістері

2. Статистикалық әдістердің негіздері

3. Гипотезаларды тексеру және болжау

4. Нәтижелерді бағалау және визуализациялау

4 of 25

1. Data Mining технологиялық әдістері

5 of 25

Технологиялық әдістерге шолу

Әдіс	Негізі	Қолдану мысалы
Нейрондық желі	Өзара байланысқан нейрондар	Кескінді тану
Шешім ағашы	Белгілер бойынша тармақтау	Несие скоринг
k ең жақын көрші	Объектілер арасындағы қашықтық	Ұсыныс жүйесі
Генетикалық алгоритм	Іріктеу және мутация	Параметрлерді оңтайландыру

6 of 25

Жасанды нейрондық желі

Кіріс қабаты

Жасырын қабат

Шығыс қабаты

Кіріс қабаты деректерді қабылдайды, жасырын қабаттар салмақтар арқылы белгілерді түрлендіреді, шығыс қабаты нәтиже (сынып немесе сан) береді. Желі қатені азайту арқылы үйренеді.

7 of 25

Шешім ағашы және k ең жақын көрші

Шешім ағашы

Ереже түрінде түсіндіріледі, сандық және категориялық деректермен жұмыс істейді

k ең жақын көрші

Жаңа объект өзіне жақын k көршінің көпшілік сыныбына жатқызылады

8 of 25

Генетикалық алгоритм

Бастапқы популяция

Іріктеу

Кроссовер

Мутация

Жаңа ұрпақ

Процесс жақсы шешім табылғанша немесе ұрпақ саны шектен асқанша қайталанады.

9 of 25

2. Статистикалық әдістердің негіздері

10 of 25

Сипаттамалық статистика

Көрсеткіш	Мағынасы
Орташа мән	Мәндердің арифметикалық ортасы
Медиана	Реттелген қатардың ортасындағы мән
Мода	Ең жиі кездесетін мән
Стандартты ауытқу	Мәндердің орташадан шашырауы

11 of 25

Корреляция

Корреляция коэффициенті r екі шаманың сызықтық байланысын өлшейді және -1 мен +1 аралығында болады.

r ≈ +1 - тура, r ≈ −1 - кері, r ≈ 0 - байланыс жоқ.

12 of 25

Сызықтық регрессия

y = a + b·x, b = Σ(x−x̄)(y−ȳ) / Σ(x−x̄)², a = ȳ − b·x̄

x	1	2	3	4	5
y	2	4	5	4	5

Мысал: x̄ = 3, ȳ = 4, b = 0,6, a = 2,2. Модель: y = 2,2 + 0,6x; x = 6 болғанда болжам y = 5,8.

13 of 25

Деректер түріне қарай әдіс таңдау

Деректер	Мақсат	Әдіс
Сандық	Байланысты табу	Корреляция
Сандық	Мәнді болжау	Регрессия
Категориялық	Байланысты тексеру	χ² критерийі
Уақыттық қатар	Болашақты болжау	Жылжымалы орташа

14 of 25

3. Гипотезаларды тексеру және болжау

15 of 25

Гипотезаларды тексеру схемасы

H₀ және H₁ қою

Деңгей α таңдау

Критерийді есептеу

p-мәнін алу

Шешім қабылдау

Егер p-мәні α деңгейінен аз болса, нөлдік гипотеза H₀ қабылданбайды.

16 of 25

Статистикалық критерийлер

Критерий	Қашан қолданылады
t-критерий	Екі топтың орташасын салыстыру
ANOVA	Үш және одан көп топты салыстыру
χ² критерийі	Категориялық белгілердің тәуелділігі
Манн–Уитни	Қалыпты емес таралған деректер

17 of 25

Уақыттық қатар: жылжымалы орташа

18 of 25

Гипотезаны тексеру қателері

Шешім	H₀ шын	H₀ жалған
H₀ қабылдау	Дұрыс шешім	II текті қате
H₀ қабылдамау	I текті қате (α)	Дұрыс шешім

19 of 25

4. Нәтижелерді бағалау және визуализациялау

20 of 25

Қателіктер матрицасы

	Болжам: иә	Болжам: жоқ
Шын мәні: иә	TP = 40	FN = 5
Шын мәні: жоқ	FP = 10	TN = 45

Матрица классификация моделінің қайсы жағдайларда дұрыс, қайсысында қате болжағанын көрсетеді (мысал 100 бақылау бойынша).

21 of 25

Модель сапасының көрсеткіштері

Көрсеткіш	Формула	Мысал
Accuracy	(TP+TN) / барлығы	0,85
Precision	TP / (TP+FP)	0,80
Recall	TP / (TP+FN)	0,89
F1	2PR / (P+R)	0,84

22 of 25

Визуализация түрлері

График	Қашан қолданылады
Гистограмма	Бір белгінің таралуы
Шашырау диаграммасы	Екі шаманың байланысы
Сызықтық график	Уақыт бойынша өзгеріс
Жылу картасы	Корреляция матрицасы

23 of 25

Модель көрсеткіштерін салыстыру

24 of 25

Қорытынды

1. Технологиялық әдістер (нейрондық желі, ағаш, kNN, генетикалық алгоритм) күрделі заңдылықтарды табуға мүмкіндік береді

2. Статистикалық әдістер байланысты өлшеп, гипотезаларды дәлелді тексереді

3. Модель сапасы қателіктер матрицасы мен Accuracy, Precision, Recall, F1 арқылы бағаланады

4. Визуализация нәтижені түсінікті етіп жеткізудің негізгі құралы

1 of 25