1 of 29

Шешім ағашы

Дәріс №8

Лекция №8. Шешім ағашы

Құрылымы, математикалық негіздері, оқыту және бағалау

Негізгі идея

Объект белгілерін кезекпен тексеріп, түсіндіруге болатын ережелер арқылы шешім қабылдау.

Қамтылатын ұғымдар

Жіктеу, регрессия, Gini, энтропия, ақпараттық өсім, тереңдік және pruning.

Практикалық бағыт

Оқу мысалындағы несие шешімін түсіндіру, модель қатесін есептеу және артық үйренуді анықтау.

Дереккөздер

№8 лекция, scikit-learn ресми құжаттамасы және авторлық синтетикалық есептеулер.

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

2 of 29

Мақсаты және күтілетін оқу нәтижелері

Мақсаты

Шешім ағашының объектіні қалай бөлетінін түсіндіру және оның сапасын тәуелсіз деректе бағалау тәсілін меңгеру.

Құрылымдық нәтиже

Тамыр, ішкі түйін, тармақ және жапырақты ажырату. Тамырдан жапыраққа дейінгі жолды логикалық ереже ретінде жазу.

Математикалық нәтиже

Gini мен энтропияны қарапайым мысалда есептеу. Түйінді бөлу сапасын салмақталған араласу арқылы салыстыру.

Практикалық нәтиже

Гиперпараметрлерді таңдауды түсіндіру, артық үйренуді графиктен көру және confusion matrix бойынша қателерді талдау.

Мақсаты және күтілетін оқу нәтижелері

Мақсаты

Құрылымдық нәтиже

Математикалық нәтиже

Gini мен энтропияны қарапайым мысалда есептеу. Түйінді бөлу сапасын салмақталған араласу арқылы салыстыру.

Практикалық нәтиже

[1–3]

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

3 of 29

Жоспары

1. Шешім ағашының мәні және құрылымы

2. Ағашты құру және бөліну критерийлері

3. Күрделілікті реттеу және сапаны бағалау

4. Практикалық қолдану және әдістерді салыстыру

Жоспары

1. Шешім ағашының мәні және құрылымы

Жіктеу мен регрессия, ағаш элементтері, ереже құру және практикалық мысал.

2. Ағашты құру және бөліну критерийлері

CART логикасы, Gini, энтропия, салмақталған бөлу және сандық есеп.

3. Күрделілікті реттеу және сапаны бағалау

Артық үйрену, тереңдік, pruning, валидация және классификация метрикалары.

4. Практикалық қолдану және әдістерді салыстыру

Дерек дайындау, тәжірибе нәтижесі, интерпретация, ансамбльдер және қолдану шектеулері.

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

4 of 29

1. Шешім ағашының мәні және құрылымы

5 of 29

1. Шешім ағашының мәні және құрылымы

Анықтамасы

Шешім ағашы деректер кеңістігін шарттар арқылы бөліп, әр аймақта болжам береді. Шарттар тізбегі иерархиялық құрылымға бірігеді.

Жіктеу міндеті

Мақсатты айнымалы категориялық: мысалы, «ақау бар» және «ақау жоқ». Жапырақ класс немесе оның ықтималдығын береді.

Регрессия міндеті

Мақсатты айнымалы сандық: мысалы, жеткізу уақыты. Қарапайым регрессиялық ағашта жапырақтың болжамы сол топтың орташа мәні болуы мүмкін.

Негізгі артықшылық

Объектінің неге белгілі шешім алғанын жолдағы шарттармен түсіндіруге болады. Өте үлкен ағаштың түсініктілігі төмендейді.

1. Шешім ағашының мәні және құрылымы

Анықтамасы

Жіктеу міндеті

Регрессия міндеті

Негізгі артықшылық

[1, 2]

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

6 of 29

Ағаш элементтері және олардың қызметі

Элемент	Қызметі	Мысал
Тамыр	Алғашқы бөлу, барлық оқу объектілері	Табыс ≤ 200 мың ₸?
Ішкі түйін	Қосымша шартты тексеру	Қайтару тарихы жақсы ма?
Тармақ	Шарт нәтижесі бойынша өту	Иә / жоқ
Жапырақ	Класс немесе сандық болжам	Мақұлдау / бас тарту
Жол	Бір объектіге қолданылатын шарттар	Табыс > шек және тарих жақсы

Ағаш элементтері және олардың қызметі

Екілік ағашта ішкі түйіннен екі тармақ шығады. Екілік құрылым екі класс болуы тиіс дегенді білдірмейді: мұндай ағаш бірнеше класты да ажыратады.

[1, 2]

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

7 of 29

Оқу мысалы: несие туралы шешім ағашы

Түсіндірме

8 жасанды жазба, 2 белгі. Тамыр табыс деңгейін бөледі. Кейінгі шарт қайтару тарихын тексереді. value: кластар саны; samples: түйіндегі жазбалар саны.

Оқу мысалы: несие туралы шешім ағашы

Түсіндірме

8 жасанды жазба, 2 белгі.

Тамыр табыс деңгейін бөледі. Кейінгі шарт қайтару тарихын тексереді.

value: кластар саны; samples: түйіндегі жазбалар саны.

Шектер модельден есептелді. Бұл нақты банктік талап немесе кредит беру ұсынысы емес.

[1, 5]

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

8 of 29

Ағаш жолын логикалық ережеге айналдыру

Ереже қалай құрылады?

Әр ішкі түйіндегі шарт жолға қосылады. Бір жапыраққа апаратын шарттар «ЖӘНЕ» арқылы бірігеді. Егер x₁ ≤ a және x₂ > b болса, онда класс = C.

Неліктен пайдалы?

Шешімнің қандай белгілерге сүйенгенін көруге болады. Шекті мәнге жақын объектілерді бөлек тексеруге мүмкіндік береді.

Ағаш жолын логикалық ережеге айналдыру

Ереже қалай құрылады?

Әр ішкі түйіндегі шарт жолға қосылады.

Бір жапыраққа апаратын шарттар «ЖӘНЕ» арқылы бірігеді.

Егер x₁ ≤ a және x₂ > b болса, онда класс = C.

Бір класқа бірнеше жапырақ әкелсе, олардың жолдары балама ережелер ретінде қаралады.

Неліктен пайдалы?

Шешімнің қандай белгілерге сүйенгенін көруге болады.

Шекті мәнге жақын объектілерді бөлек тексеруге мүмкіндік береді.

Ережені маманның пәндік білімімен салыстыруға болады.

Модель ережесі себеп-салдарлық заңдылықты автоматты түрде дәлелдемейді.

[1]

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

9 of 29

Жіктеу ағашы және регрессиялық ағаш

Өлшем	Жіктеу	Регрессия
Мақсат	Категорияны анықтау	Сандық көрсеткішті бағалау
Жапырақ	Класс үлестері және класс	Мысалы, орташа мән
Бөліну өлшемі	Gini немесе энтропия	Мысалы, квадраттық қателік
Метрика	Precision, Recall, F1	MAE, RMSE
Нәтиже мысалы	Тапсырыс кешігеді / кешікпейді	Жеткізу 3,5 күн болады

Жіктеу ағашы және регрессиялық ағаш

Міндет түрі мақсатты айнымалыдан анықталады. Сынып атауларын 0 және 1 деп кодтау оларды сандық регрессия міндетіне автоматты түрде айналдырмайды.

[1, 2]

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

10 of 29

2. Ағашты құру және бөліну критерийлері

11 of 29

2. Ағашты құру және бөліну критерийлері

Бөлу мақсаты

Балалардағы объектілер мақсатты мәні жағынан ата-ана түйінге қарағанда біртекті болуы керек. Сапа критериймен өлшенеді.

Жергілікті таңдау

Алгоритм ағымдағы түйінде белгілер мен шектерді салыстырып, ең пайдалы бөлуді таңдайды. Бұл бүкіл ағаштың жаһандық оңтайлы екенін кепілдемейді.

Қайталанатын процесс

Таңдалған шарт деректі екі топқа бөледі. Әр топта процесс тоқтату шарты орындалғанша қайталанады.

CART туралы

CART жіктеу және регрессия міндеттеріне арналған екілік ағаштар құрады. scikit-learn осы тәсілдің оңтайландырылған нұсқасын қолданады.

2. Ағашты құру және бөліну критерийлері

Бөлу мақсаты

Жергілікті таңдау

Қайталанатын процесс

Таңдалған шарт деректі екі топқа бөледі. Әр топта процесс тоқтату шарты орындалғанша қайталанады.

CART туралы

[1, 2]

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

12 of 29

CART оқыту процесінің схемасы

Оқу жиыны

Бөлу іздеу

Бала түйіндер

Тоқтату / жалғастыру

1. Түйіндегі класс үлестерін есептеу.

2. Белгілер мен шектерді салыстыру.

3. Ең пайдалы бөлінуді таңдау.

4. Объектілерді бала түйіндерге бөлу.

5. Тоқтату шартына дейін қадамдарды қайталау.

CART оқыту процесінің схемасы

Оқу жиыны

Бөлу іздеу

Бала түйіндер

Тоқтату / жалғастыру

1. Түйіндегі класс үлестері немесе мақсатты мәндер есептеледі.

2. Қолжетімді белгілер мен сандық шектер үшін бөлу сапасы салыстырылады.

3. Төменірек салмақталған араласу немесе қателік беретін шарт таңдалады.

4. Сол және оң бала түйіндерге объектілер беріледі.

5. Егер түйін таза болса немесе күрделілік шектеуі орындалса, жапырақ құрылады. Әйтпесе 1-қадам бала түйінде қайталанады.

[1, 2]

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

13 of 29

Gini, энтропия және ақпараттық өсім

Өлшем	Формула	Мағынасы
Gini	G = 1 − Σpⱼ²	Кластар араласуын бағалайды
Энтропия	H = −Σpⱼ log₂ pⱼ	Класс туралы белгісіздік
Салмақталған араласу	I_split = (nL/n)IL + (nR/n)IR	Балалардың көлемі ескеріледі
Ақпараттық өсім	IG = H_parent − H_split	Энтропия азаюы
Таза түйін	G = 0, H = 0	Барлық объект бір класта

Gini, энтропия және ақпараттық өсім

pⱼ: j класының түйіндегі үлесі. Нөлдік үлес үшін энтропияның 0 log 0 мүшесі 0 деп алынады. Үлкен бала түйіннің үлесі қорытынды критерийге көбірек әсер етеді.

[1, 2]

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

14 of 29

Екі класс үшін араласу өлшемдерінің графигі

Түсіндірме

p = 0 немесе p = 1: түйін таза. p = 0,5: екі класс тең араласқан. Gini максимум 0,5; энтропия максимум 1 бит.

Екі класс үшін араласу өлшемдерінің графигі

Түсіндірме

p = 0 немесе p = 1: түйін таза.

p = 0,5: екі класс тең араласқан.

Gini максимум 0,5; энтропия максимум 1 бит.

Шкалалары әртүрлі болғандықтан, олардың сандарын тікелей тең сапа өлшемі ретінде салыстыру дұрыс емес.

[2, 5]

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

15 of 29

Сандық мысал: екі бөлуді Gini арқылы салыстыру

Түйін	А / B саны	Gini	Салмақ
Ата-ана	6 / 4	1 − 0,6² − 0,4² = 0,48	10 объект
А бөлу: сол	4 / 0	0	4/10
А бөлу: оң	2 / 4	1 − (2/6)² − (4/6)² = 0,444	6/10
B бөлу: сол	3 / 2	0,48	5/10
B бөлу: оң	3 / 2	0,48	5/10

Сандық мысал: екі бөлуді Gini арқылы салыстыру

А бөлу: G_split = 0,4 × 0 + 0,6 × 0,444 = 0,267. Жақсару = 0,48 − 0,267 = 0,213. B бөлу жақсару бермейді. Сондықтан осы мысалда А бөлу тиімді.

Авторлық арифметикалық мысал. [2]

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

16 of 29

Регрессиялық ағашта сандық болжам

Жапырақтағы болжам

Оқу мысалы: бір жапыраққа жеткізу уақыты 2, 3 және 4 күн болатын үш тапсырыс түсті. Орташа болжам: ŷ = (2 + 3 + 4) / 3 = 3 күн.

Бөліну логикасы

Алгоритм мақсатты мәндері жақын объектілерді бір топқа жинауға тырысады. Сапа балалардағы қателікпен бағаланады. Кәдімгі ағашта болжам әр аймақта тұрақты.

Регрессиялық ағашта сандық болжам

Жапырақтағы болжам

Оқу мысалы: бір жапыраққа жеткізу уақыты 2, 3 және 4 күн болатын үш тапсырыс түсті.

Орташа болжам: ŷ = (2 + 3 + 4) / 3 = 3 күн.

Квадраттық қателік қосындысы: (2 − 3)² + (3 − 3)² + (4 − 3)² = 2.

Бөліну логикасы

Алгоритм мақсатты мәндері жақын объектілерді бір топқа жинауға тырысады.

Сапа балалардағы қателікпен бағаланады.

Кәдімгі ағашта болжам әр аймақта тұрақты.

Оқыту диапазонынан тыс жаңа мәндерге трендті жалғастыру қабілеті шектеулі.

[2] Авторлық есеп мысалы.

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

17 of 29

3. Күрделілікті реттеу және сапаны бағалау

18 of 29

3. Күрделілікті реттеу және сапаны бағалау

Негізгі мәселе

Өте терең ағаш нақты заңдылықпен бірге кездейсоқ ерекшеліктерді жаттап алуы мүмкін. Оқыту дәлдігі жоғары болса да, жаңа деректе қате өседі.

Ерте шектеу

max_depth, min_samples_split және min_samples_leaf параметрлері түйіндердің құрылуын реттейді.

Кейін қысқарту

Pruning дайын ағаштың әлсіз тармақтарын алып тастайды. Қысқарту күші валидацияда таңдалады.

Тәуелсіз бағалау

Оқыту модельді құру үшін, валидация параметр таңдау үшін, тест соңғы сапаны бағалау үшін қолданылады.

3. Күрделілікті реттеу және сапаны бағалау

Негізгі мәселе

Ерте шектеу

max_depth, min_samples_split және min_samples_leaf параметрлері түйіндердің құрылуын реттейді.

Кейін қысқарту

Pruning дайын ағаштың әлсіз тармақтарын алып тастайды. Қысқарту күші валидацияда таңдалады.

Тәуелсіз бағалау

Оқыту модельді құру үшін, валидация параметр таңдау үшін, тест соңғы сапаны бағалау үшін қолданылады.

[1, 2, 4]

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

19 of 29

Артық үйрену: тереңдік пен дәлдік байланысы

Түсіндірме

800 синтетикалық объект. Оқыту: 600, тест: 200. Тереңдік өскенде оқу дәлдігі артады. Тест дәлдігі бірдей бағытта тұрақты өспейді. Бұл график түсіндіру үшін.

Артық үйрену: тереңдік пен дәлдік байланысы

Түсіндірме

800 синтетикалық объект. Оқыту: 600, тест: 200.

Тереңдік өскенде оқу дәлдігі артады. Тест дәлдігі бірдей бағытта тұрақты өспейді.

Бұл график түсіндіру үшін. Тест бойынша тереңдік таңдау әділ соңғы бағалауды бұзады.

Нақты таңдауды валидацияда жүргізу керек.

[4, 5]

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

20 of 29

Ағаштың негізгі гиперпараметрлері

Параметр	Қызметі	Практикалық әсері
max_depth	Максималды тереңдік	Кішірек мән қарапайым ағаш береді
min_samples_split	Бөлуге қажет ең аз объект	Өте шағын түйіндерді бөлуді тежейді
min_samples_leaf	Жапырақтағы ең аз объект	Сирек ережелерді азайтады
max_leaf_nodes	Жапырақ санының шегі	Ережелер санын бақылайды
ccp_alpha	Қысқарту күші	Үлкен мән көбірек қысқартады
class_weight	Кластардың салмағы	Теңгерімсіз кластарды ескереді

Ағаштың негізгі гиперпараметрлері

Параметрлерді бір мезгілде шектен тыс күшейту модельдің пайдалы құрылымды үйренуіне кедергі болуы мүмкін. Әр параметрдің әсері валидацияда тексеріледі.

[2, 4]

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

21 of 29

Pruning және модельді дұрыс тексеру

Cost-complexity pruning

Мақсат: қате мен ағаш көлемінің теңгерімі. Rα(T) = R(T) + α|T|. |T|: жапырақ саны. α: күрделілік айыбы. Әлсіз тармақтарды алып тастау ықшам ағаш береді.

Тексеру тәртібі

1. Оқу және тест жиындарын алдын ала бөлу. 2. Оқу жиыны ішінде валидация немесе cross-validation жүргізу. 3. Параметрлерді тек осы нәтижемен таңдау. 4.

Pruning және модельді дұрыс тексеру

Cost-complexity pruning

Мақсат: қате мен ағаш көлемінің теңгерімі.

Rα(T) = R(T) + α|T|.

|T|: жапырақ саны. α: күрделілік айыбы.

Әлсіз тармақтарды алып тастау ықшам ағаш береді.

ccp_alpha параметрі валидация сапасына қарай таңдалады.

Тексеру тәртібі

1. Оқу және тест жиындарын алдын ала бөлу.

2. Оқу жиыны ішінде валидация немесе cross-validation жүргізу.

3. Параметрлерді тек осы нәтижемен таңдау.

4. Соңғы модельді тестте бір рет бағалау.

5. Бір клиенттің қайталанатын жазбалары болса, топтық бөлу қажет болуы мүмкін.

[1, 4]

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

22 of 29

Confusion matrix және классификация метрикалары

Көрсеткіш	Формула	Мағынасы
TP / TN	Дұрыс оң / дұрыс теріс	Қай шешім дұрыс болды?
FP / FN	Жалған оң / жалған теріс	Қате қай бағытта жасалды?
Accuracy	(TP + TN) / N	Барлық дұрыс болжам үлесі
Precision	TP / (TP + FP)	Оң болжамның дұрыстығы
Recall	TP / (TP + FN)	Оң класты табу үлесі
F1	2PR / (P + R)	Екі метриканың теңгерімі

Confusion matrix және классификация метрикалары

Кластар теңгерімсіз болса, accuracy жеткіліксіз болуы мүмкін. Мысалы, ақаудың 1%-дық жиілігінде үнемі «ақау жоқ» деу 99% accuracy береді, бірақ Recall = 0 болады.

[3] Авторлық сандық мысал.

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

23 of 29

4. Практикалық қолдану және әдістерді салыстыру

24 of 29

4. Практикалық қолдану және әдістерді салыстыру

Деректерді дайындау

Мақсатты белгіні анықтау, қайталануды тексеру және категорияларды кодтау. scikit-learn ағаштарына сандық енгізу дайындау қажет.

Белгілерді тексеру

Болжам кезінде қолжетімсіз ақпаратты енгізуге болмайды. Мысалы, тапсырысты алғаннан кейінгі шағымды алдын ала тәуекел болжамына қосу дерек ағуы болады.

Интерпретация

Тармақтарды ережеге айналдыру және шешім шектерін түсіндіру. Белгі маңыздылығы себеп-салдарлық әсерге тең емес.

Әдісті дамыту

Бір ағашты Random Forest немесе boosting әдістерімен салыстыру. Күрделілік, сапа және түсіндіру мүмкіндігі бірге бағаланады.

4. Практикалық қолдану және әдістерді салыстыру

Деректерді дайындау

Белгілерді тексеру

Интерпретация

Әдісті дамыту

[2, 4]

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

25 of 29

Синтетикалық тәжірибенің нақты есептелген нәтижесі

Көрсеткіш	Мән	Түсіндірме
Дерек көлемі	800 объект, 6 белгі	Жасанды екі класты дерек
Бөлу	600 оқу / 200 тест	Стратификация, random_state = 12
Модель	max_depth = 4; min_samples_leaf = 10	Алдын ала белгіленген параметрлер
Accuracy	0.800	Тесттегі дұрыс болжам үлесі
Confusion matrix	TN=78, FP=22, FN=18, TP=82	Оң класс = 1
Тәжірибе мәртебесі	Оқу демонстрациясы	Нақты банкке немесе өндіріске қорытынды емес

Синтетикалық тәжірибенің нақты есептелген нәтижесі

Бұл сандар презентация үшін жүргізілген есептеуден алынды. Басқа дерек жиынына, белгілерге немесе бөлуге көшкенде нәтиже өзгереді.

[5]

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

26 of 29

Бір ағаш және ансамбльдік әдістер

Әдіс	Құрылымы	Артықшылығы	Негізгі шектеуі
Decision Tree	Бір ережелер ағашы	Ықшам болса түсіндіру оңай	Дерек өзгерісіне сезімтал
Random Forest	Көп ағаш, кездейсоқ үлгілер мен белгілер	Бір ағаштың тұрақсыздығын азайтады	Толық модельді түсіндіру күрделі
Gradient Boosting	Кезекпен қосылатын ағаштар	Алдыңғы модель қателерін түзетеді	Параметрлерді мұқият таңдау қажет
Таңдау критерийі	Бірдей бөлу мен метрика	Әділ салыстыру	Сапа жалғыз талап емес

Бір ағаш және ансамбльдік әдістер

Жалпы қолдану схемасы: қарапайым ағаштан бастау, baseline сапасын бекіту, ансамбльмен салыстыру және түсіндіру талабын сақтау. Ешбір әдіске алдын ала жеңіс берілмейді.

[4]

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

27 of 29

Артықшылықтар, шектеулер және қолдану шарттары

Артықшылықтар

Шарттар арқылы түсіндірілетін шешім. Сызықтық емес байланыстар мен белгілердің өзара әсерін көрсете алады. Сандық белгілерді стандарттау әдетте міндетті емес.

Шектеулер

Өте терең ағаш артық үйренеді. Деректегі шағын өзгеріс басқа құрылым беруі мүмкін.

Артықшылықтар, шектеулер және қолдану шарттары

Артықшылықтар

Шарттар арқылы түсіндірілетін шешім.

Сызықтық емес байланыстар мен белгілердің өзара әсерін көрсете алады.

Сандық белгілерді стандарттау әдетте міндетті емес.

Жіктеу және регрессияға қолдануға болады.

Ереже пәндік маманмен бірге талқыланады.

Шектеулер

Өте терең ағаш артық үйренеді.

Деректегі шағын өзгеріс басқа құрылым беруі мүмкін.

Көп деңгейлі категория немесе көп мүмкін шегі бар белгі маңыздылықта артық көрінуі мүмкін.

Құпия немесе сезімтал белгілерді пайдалану бөлек негізделуі тиіс.

Нәтиже жаңа деректе тексеріледі.

[1, 2]

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

28 of 29

Қорытынды

1. Шешім ағашы белгілерді шарттармен бөліп, класс немесе сандық болжам береді.

2. Gini мен энтропия түйіндердің біртектілігін бағалайды.

3. Тереңдік пен pruning ағаштың күрделілігін және артық үйренуін реттейді.

4. Модельдің сапасын тәуелсіз деректе және қателердің маңызын ескере отырып бағалау қажет.

Дереккөздер: №8 лекция; scikit-learn (Decision Trees, DecisionTreeClassifier, Metrics, Pruning, Ensembles).

Қорытынды және пайдаланылған дереккөздер

Негізгі қорытынды

Шешім ағашы белгілерді шарттармен бөліп, жапырақта болжам береді.

Gini және энтропия бөлінудің пайдалы екенін бағалауға көмектеседі.

Тереңдік пен pruning күрделілікті реттейді.

Метрика қателердің практикалық маңызымен таңдалады.

Қолдануға жарамдылықты жаңа деректегі сапа және түсіндіру мүмкіндігі анықтайды.

Дереккөздер

[1] «Лекция 8каз.docx».

[2] scikit-learn: Decision Trees; DecisionTreeClassifier.

scikit-learn.org/stable/modules/tree.html

[3] scikit-learn: Metrics and scoring.

scikit-learn.org/stable/modules/model_evaluation.html

[4] scikit-learn: Pruning; Ensembles.

scikit-learn.org/stable/modules/ensemble.html

[5] Авторлық синтетикалық тәжірибелер.

Интернет дереккөздері 11.10.2026 күні тексерілді.

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.

29 of 29

Шешім ағашы

Дәріс №8

Лекция №8. Шешім ағашы

Құрылымы, математикалық негіздері, оқыту және бағалау

Негізгі идея

Объект белгілерін кезекпен тексеріп, түсіндіруге болатын ережелер арқылы шешім қабылдау.

Қамтылатын ұғымдар

Жіктеу, регрессия, Gini, энтропия, ақпараттық өсім, тереңдік және pruning.

Практикалық бағыт

Оқу мысалындағы несие шешімін түсіндіру, модель қатесін есептеу және артық үйренуді анықтау.

Дереккөздер

№8 лекция, scikit-learn ресми құжаттамасы және авторлық синтетикалық есептеулер.

Қосымша дереккөздер (11.10.2026):

https://scikit-learn.org/stable/modules/tree.html

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

https://scikit-learn.org/stable/modules/model_evaluation.html

https://scikit-learn.org/stable/auto_examples/tree/plot_cost_complexity_pruning.html

https://scikit-learn.org/stable/modules/ensemble.html

Синтетикалық графиктер мен мысалдар нақты ұйымның зерттеу нәтижелері емес.