2 of 24

Дәрістің мақсаты

Эконометриялық модельдің сапасын, барабарлығын және орнықтылығын бағалаудың мәнін түсіндіру. Негізгі сапа көрсеткіштерін (R², t, F, AIC/BIC, RMSE, MAPE) қарастыру. Қалдықтарды талдау мен диагностикалық тесттермен таныстыру. Модель параметрлерінің тұрақтылығын және болжау қабілетін тексеру әдістерін көрсету.

3 of 24

Дәріс жоспары

1. Модель сапасын бағалау ұғымы

2. Модель сапасының көрсеткіштері

3. Модельдің барабарлығын тексеру

4. Модельдің орнықтылығы және валидациясы

4 of 24

1. Модель сапасын бағалау ұғымы

5 of 24

Модель сапасы деген не?

Модельдің нақты деректерді қаншалықты дәл сипаттайтынын көрсететін сипаттама
Сапа - үш қасиеттің жиынтығы: дәлдік, барабарлық және орнықтылық
Дәлдік - модель деректерді және болжам қателігін қаншалықты аз беретіні
Барабарлық - модельдің болжамдары (Гаусс-Марков) орындалатыны
Орнықтылық - параметрлер мен болжам уақыт пен деректер өзгергенде тұрақты болатыны

6 of 24

Модельді бағалау үдерісі

Сапа

көрсеткіштері

→

Барабарлықты

тексеру

→

Орнықтылықты

тексеру

→

Шешім

қабылдау

Сұрақтар:

Модель деректерді жеткілікті дәл түсіндіре ме?
Қалдықтар Гаусс-Марков болжамдарына сәйкес келе ме?
Параметрлер басқа кезеңдер мен таңдамаларда тұрақты ма?
Болжам жаңа деректерде жақсы жұмыс істей ме?

7 of 24

2. Модель сапасының көрсеткіштері

8 of 24

Детерминация коэффициенті R²

R² = 1 - RSS / TSS = ESS / TSS

Adjusted R² = 1 - (1 - R²)·(n - 1) / (n - k - 1)

RSS - қалдықтардың квадраттар қосындысы

TSS - жалпы квадраттар қосындысы

ESS - модельмен түсіндірілген квадраттар қосындысы

R² ∈ [0; 1]: 1-ге жақын болса, модель деректерді жақсы түсіндіреді

Факторлар қосылған сайын R² өседі, сондықтан Adjusted R² қолданылады

9 of 24

Статистикалық мәнділікті тексеру

Тесттер параметрлер мен модельдің жалпы мәнділігін бағалайды.

Тест	Нөлдік гипотеза	Шешім
t-статистика	H₀: βⱼ = 0 (фактор әсер етпейді)	\|t\| > t_кр немесе p < 0,05 - фактор мәнді
F-статистика	H₀: β₁ = … = βₖ = 0	F > F_кр немесе p < 0,05 - модель мәнді
Сенім аралығы	βⱼ ± t_кр·se(βⱼ)	Аралық 0-ді қамтымаса - коэффициент мәнді

10 of 24

Ақпараттық критерийлер: AIC және BIC

AIC = 2k - 2·ln L, BIC = k·ln n - 2·ln L
k - параметр саны, n - бақылау саны, L - ақиқаттылық функциясы
Модельдерді салыстыру үшін қолданылады: мәні кіші модель жақсы
Екеуі де модель күрделілігі үшін айыппұл салады
BIC күрделі модельді AIC-ке қарағанда қатаңырақ жазалайды

11 of 24

Болжам дәлдігінің көрсеткіштері

Көрсеткіш	Формуласы	Ерекшелігі
MAE	(1/n)·Σ\|Yᵢ - Ŷᵢ\|	Орташа абсолютті қате, шығу бірлігімен
RMSE	√[(1/n)·Σ(Yᵢ - Ŷᵢ)²]	Үлкен қателерге сезімтал
MAPE	(100%/n)·Σ\|Yᵢ - Ŷᵢ\| / Yᵢ	Пайыздық қате, салыстыруға ыңғайлы

Көрсеткіш мәні кіші болған сайын болжам дәлірек.

12 of 24

3. Модельдің барабарлығын тексеру

13 of 24

Диагностикалық тесттер

Мәселе	Тест	Шешу жолы
Гетероскедастикалық	Бройш-Пэган, Уайт	Робасты қателер, WLS
Автокорреляция	Дарбин–Уотсон, Бройш–Годфри	Newey-West, AR-термин қосу
Мультиколлинеарлық	VIF > 10	Факторды алып тастау, ridge
Қалдықтар қалыпты емес	Жарк-Бера	Түрлендіру, үлкен таңдама
Спецификация қатесі	RESET (Рамсей)	Модель түрін өзгерту

Тест нәтижесі модель болжамдарының бұзылғанын көрсетсе, модельді түзету қажет.

14 of 24

Дарбин-Уотсон статистикасы

DW = Σ(eₜ - eₜ₋₁)² / Σeₜ² ≈ 2·(1 - ρ), 0 ≤ DW ≤ 4

Оң авто-

корреляция

Белгісіз

аймақ

Автокорреляция

жоқ

Белгісіз

аймақ

Теріс авто-

корреляция

4-dU

4-dL

DW ≈ 2 - қалдықтарда автокорреляция жоқ
DW < 2 - оң автокорреляция, DW > 2 - теріс автокорреляция
dL және dU - кесте бойынша n және k-ға тәуелді критикалық мәндер

15 of 24

Қалдықтарды графикалық талдау

Қалдықтар кездейсоқ орналасқан - модель барабар

Шашырау ұлғаяды - гетероскедастикалық

Көк нүктелер - қалдықтар eᵢ, үзік сызық - нөлдік деңгей

16 of 24

4. Модельдің орнықтылығы және валидациясы

17 of 24

Орнықтылықты бағалау әдістері

Параметрлердің тұрақтылығы: Чоу тесті, CUSUM, рекурсивті бағалау
Таңдама өзгергенде коэффициенттердің өзгеруін тексеру
Bootstrap - параметрлердің сенім аралығын қайталанатын таңдамалар арқылы бағалау
Сезімталдық талдауы: бастапқы деректердегі шамалы өзгерістің әсері
Шеткі бақылаулар мен ауытқуларды (outlier) тексеру

18 of 24

Чоу тесті (құрылымдық тұрақтылық)

F = [(RSS_p - (RSS₁ + RSS₂)) / k] / [(RSS₁ + RSS₂) / (n - 2k)]

RSS_p - бүкіл таңдама бойынша қалдықтар қосындысы

RSS₁, RSS₂ - екі бөлік бойынша қалдықтар қосындылары

k - параметр саны, n - бақылау саны

H₀: екі кезеңде коэффициенттер бірдей

F > F_кр болса, құрылымдық өзгеріс бар (мысалы, дағдарыс, жаңа саясат)

19 of 24

Валидация әдістері

Әдіс	Мәні	Қолдану
Hold-out	Деректер үйрету және тест бөліктеріне бөлінеді	Үлкен таңдама
k-fold кросс-валидация	Деректер k бөлікке бөлінеді, модель k рет тексеріледі	Шағын және орташа таңдама
Rolling window	Уақыт терезесі жылжытылып бағаланады	Уақыт қатарлары

Үйрету деректеріндегі жоғары R² жаңа деректерде жақсы болжамға кепілдік бермейді.

20 of 24

Мысал: екі модельді салыстыру

Алдыңғы дәрістегі сатылым және жарнама деректері (n = 5)

Көрсеткіш	Сызықтық модель	Степенді модель
R²	0,944	0,979
RMSE	7,21	4,48
MAPE, %	7,10	3,44
AIC	23,76	19,00

Степенді модельдің барлық көрсеткіші жақсы; бірақ n = 5 өте аз, валидация қажет.

21 of 24

Жиі кездесетін қателер

Тек R²-ге сүйеніп модельді таңдау
Қалдықтарды және диагностикалық тесттерді тексермеу
Үйрету деректерінде ғана бағалау (overfitting)
Құрылымдық өзгерістерді (дағдарыс, саясат) ескермеу
Корреляцияны себеп-салдарлық байланыс ретінде түсіндіру

22 of 24

Қорытынды

Модель сапасы дәлдік, барабарлық және орнықтылық арқылы бағаланады
Дәлдік: R², Adjusted R², t, F, AIC/BIC, RMSE, MAPE
Барабарлық: қалдықтар талдауы, DW, Бройш-Пэган, VIF, RESET
Орнықтылық: Чоу тесті, CUSUM, кросс-валидация, bootstrap
Тек барлық тексеруден өткен модель шешім қабылдауға жарамды

23 of 24

Әдебиеттер

1. Трофимова Л.А., Трофимов В.В. Методы принятия управленческих решений. - М.: Юрайт, 2024.

2. Бусов В.И., Лябах Н.Н., Саткалиева Т.С., Таспенова Г.А. Теория и практика принятия управленческих решений. - М.: Юрайт, 2024.

3. Liu S., Zaraté P. et al. (eds.). Decision Support Systems XIII. - Cham: Springer, 2023.

4. James G., Witten D., Hastie T., Tibshirani R., Taylor J. An Introduction to Statistical Learning: with Applications in Python. - Springer, 2023.

1 of 24