Data Mining міндеттері

Data Mining - ақпараттық технологиялар нарығының құрамдас бөлігі

Дәріс №2

Жұмыстың мақсаты

Data Mining ұғымы мен міндеттерінің жіктелуін қарастыру. Негізгі міндеттерді (классификация, кластерлеу, регрессия, ассоциация) сипаттау. Data Mining-тің ақпараттық технологиялар нарығындағы орнын көрсету. Қолдану салалары мен даму бағыттарын талдау.

2

Жұмыс жоспары

Data Mining ұғымы және міндеттерінің жіктелуі

Data Mining-тің негізгі міндеттері

Data Mining - ақпараттық технологиялар нарығының құрамдас бөлігі

Қолдану салалары және даму бағыттары

1. Data Mining ұғымы және міндеттерінің жіктелуі

4

Data Mining анықтамасы

Data Mining (деректерді интеллектуалды талдау) - үлкен көлемді шикі деректерден бұрын белгісіз, практикада пайдалы және түсіндірілетін білімді табу процесі.

Деректер

кестелер, мәтін, журналдар, суреттер

Әдістер

статистика, машиналық оқыту, дерекқорлар

Нәтиже

модельдер, заңдылықтар, болжамдар

Деректерден білім табу процесі (KDD)

Data Mining - білімді табудың орталық кезеңі. Оған дейін деректер дайындалады, одан кейін нәтиже бағаланып, түсіндіріледі.

6

Data Mining міндеттерінің жіктелуі

Сипаттамалық міндеттер деректердегі құрылымды ашады, болжамдық міндеттер белгісіз мәнді алдын ала айтады.

7

Бақыланатын және бақыланбайтын оқыту

Тәсілді таңдау деректерде алдын ала белгіленген жауаптың (белгі, класс) бар-жоғына байланысты.

8

2. Data Mining-тің негізгі міндеттері

9

Классификация

Объектіні алдын ала белгілі сыныптардың біріне жатқызу. Модель белгісі бар үлгілерден үйренеді.

• Мысал: хаттың спам екенін анықтау;
• әдістер: шешім ағашы, k-көрші, нейрондық желі.

Кластерлеу

Алдын ала сыныптарсыз ұқсас объектілерді топтарға біріктіру. Топтар деректердің өзінен табылады.

• Мысал: тұтынушыларды сегменттеу;
• әдістер: k-means, иерархиялық кластерлеу.

11

Регрессия

Сандық мәнді басқа атрибуттар бойынша болжау. Нәтиже - үздіксіз сан.

• Мысал: пәтер бағасын болжау;
• әдістер: сызықтық регрессия, ағаш негізіндегі модельдер.

12

Ассоциациялық ережелер

Бірге жиі кездесетін элементтерді табу. Ереже түрі: «егер А болса, онда В болады».

Мысал: «нан алған сатып алушы сүт те алады». Әдіс: Apriori алгоритмі.

13

Басқа міндеттер

Аномалияларды табу

қалыптыдан ерекшеленетін жазбаларды анықтау (алаяқтық)

Жинақтау (summarization)

деректердің қысқа сипаттамасын құру

Тізбектерді талдау

оқиғалар реті бойынша заңдылықтарды табу

Уақыттық қатарларды болжау

өткен мәндер бойынша келесілерін айту

Міндеттер мен әдістер

15

3. Data Mining – ақпараттық технологиялар нарығының құрамдас бөлігі

16

Data Mining-тің IT нарығындағы орны

17

Data Mining өнімдері мен қызметтері

18

Data Mining құндылық тізбегі

• Деректер көздері - компаниялардың ішкі жүйелері, сенсорлар, интернет;
• құралдар мен платформалар деректерді өңдеуге мүмкіндік береді;
• мамандар модельдер құрып, нәтижені бизнес тіліне аударады.

19

Саладағы мамандықтар

Data Analyst

деректерді талдайды, есеп пен визуализация жасайды

Data Scientist

модельдер құрып, болжамдар жасайды

Data Engineer

деректер жинау мен өңдеу жүйесін құрады

ML Engineer

модельдерді өндірістік жүйеге енгізеді

20

4. Қолдану салалары және даму бағыттары

21

Қолдану салалары

22

Даму бағыттары және қиындықтар

Мүмкіндіктер

AutoML, бұлттық платформалар, жасанды интеллектпен интеграция

Қиындықтар

деректер сапасы және сақтау құны

Құпиялылық

жеке деректерді қорғау талаптары

Түсіндірілетін модельдер

нәтижеге сенімді болу үшін қажет

Қорытынды

1. Data Mining - деректерден бұрын белгісіз пайдалы білімді табу процесі;

2. Міндеттер сипаттамалық (кластерлеу, ассоциация, аномалия) және болжамдық (классификация, регрессия) болып бөлінеді;

3. Data Mining - IT нарығындағы бағдарламалық қамтама мен қызметтер сегментінің бір бөлігі;

4. Қолдану аясы банк, сауда, медицина, телеком салаларына дейін кеңейіп келеді.

24

Data Mining міндеттері

Data Mining – ақпараттық технологиялар нарығының құрамдас бөлігі

Дәріс №2