ABCDEFGHIJKLMNOPQRSTUVWXYZAA
1
Cài các thứ sau :
1. CSDL : Postgresql
2. CSDL : MySQL
3.Tool quản trị CSDL : DBEAVER
4.Tool ETL : tạm thời sử dụng Python, khi vào học sẽ đưa tool cho cài
5. Python mới nhất từ 3.12 trở lên.
6.Tool Recording : OBS Studio
7.Tool để xử lý với text nhanh chóng : notepad ++
8.Tool để screenshot màn hình nhanh chóng : lightshot		QUY TẮC : DẠY XONG GỬI BÀI THỰC HÀNH VÀ TRẮC NGHIỆM YÊU CẦU LÀM XONG MỚI DẠY TIẾP BÀI TIẾP THEO. SAU 3 BUỔI THÌ SẼ CÓ 1 BUỔI ĐỂ ĐÁNH GIÁ KẾT QUẢ LÀM CỦA 3 BUỔI TRƯỚC ĐÓ.
2
BUỔI HỌCNỘI DUNGMỤC TIÊU BÀI GIẢNGLINK BÀI GIẢNGLINK BÀI TẬPLINK TRẮC NGHIỆM
3
1Công việc DE là gì, bản chất của vai trò DE trong doanh nghiệp- Hiểu được vai trò thực sự của 1 DE
- Hiểu được mục tiêu chính của doanh nghiệp và sự liên quan của nó đến role DE
- Hiểu được vì sao phải xây dựng kho data doanh nghiệp theo các kiến trúc chuẩn
- Hiểu được nhu cầu thị trường thực tế mà doanh nghiệp đang sử dụng về các vấn đề data hiện tại
- Nắm rõ Roadmap DE cần đi chi tiết , cụ thể như nào và hiểu rõ sự liên quan mật thiết với Infra
4
Vì sao phải xây dựng Data Warehouse ( DWH ), Data Lake , Lake House trong doanh nghiệp
5
Kiến trúc của DWH , Data Lake , Lake House , vì sao doanh nghiệp lại ưu tiên xài Cloud thay vì On-Premise
6
Bộ tâm pháp kiến thức chuyên ngành về IT để có thể học và nắm bắt nhanh và đi sâu vào role DE
7
Danh sách các tools, các ứng dụng và các kỹ năng của 1 DE cần phải nắm
8
Tại sao DE phải cần giỏi Infrastructor ( Hạ tầng )
9
Giới thiệu về kiến trúc DWH - Star Schema & Galaxy Schema
10
11
1 FILE THỰC HÀNH & 1 BỘ CÂU HỎI TRẮC NGHIỆM
12
13
2ETL là gì, vì sao nó quan trọng với 1 nhân sự DE- Hiểu rõ từng vai trò trong 3 tác vụ E ( Extract ) , T ( Transform ) , L ( Load ) và cách doanh nghiệp dùng thực tế
- Nắm sâu về tâm pháp của một IT, hiểu rõ root để làm việc có tư duy và nắm được lỗi , bug ở đâu và đưa ra phương án xử lý triệt để
- Tiếp cận với các ứng dụng liên quan đến data ( đây là cái mất thời gian nhất của 1 DE )
- Hiểu được 1 luồng ETL hay 1 luồng job tự động bất kỳ khi execute cần đảm bảo những gì để có thể quản trị và tối ưu được tốt nhất.
14
Cầm tay chỉ việc tìm hiểu và nắm rõ các hệ điều hành Window , Linux , Ubuntu để có thể làm chủ các ứng dụng liên quan đến data
15
Sử dụng công cụ ETL để rút trích bất kỳ 1 source data nào đến 1 destination data đồng thời ghi log và monitor , notify khi có vấn đề phát sinh
16
Tiếp cận ( cài đặt, trace log, read / write ) toàn bộ các ứng dụng liên quan đến data mà doanh nghiệp đang sử dụng thực tế để có thể dùng ETL một cách trơn tru nhất : RDBMS , Nosql , Cloud Storage
17
Template chuẩn cho ETL Job chạy theo batch định kỳ
18
19
1 FILE THỰC HÀNH & 1 BỘ CÂU HỎI TRẮC NGHIỆM
20
21
3Schedule là gì, sự liên quan mật thiết giữa Schedule và ETL jobs- Nắm được root về scheduler
- Tự chủ động khi có 1 yêu cầu về ETL hoặc xử lý 1 tác vụ automation bất kỳ
- Nắm bản chất của kiến trúc lưu trữ phân tán, bài toán về hồ nước, vòi chảy khi thao tác với big data và spark
22
Cài đặt và dựng 1 web app để hỗ trợ cho việc schedule hoặc sử dụng scheduler của OS hoặc sử dụng 1 tools tự custom để làm scheduler
23
Triển khai ETL jobs lên bộ Scheduler để chạy batch job định kỳ đổ về DWH , Data Lake ,...
24
Big data là gì, vì sao phải sử dụng HDFS để phục vụ cho big data. Cài đặt và sử dụng Hadoop HDFS để lưu trữ và truy vấn big data
25
Spark Framework là gì , thực sự chúng ta đã hiểu đúng và làm đúng với Spark hay chưa ?
26
Cài đặt Spark Cluster để thấy được sức mạnh của spark framework về xử lý data
27
28
1 FILE THỰC HÀNH & 1 BỘ CÂU HỎI TRẮC NGHIỆM
29
30
4Tìm hiểu các khái niệm về streaming data và Change Data Capture ( CDC ) / Replicate của hệ quản trị dữ liệu - Nắm bắt và quản trị được luồng streaming dữ liệu
- Hiểu được cách mà doanh nghiệp khai thác dữ liệu thông qua tính năng CDC / Replicate của hệ quản trị csdl.
- Nâng cao được khả năng coding bằng python
31
Cài đặt và triển khai Kafka để phục vụ cho Streaming và CDC cũng như phục vụ cho 1 system như Operation Data Store phục vụ near realtime
32
Xây dựng 1 báo cáo dạng streaming để theo dõi về sự kiện marketing của 1 một doanh nghiệp
33
34
35
36
1 FILE THỰC HÀNH & 1 BỘ CÂU HỎI TRẮC NGHIỆM
37
38
5Elastic Search là gì, vì sao nó lại quan trọng trong doanh nghiệp - Nắm kiến trúc của Elastic Search và cách sử dụng Elastic Search sao cho hiệu quả trong big data.
- Nâng cao trình độ code Python thông qua các framework về web app
39
Cài đặt và cấu hình Elastic Search để xây dựng tính năng thực tế của doanh nghiệp
40
Kết hợp với Dash / Flask framework để xây dựng web app khai thác thế mạnh của elastic search
41
42
43
44
1 FILE THỰC HÀNH & 1 BỘ CÂU HỎI TRẮC NGHIỆM
45
46
6DBT là gì , vì sao nó lại được doanh nghiệp tin dùng ở thời điểm hiện tại- Nắm được xu thế mà doanh nghiệp đang xây dựng kiến trúc làm hệ thống MIS của doanh nghiệp
- Nắm được cách lưu trữ và tổ chức dữ liệu để tracking dữ liệu và tối ưu về lưu trữ , truy vấn , thống kê dữ liệu từ việc kết hợp Data Vault và DWH
- Biết cách chuẩn hoá các metric và đảm bảo chính xác đầu ra dữ liệu của doanh nghiệp phục vụ cho mọi phòng ban cũng như bảo đảm về Column Level Security ( CLS ) & Row Level Security ( RLS )
47
Xây dựng kiến trúc Data Vault bằng DBT để theo dõi được sự thay đổi của data
48
Các kỹ thuật xây dựng bảng DIM
49
Các kỹ thuật xây dựng bảng FACT
50
Quy tắc đặt tên Object trong DWH
51
Business Term trong DWH
52
53
54
1 FILE THỰC HÀNH & 1 BỘ CÂU HỎI TRẮC NGHIỆM
55
56
7Project cuối khoá về DE : Xây dựng và quản trị toàn bộ mô hình data doanh nghiệp thực tế để phục vụ cho tất cả các mảng khai thác về data.- Hiểu được toàn bộ mô hình doanh nghiệp thực tế sẽ vận hành thế nào
- Đi full luồng từ core system của doanh nghiệp đến đầu ra của báo cáo và các case lỗi có thể phát sinh.
- Xây dựng đủ các luồng data , hệ thống phục vụ cho toàn bộ các nhu cầu data của doanh nghiệp.
57
58
59
60
61
62
1 FILE THỰC HÀNH & 1 BỘ CÂU HỎI TRẮC NGHIỆM
63
64
8Docker là gì, cách cài đặt và đóng gói toàn bộ mô hình data đã làm bằng docker- Hiểu bản chất của Docker
- Hiểu doanh nghiệp mong muốn gì ở 1 nhân sự DE khi tiếp nhận 1 CV để được gọi pv
- Nắm được các vấn đề mà doanh nghiệp muốn nghe trong quá trình phỏng vấn tuyển dụng
65
Rebuild và Review CV để đi xin việc với role DE
66
67
68
69
70
1 FILE THỰC HÀNH & 1 BỘ CÂU HỎI TRẮC NGHIỆM
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100