1 of 15

PHÂN TÍCH VÀ THIẾT KẾ THUẬT TOÁN NÂNG CAO

Giảng viên: TS. Phan Anh Cang

Học viên: Lưu Vĩnh Phúc

Mã số: 22904010

ĐẠI HỌC SƯ PHẠM KỸ THUẬT VĨNH LONG

2022

Machine Learning - Linear Regression

2 of 15

Nội dung

Machine Learning

Linear Regression

Loss function

Training

Demo

Gradient Descent

3 of 15

Machine Learning

Machine learning is the subfield of computer science that “gives computers the ability to learn without being explicitly programmed” (Wikipedia)

1

Machine Learning là một lĩnh vực nhỏ của Khoa Học Máy Tính, nó có khả năng tự học hỏi dựa trên dữ liệu đưa vào mà không cần phải được lập trình cụ thể.

AI là khái niệm chung về trí thông minh của máy móc.

Machine learning là một lĩnh vực về phát triển trí thông minh của máy móc, bằng cách cho máy móc học từ dữ liệu

Deep learning là một lĩnh vực trong machine learning dựa trên các kiến trúc mạng neural network nhiều lớp (deep)

Xe tự hành của Google và Tesla, hệ thống tự tag khuôn mặt trong ảnh của Facebook, trợ lý ảo Siri của Apple, hệ thống gợi ý sản phẩm của Amazon, hệ thống gợi ý phim của Netflix, máy chơi cờ vây AlphaGo của Google DeepMind

4 of 15

Machine Learning

2

Hàm ánh xạ (mapping function):

f : x y

x: dữ liệu (data), kinh nghiệm đã có� y: dự đoán, tri thức mới, kinh nghiệm mới,…

5 of 15

Supervised Learning

4

MNIST: bộ cơ sở dữ liệu của chữ số viết tay

Supervised learning là thuật toán dự đoán đầu ra (outcome) của một dữ liệu mới (new input) dựa trên các cặp (input, outcome) đã biết từ trước. Cặp dữ liệu này còn được gọi là (data, label), tức (dữ liệu, nhãn). Supervised learning là nhóm phổ biến nhất trong các thuật toán Machine Learning

Thuật toán unsupervised learning sẽ dựa vào cấu trúc của dữ liệu để thực hiện một công việc nào đó. không giống như Supervised learning, chúng ta không biết câu trả lời chính xác cho mỗi dữ liệu đầu vào. Giống như khi ta học, không có thầy cô giáo nào chỉ cho ta biết đó là chữ A hay chữ B mà chỉ biết hai chữ đó có các đặc điểm khác nhau

Ví dụ: trong nhận dạng chữ viết tay, ta có ảnh của hàng nghìn ví dụ của mỗi chữ số được viết bởi nhiều người khác nhau. Chúng ta đưa các bức ảnh này vào trong một thuật toán và chỉ cho nó biết mỗi bức ảnh tương ứng với chữ số nào. Sau khi thuật toán tạo ra một mô hình, tức một hàm số mà đầu vào là một bức ảnh và đầu ra là một chữ số, khi nhận được một bức ảnh mới mà mô hình chưa nhìn thấy bao giờ, nó sẽ dự đoán bức ảnh đó chứa chữ số nào. Ví dụ này khá giống với cách học của con người khi còn nhỏ. Ta đưa bảng chữ cái cho một đứa trẻ và chỉ cho chúng đây là chữ A, đây là chữ B. Sau một vài lần được dạy thì trẻ có thể nhận biết được đâu là chữ A, đâu là chữ B trong một cuốn sách mà chúng chưa nhìn thấy bao giờ.

6 of 15

Supervised Learning

4

Classification (Phân loại): Một bài toán được gọi là classification nếu các label của input data được chia thành một số hữu hạn nhóm.

Ví dụ: Gmail xác định xem một email có phải là spam hay không; các hãng tín dụng xác định xem một khách hàng có khả năng thanh toán nợ hay không.

7 of 15

Supervised Learning

5

Regression (Hồi quy): Nếu label không được chia thành các nhóm mà là một giá trị thực cụ thể.

Ví dụ: một căn nhà rộng x m² , có y phòng ngủ và cách trung tâm thành phố z km sẽ có giá là bao nhiêu?

8 of 15

Supervised Learning

6

9 of 15

Linear Regression

7

Regression problem: học một hàm y = f(x), từ tập dữ liệu D = {(x₁, y₁), (x₂, y₂), …, (x_M, y_M)}, sao cho y_i ≈ f(x_i).
Linear model: f(x) tuyến tính được biểu diễn� f(x) = w₀ + w₁x₁ + … + w_nx_n

w₀, w₁, …, w_n được gọi là hệ số hồi quy/trọng số (coefficients/weights), w₀ còn được gọi là “bias”.

10 of 15

Linear Regression

8

Hàm nào là tốt nhất?

Chiều cao (cm)	Cân nặng (kg)
147	49
150	50
155	52
…	…

Bài toán đặt ra là: liệu có thể dự đoán cân nặng của một người dựa vào chiều cao của họ không?

11 of 15

Loss function

9

MSE (measures squared error): đo sự sai khác bằng cách lấy trung bình của bình phương giữa giá trị dự đoán và giá trị thực tế.

VD: y = mx + b

Mục tiêu là tối thiểu MSE để tăng độ chính xác hiện tại.

12 of 15

Gradient Descent

10

min

-

+

Trong Machine Learning nói riêng và Toán Tối Ưu nói chung, chúng ta thường xuyên phải tìm giá trị nhỏ nhất (hoặc đôi khi là lớn nhất) của một hàm số nào đó. Ví dụ như các hàm mất mát trong hai bài Linear Regression và K-means Clustering. Nhìn chung, việc tìm global minimum của các hàm mất mát trong Machine Learning là rất phức tạp, thậm chí là bất khả thi. Thay vào đó, người ta thường cố gắng tìm các điểm local minimum, và ở một mức độ nào đó, coi đó là nghiệm cần tìm của bài toán.

Để tối ưu hàm chi phí chúng ta cần tính lại weight và bias mới tối ưu hơn. Chúng ta thực hiện việc lấy weight và bias hiện tại trừ (weight và bias mới bằng cách tính weight và bias với mỗi điểm dữ liệu rồi lấy trung bình của tất cả các điểm dữ liệu đó nhân với learning rate)

Điểm local minimum là điểm có đạo hàm f’(x) = 0

Đạo hàm phía bên trái local minimum là không dương, và bên phải là không âm

Đạo hàm âm thì hàm số giảm, đạo hàm dương thì hàm số tang

Lý do cần tính đạo hàm là bởi vì điểm min là điểm có đạo hàm = 0

13 of 15

Training

11

Training: là quá trình lặp đi lặp lại cải thiện phương trình dự đoán của bạn bằng cách lặp qua tập dữ liệu nhiều lần.
Update lại weight và bias với Gradient descent.
Việc training kết thúc khi đạt đến ngưỡng lỗi chấp nhận được hoặc những lần lặp tiếp theo không thể giảm thêm chi phí.

14 of 15

Linear Regression

13

Ưu điểm	Nhược điểm:
Mô hình đơn giản, dễ hiểu Dễ diễn giải hệ số hồi quy Nhận được kết quả tốt khi dữ liệu quan sát nhỏ Nhiều cải tiến/mở rộng	Mô hình hơi đơn giản nên khó dự đoán chính xác với dữ liệu có miền giá trị rộng Khả năng ngoại suy (extrapolation) kém Nhạy cảm với dữ liệu ngoại lai (outliers) – do dùng phương pháp bình phương nhỏ nhất

15 of 15

Cảm ơn thầy và các anh chị đã lắng nghe!