Gradient Descent là cụm trường đoản cú được nghe rất nhiều lúc học tập về MLP, Neuron Network, hay CNN. Quen em nó nhau thọ rồi, quan sát khía cạnh nhau miết, tưởng mình đã đọc nhau, nhưng đến nay new vẽ lẽ vừa thiếu hiểu biết nhiều với vừa đọc sai em nó vượt trời… Nay nhờ vào thực trạng đưa đẩy mà lại mình đọc thêm được em nó tí đỉnh.

Bạn đang xem: Derivative là gì toán học

Gradient - em nó là ai ?

Gradient của một hàm $f(x_1, x_2, …, x_n)$, được ký kết hiệu $ abla f$ là 1 trong vector $n$ chiều, nhưng mỗi thành phần trong vector đó là một trong những đạo hàm riêng rẽ phần (partial derivative) theo từng thay đổi của hàm đó:$$box<20px,border:1px solid black> abla f=(fracdfdx_1, fracdfdx_1, …, fracdfdx_n)$$

Sau đó là 2 điều mình bắt đầu hiểu ra:

1. Vector gradient tại một điểm cho khách hàng biết từ bỏ điểm đó, phía làm sao làm đội giá trị $f$ các duy nhất hoàn toàn có thể. Tại sao lại là tăng ?

Chấp nhấn điều này lâu rồi, thoải mái và tự nhiên trong ngày hôm qua mới ngớ ra: Tại sao lại là phía tăng (Hình 1) nhưng không hẳn là phía giảm ?

*

Hình 1. Hướng của vector gradient luôn luôn chỉ về phía cao hơn

Wow wow, nguyên nhân là vày ông nào tư tưởng nó như vậy :v. Mỗi thành phần của vector gradient là 1 trong đạo hàm riêng biệt phần, giờ đồng hồ demo xét $fracdfdx$.Định nghĩa đạo hàm theo <1>:$$fracdfdx = fracf(x+epsilon)-f(x)epsilon$$cùng với $epsilon>0$ cùng đủ bé dại. Mấu chốt phần đông nằm ở ông $epsilon$, bởi $ epsilon>0$, phải chiều của $fracdfdx$ chỉ còn nhờ vào vào tử số.

Từ đó ta xét 2 ngôi trường hòa hợp $vecAB$ và $vecCD$ sẽ hiểu:

Vector AB: $$fracdfdx=fracf(A) - f(B)x_A - x_B$$Vì $f(A)Vector CD: $$fracdfdx=fracf(D) - f( C)x_D - x_C$$Vì $f( C)

Vì vậy nhưng mà $fracdfdx$ luôn chỉ về phía $f$ tăng.

2. Vector gradient trực giao (perpendicular) với contour line của hàm

Như vậy nghe bực bản thân + rối rắm kinh khủng lúc cứ đọng ghi nhớ lớp 12, được học tập đạo hàm của hàm $y = f(x)$ tại $x_0$ đó là pháp tuyến của $f(x)$ tại $x_0$. Rà lại, đọc về đạo hàm (derivative) thấy đâu đâu cũng vẽ hình tiếp con đường <1>, dòng khỉ gì giờ lại là trực giao ? Với vừa nãy ở trên mới nói là phía làm cho tăng $f$, sao giờ lại sở hữu chuyện trực giao tại đây ?

*
*

Mấu chốt nằm ở khái niệm contour line. Nó có vài tên không giống nhau: contour line, màn chơi phối, level curve. Định nghĩa tại đây cả <2>. Đại khái một contour line là tập thích hợp đều điểm khiến cho hàm tất cả cùng một quý giá $y_0$ làm sao kia. Hàm gồm miền vô hạn thì cũng có nghĩa là bao gồm rất nhiều contour line.

Xem thêm: " Quả Mận Tiếng Anh Là Gì - Quả Mận Trong Tiếng Anh Là Gì: Định Nghĩa & Ví Dụ

Vậy là Hình 2.a và 2.b sẽ trình diễn hai tuyến đường khác nhau: mặt đường color Đen vào hình 2.a là vật thị biểu diễn sự phụ thuộc $y$ theo $x$ qua hàm $y=f(x)$, mặt đường blue color trong hình 2.b là 1 con đường contour line biểu diễn của hàm $g(x)=0$. Mình bị nhầm lẫn chính vì lâu nay học các hàm $y=f(x)$, đa phần phần đa là hàm đối chọi biến chuyển, trình diễn thứ thị của nó bằng tọa độ 2 chiều. Nhưng cùng với những hàm đa vươn lên là (trường đoản cú 2 đổi mới trlàm việc lên), người ta cực nhọc màn trình diễn đồ thị của hàm trên tọa độ 2D nữa, đề xuất bạn ta nghĩ ra loại contour line dễ biểu diễn rộng.

khi học về Linear Regression, $y=WX + b$, tín đồ ta thường xuyên lấy ví dụ $W$ với $X$ có 2 chiều, cụ thể $y=w_1x_1 + w_2x_2 + w_0$, vấn đề này khiến bản thân liên quan mang đến hàm $y=ax + b$ hồi xưa gồm học tập, chỉ với đưa vế qua thì $x$, $y$ tương xứng $w_1$, $w_2$. Như vậy sai trọn vẹn, SAI ÁC LIỆT LUÔN. Chính từ phía trên mang tới phần đa nhầm lẫn khi hiểu mang đến vector gradient.

Nói chính xác thì $y=ax+b$ chỉ nên 1 phần tử vào tập contour line của $y=w_1x_1 + w_2x_2 + w_0$. Và trách nhiệm của Linear Regression là đi kiếm một contour line trong tập những contour line ở trên.

Về chuyện ngày lớp 12 được dạy rằng đạo hàm của hàm $y=f(x)$ là một vector tất cả phương tiếp tuyến cùng với thứ thị $f(x)$. Như vậy được lý giải nlỗi sau: Hàm $y=f(x)$ là hàm một đổi thay. Nếu vẽ theo phong cách contour line, mỗi contour line đã là 1 trong điểm (hoặc một vài điểm). Vì vậy mà lại đương nhiên nó thoải điều kiện vector gradient trực giao với đường contour line. Không gồm mâu thuẫn gì ở đây cả.

P..s: Viết ra new thấy, mặc dù đang đọc, đã cầm cố được dòng bản chất, cơ mà mong muốn thể hiện nó ra vẫn cực nhọc thiệt. Bài này thừa lủng cũng.

Bài viết liên quan

Trả lời

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *