경사 하강법이란?

※경사 하강법이란?

최대로 오차를 줄이는 방향으로 가중치를 변경하기 위한 방법입니다.
가중치를 조절함으로써 오차가 최소가 되도록 값을 조절해야 하는데 이때 사용하는 것이 경사 하강법입니다.
이때, 학습률(learning rate)이라는 개념이 사용되는데, 학습률을 너무 높게 주면 건너뛰는 폭이 커집니다.
Convergence(최적점)에 도달하기도 전에 높은 학습률 때문에 최적점을 무시하고 다시 높아지는 오차를 가져올 수 있습니다.

실제로 어느 예제 데이터에 적용한 학습률과 epoch에 따른 손실을 추정한 위의 그래프를 보면, 높은 학습률을 가질수록 손실이 많아지게 되는걸 볼 수 있습니다.
높은 학습률로 인해 최적의 값을 지나쳐버리고 계속 엉뚱한 값들만 탐색하고 있음을 알 수 있습니다.
전역 최솟값(global minimum)대신 지역 최솟값(local minimum)에 빠진 것입니다.