1-2. 경사 하강법(Gradient Descent) - 배치 경사 하강법

선형 회귀를 훈련시킬 수 있는 대표적인 방법 중 하나가 경사 하강법(Gradient Descent)이다. 경사 하강법은 비용 함수를 최소화하는 방향으로 가중치와 편향을 업데이트한다. 이렇게 비용함수를 최소화하는 모델 파라미터의 조합을 찾는 과정을 '모델의 파라미터 공간에서 찾는다'라고 한다. 출처 : arahna.de/gradient-descent/ 미적분의 기본적인 개념으로, 주어진 구간 안에서 f(x)를 미분하여 f'(x) = 0 이 되는 지점의 x에서의 f(x)이 최대값, 최소값이 된다. 경사 하강법도 이와 같은 원리를 동일하게 적용한다. 경사 하강법에는 크게 배치 경사 하강법, 확률적 경사 하강법으로 나뉘어진다. 배치 경사 하강법 내가 추정하고자 하는 선형 모델이 위와 같다면, 찾고자 하는 파라미..

2021.04.26