1-3. 경사 하강법(Gradient descent) - 확률적 경사 하강법(SGD), 미니배치 경사 하강법

확률적 경사 하강법(SGD) 경사 하강법의 두번째 방법은 확률적 경사 하강법(SGD)이다. 배치 경사 하강법의 단점은, 추정한 파라미터를 전체 샘플에 적용하고, 그에 대한 비용함수와 그레디언트를 계산할 때도 전제 샘플을 사용한다는 것이다. 이는 훈련 샘플 크기가 매우 커질 경우, 시간적 비용이 크게 들게 된다. 확률정 경사 하강법(SGD)는 파라미터를 업데이트 매 스텝마다, 하나의 샘플을 무작위로 선택하여 그 하나의 샘플에 대한 비용함수 그레디언트를 계산하고, 파라미터를 업데이트한다. def SGD_gradient_cost_fun(x_b, y, y_hat): random_idx = np.random.randint(len(x_b)) x_i = x_b[random_idx:random_idx+1] y_i = ..

2021.04.26