본 게시글은 한빛미디어 『밑바닥부터 시작하는 딥러닝, 사이토 고키, 2020』의 내용을 참조하였음을 밝힙니다. '좋은 가중치'를 찾기 위해서 우리는 손실 함수를 통해 각 가중치의 값을 지속적으로 갱신한다. 저번 장에서는 가중치의 값을 갱신하는 방법을 확률적 경사 하강법(SGD)를 통해 알아보았는데 SGD 이외에도 매개변수(가중치) 갱신에 다양한 방법을 응용할 수 있다. 다양한 매개변수 갱신법에 대해 알아보도록 하자. 확률적 경사 하강법(SGD) 출처 : https://www.geeksforgeeks.org/difference-between-batch-gradient-descent-and-stochastic-gradient-descent/ 확률적 경사 하강법(SGD)는 가장 기본적인 경사 하강법이라 할 수..

확률적 경사 하강법(SGD) 경사 하강법의 두번째 방법은 확률적 경사 하강법(SGD)이다. 배치 경사 하강법의 단점은, 추정한 파라미터를 전체 샘플에 적용하고, 그에 대한 비용함수와 그레디언트를 계산할 때도 전제 샘플을 사용한다는 것이다. 이는 훈련 샘플 크기가 매우 커질 경우, 시간적 비용이 크게 들게 된다. 확률정 경사 하강법(SGD)는 파라미터를 업데이트 매 스텝마다, 하나의 샘플을 무작위로 선택하여 그 하나의 샘플에 대한 비용함수 그레디언트를 계산하고, 파라미터를 업데이트한다. def SGD_gradient_cost_fun(x_b, y, y_hat): random_idx = np.random.randint(len(x_b)) x_i = x_b[random_idx:random_idx+1] y_i = ..