선형 회귀를 훈련시킬 수 있는 대표적인 방법 중 하나가 경사 하강법(Gradient Descent)이다. 경사 하강법은 비용 함수를 최소화하는 방향으로 가중치와 편향을 업데이트한다. 이렇게 비용함수를 최소화하는 모델 파라미터의 조합을 찾는 과정을 '모델의 파라미터 공간에서 찾는다'라고 한다. 출처 : arahna.de/gradient-descent/ 미적분의 기본적인 개념으로, 주어진 구간 안에서 f(x)를 미분하여 f'(x) = 0 이 되는 지점의 x에서의 f(x)이 최대값, 최소값이 된다. 경사 하강법도 이와 같은 원리를 동일하게 적용한다. 경사 하강법에는 크게 배치 경사 하강법, 확률적 경사 하강법으로 나뉘어진다. 배치 경사 하강법 내가 추정하고자 하는 선형 모델이 위와 같다면, 찾고자 하는 파라미..

우리는 일상 속에서 '선형 모델'을 쉽게 찾아볼 수 있다. 나이에 따른 성인병 발병확률이나, 소득과 비만율과의 상관지수 등이 그 예가 될 수 있다. 선형 회귀(Linear regression)는 이러한 선형 모델을 분석하기 위한 방법으로, 여러 샘플 입력(X)와 그에 대한 결과값(y)가 주어졌을 때 이 데이터셋(dataset)을 분석하여 해당 데이터가 어떤 양상을 띠는지 선(line)으로서 추정하는 모델이다. X = 2*np.random.randn(50,1) y = 4 + 3*X + np.random.randn(50,1) plt.scatter(X,y) plt.xlabel('X') plt.ylabel('y') plt.show() 1의 mean 값을 가지는 50개의 Gaussian Distribution 난..