Linear Regression Hypothesis와 Cost



Training


  • 데이터를 가지고 학습을 시키는 것



Regression (Data)


  • x: 예측을 하기 위한 데이터 (Feature)

  • y: 예측의 대상



(Linear) Hypothesis - Linear Regression


  • 세상에 있는 여러 현상들이 선형적으로 설명되는 경우가 많다.

  • H(x) = Wx + b

  • 가설 = W와 x의 곱 + b

  • W와 b에 따라 선의 형태가 달라진다.


  • 많은 선들 중에서 어떤 선이 가장 좋은 가설이라고 할 수 있을까?



Cost function = Loss function


  • 실제 비교할 때 데이터와 가설이 얼마나 차이나는지 확인하기 위해 각 데이터와 선과의 거리를 계산한다.



How fit the line to training data


  • (H(x) - y)^2

  • 양수, 음수와 상관없이 차이를 양수로 표현해주고, 차이가 클 때 penalty를 많이 주기 때문에 계산이 효율적이다.

  • H(x) - y로도 계산할 수 있지만 양수나 음수 모두 나올 수 있기 때문에 좋은 방식은 아니다.

  • 가장 작은 값을 가지는 W와 b를 구하는 것이 Linear regression의 학습 목표이다. (Minimize cost(W, b))


  • cost(W, b) = 1/m * ∑(i=1, ... , m)(H(x^(i)) - y^(i))^2 (m은 데이터 개수)



강의 출처: https://www.youtube.com/watch?v=Hax03rCn3UI&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5&t=0s

Author

Alec J

Posted on

2020-06-12

Updated on

2021-02-09

Licensed under