Linear Regression

其也叫最小二乘。以2-D的线性回归为例，寻找其垂直方向上的距离和最短，如下图所示

原理

• Hypothesis
  $\hspace{4mm}h_{\boldsymbol{\theta}}(\boldsymbol{x}) = \boldsymbol{\theta^Tx} = \theta_0*x_0 + \theta_1*x_1 + ... + \theta_n*x_n \\ \hspace{8mm}其中:\\ \hspace{12mm}x_0=1，即\theta_0为bias$

• Cost Function
  使用MSE,其是 convex 的 （TODO其loss其实也是通过likehood推导出来的,见bishop）

• Gradient
  $\hspace{4mm}\frac{\partial L}{\partial \theta_i} = (t-h_{\boldsymbol{\theta}}(\boldsymbol{x}))*x_i$

• Solve
  
  1. 可以用Gradient Descent
  2. Normal Equation
     当加入L2 regularization时，其等式变为
     $\theta = (X^TX + \lambda \left( \begin{array}{title} 0 & & & &\\ & 1& &&\\ & & .&&\\ & & &.&\\ & & &&1\\ \end{array} \right) )^{-1} X^TT$
• Miscellaneous
  
  1. 其也可以用来分类，如将目标设为1和0.此时的分界面为$\boldsymbol{\theta^Tx} = 0.5$. ¹

References