课程信息：李宏毅Machine Learning 2017 fall B站链接，李宏毅老师课程主页

参考博客

笔记导航：

李宏毅机器学习笔记（一）

Regression

例子：预测pokemon的CP值

Step 1 : Model

假设为Liner model: $y=b+w\cdot x_{cp}$($w_i$: weight, $b$: bias)

Step 2: Goodness of Function

首先准备好training data。

我们需要使用Loss Function衡量function的效果好坏。

Loss Function $L$:

$$L(f) = \sum_{n=1}^{10}(\hat{y}^n-f(x_{cp}^n))^2$$

Input：a function，output：how bad it is

Step 3：Best Function

Gradient Descent

Overfitting就是model在training data上表现很好，在testing data上表现不好。

应对Overfitting的方法：

1. 收集更多的数据。
2. 以前的模型有一些隐藏的因素没有考虑进去。所以我们需要重新设计一番。

Regularization

使用这个Loss Function找到的最好的function不止可以让$L$最小，同时还要是$w$很小的function。$w$很小的Function意味着Function是smooth（平滑）的。

我们相信在多数的状况下，smoother function更像是正确的function。

$\lambda$设置的大一些，找到的function就会越smooth。

从上图中可以发现，$\lambda$越大，Training Error越大。

我们希望选到smooth function，但是不要too smooth。

调整$\lambda$，获得最好的model

做Regularization 的时候不需要考虑bias，bias不影响function的平滑程度。