原文链接：http://tecdat.cn/?p=9706

总览

在这里，我们放宽了流行的线性方法的假设。有时线性假设只是一个很差的近似值。有许多方法可以解决此问题，其中一些方法可以通过使用正则化方法降低模型复杂性来  解决  。但是，这些技术仍然使用线性模型，到目前为止只能进行改进。本文本专注于线性模型的扩展

• 多项式回归    这是对数据提供非线性拟合的简单方法。

• 阶跃函数  将变量的范围划分为  K个  不同的区域，以生成定性变量。这具有拟合分段常数函数的效果。

• 回归样条  比多项式和阶跃函数更灵活，并且实际上是两者的扩展。 

• 局部样条曲线  类似于回归样条曲线，但是允许区域重叠，并且可以平滑地重叠。

• 平滑样条曲线  也类似于回归样条曲线，但是它们最小化平滑度惩罚的残差平方和准则 。

• 广义加性模型  允许扩展上述方法以处理多个预测变量。

多项式回归

这是扩展线性模型的最传统方法。随着我们增加 多项式的项，多项式回归使我们能够生成非线性的曲线，同时仍使用最小二乘法估计系数。

逐步回归

它经常用于生物统计学和流行病学中。

回归样条

回归样条是 扩展多项式和逐步回归技术的许多基本函数之一  。事实上。多项式和逐步回归函数只是基  函数的特定情况  。

这是分段三次拟合的示例（左上图）。

为了解决此问题，更好的解决方案是采用约束，使拟合曲线必须连续。

平滑样条线

我们讨论了回归样条曲线，该样条曲线是通过指定一组结，生成一系列基函数，然后使用最小二乘法估计样条系数而创建的。平滑样条曲线是创建样条曲线的另一种方法。让我们回想一下，我们的目标是找到一些非常适合观察到的数据的函数，即最大限度地减少RSS。但是，如果对我们的函数没有任何限制，我们可以通过选择精确内插所有数据的函数来使RSS设为零。

局部回归

局部回归涉及仅使用附近的训练观测值来计算目标点x 0 处的拟合度  。

可以通过各种方式执行局部回归，尤其是在涉及拟合p  线性回归模型的多变量方案中尤为明显  ，因此某些变量可以全局拟合，而某些局部拟合。

广义加性模型

GAM模型提供了一个通用框架，可通过允许每个变量的非线性函数扩展线性模型，同时保持可加性。

具有平滑样条的GAM并不是那么简单，因为不能使用最小二乘。取而代之的 是使用一种称为反向拟合的方法  。

GAM的优缺点

优点

• GAM允许将非线性函数拟合到每个预测变量，以便我们可以自动对标准线性回归会遗漏的非线性关系进行建模。我们不需要对每个变量分别尝试许多不同的转换。

• 非线性拟合可以潜在地对因变量Y做出更准确的预测  。

• 因为模型是可加的，所以我们仍然可以检查每个预测变量对Y的影响，   同时保持其他变量不变。

缺点

• 主要局限性在于该模型仅限于累加模型，因此可能会错过重要的交互作用。

范例

table(cut(age, 4))

1.  
   ## Estimate Std. Error t value Pr(>|t|)
2.  
   ## (Intercept) 94.158 1.476 63.790 0.000e+00
3.  
   ## cut(age, 4)(33.5,49] 24.053 1.829 13.148 1.982e-38
4.  
   ## cut(age, 4)(49,64.5] 23.665 2.068 11.443 1.041e-29
5.  
   ## cut(age, 4)(64.5,80.1] 7.641 4.987 1.532 1.256e-01

GAMs

现在，我们使用GAM通过年份，年龄和受教育程度的样条来预测工资。由于这只是具有多个基本函数的线性回归模型，因此我们仅使用  lm() 函数。

为了拟合更复杂的样条曲线 ，我们需要使用平滑样条曲线。

绘制这两个模型

year 是线性的。我们可以创建一个新模型，然后使用ANOVA检验 。

1.  
    
2.  
   ## Analysis of Variance Table
3.  
   ##
4.  
   ## Model 1: wage ~ ns(age, 5) + education
5.  
   ## Model 2: wage ~ year + s(age, 5) + education
6.  
   ## Model 3: wage ~ s(year, 4) + s(age, 5) + education
7.  
   ## Res.Df RSS Df Sum of Sq F Pr(>F)
8.  
   ## 1 2990 3712881
9.  
   ## 2 2989 3693842 1 19040 15.4 8.9e-05 ***
10.  
    ## 3 2986 3689770 3 4071 1.1 0.35
11.  
    ## ---
12.  
    ## Signif. codes: 0 \'***\' 0.001 \'**\' 0.01 \'*\' 0.05 \'.\' 0.1 \' \' 1

似乎添加线性year 成分要比不添加线性  成分的GAM好得多。 

1.  
    
2.  
   ##
3.  
   ## Deviance Residuals:
4.  
   ## Min 1Q Median 3Q Max
5.  
   ## -119.43 -19.70 -3.33 14.17 213.48
6.  
   ##
7.  
   ## (Dispersion Parameter for gaussian family taken to be 1236)
8.  
   ##
9.  
   ## Null Deviance: 5222086 on 2999 degrees of freedom
10.  
    ## Residual Deviance: 3689770 on 2986 degrees of freedom
11.  
    ## AIC: 29888
12.  
    ##
13.  
    ## Number of Local Scoring Iterations: 2
14.  
    ##
15.  
    ## Anova for Parametric Effects
16.  
    ## Df Sum Sq Mean Sq F value Pr(>F)
17.  
    ## s(year, 4) 1 27162 27162 22 2.9e-06 ***
18.  
    ## s(age, 5) 1 195338 195338 158 < 2e-16 ***
19.  
    ## education 4 1069726 267432 216 < 2e-16 ***
20.  
    ## Residuals 2986 3689770 1236
21.  
    ## ---
22.  
    ## Signif. codes: 0 \'***\' 0.001 \'**\' 0.01 \'*\' 0.05 \'.\' 0.1 \' \' 1
23.  
    ##
24.  
    ## Anova for Nonparametric Effects
25.  
    ## Npar Df Npar F Pr(F)
26.  
    ## (Intercept)
27.  
    ## s(year, 4) 3 1.1 0.35
28.  
    ## s(age, 5) 4 32.4 <2e-16 ***
29.  
    ## education
30.  
    ## ---
31.  
    ## Signif. codes: 0 \'***\' 0.001 \'**\' 0.01 \'*\' 0.05 \'.\' 0.1 \' \' 1

在具有非线性关系的模型中，   我们可以再次确认year 对模型没有贡献。

接下来，我们 将局部回归拟合GAM  。

在调用GAM之前，我们还可以使用局部回归来创建交互项。

我们可以 绘制结果曲面图  。