§3回归方程及回归系数的显著性检验 回归系数显著性t检验

1、回归方程的显著性检验

(1) 回归平方和与剩余平方和

  建立回归方程以后,回归效果如何呢?因变量与自变量是否确实存在线性关系呢?这是需要进行统计检验才能加以肯定或否定, 为此,我们要进一步研究因变量取值的变化规律。的每次取值是有波动的, 这种波动常称为变差, 每次观测值的变差大小, 常用该次观侧值与次观测值的平均值的差(称为离差)来表示, 而全部次观测值的总变差可由总的离差平方和

    ,

其中:

  称为回归平方和, 是回归值与均值之差的平方和, 它反映了自变量的变化所引起的的波动, 其自由度(为自变量的个数)。

  称为剩余平方和(或称残差平方和),是实测值与回归值之差的平方和, 它是由试验误差及其它因素引起的,其自由度。总的离差平方和的自由度为。

  如果观测值给定,则总的离差平方和是确定的, 即是确定的, 因此大则小, 反之,小则大, 所以与都可用来衡量回归效果, 且回归平方和越大则线性回归效果越显著, 或者说剩余平方和越小回归效果越显著, 如果=0, 则回归超平面过所有观测点; 如果大, 则线性回归效果不好。

(2) 复相关系数

  为检验总的回归效果,人们也常引用无量纲指标

    , (3.1)

    , (3.2)

称为复相关系数。因为回归平方和实际上是反映回归方程中全部自变量的“方差贡献”,因此就是这种贡献在总回归平方和中所占的比例, 因此表示全部自变量与因变量的相关程度。显然。复相关系数越接近1, 回归效果就越好,因此它可以作为检验总的回归效果的一个指标。但应注意,与回归方程中自变量的个数及观测组数有关, 当相对于并不很大时, 常有较大的值, 因此实际计算中应注意与的适当比例, 一般认为应取至少为的5到10倍为宜。

(3)检验

  要检验与是否存在线性关系, 就是要检验假设

    , (3.3)

当假设成立时, 则与无线性关系, 否则认为线性关系显著。检验假设应用统计量

    , (3.4)

这是两个方差之比,它服从自由度为及的分布, 即

    , (3.5)

用此统计量可检验回归的总体效果。如果假设成立, 则当给定检验水平α下, 统计量应有

    ≤, (3.6)

对于给定的置信度α, 由分布表可查得的值, 如果根据统计量算得的值为, 则拒绝假设, 即不能认为全部为O, 即个自变量的总体回归效果是显著的,否则认为回归效果不显著。

  利用检验对回归方程进行显著性检验的方法称为方差分析。上面对回归效果的讨论可归结于一个方差分析表中,如表3.1。

表3.1方差分析表

来源

平方和

自由度

方差

方差比

回归

 

剩余

总计

 

 

  根据与的定义, 可以导出与的以下关系:

    ,

    。

  利用这两个关系式可以解决值多大时回归效果才算是显著的问题。因为对给定的检验水平α,由分布表可查出的临界值, 然后由即可求出的临界值:

    , (3.7)

当时, 则认为回归效果显著。
3.1利用方差分析对例2.1的回归方程进行显著性检验。

  方差分析结果见表3.2。

表3.2

来源

平方和

自由度

方差

方差比

回归

剩余

总计

 

 

取检验水平α=0.05, 查分布表得, 而,所以例2.1的回归方程回归效果是显著的。

 

2、回归系数的显著性检验

  前面讨论了回归方程中全部自变量的总体回归效果,但总体回归效果显著并不说明每个自变量对因变量都是重要的, 即可能有某个自变量对并不起作用或者能被其它的的作用所代替, 因此对这种自变量我们希望从回归方程中剔除,这样可以建立更简单的回归方程。显然某个自变量如果对作用不显著, 则它的系数就应取值为0, 因此检验每个自变量是否显著, 就要检验假设:

    ,, (3.8)

(1)检验:

  在假设下, 可应用检验:

    ,, (3.9)

其中为矩阵的对角线上第个元素。

  对给定的检验水平α, 从分布表中可查出与α对应的临界值, 如果有, 则拒绝假设, 即认为与0有显著差异, 这说明对有重要作用不应剔除; 如果有则接受假设, 即认为成立, 这说明对不起作用, 应予剔除。

(2)检验:

  检验假设, 亦可用服从自由度分别为1与的分布的统计量

    , (3.10)

其中为矩阵的主对角线上第个元素。对于给定的检验水平α, 从分布表中可查得临界, 如果有, 则拒绝假设, 认为对有重要作用。如果, 则接受假设, 即认为自变量对不起重要作用, 可以剔除。一般一次检验只剔除一个自变量,且这个自变量是所有不显著自变量中值最小者, 然后再建立回归方程, 并继续进行检验,直到建立的回归方程及各个自变量均显著为止。

  最后指出,上述对各自变量进行显著性检验采用的两种统计量与实际上是等价的, 因为由(3.9)式及(3.10)式知,有

    (3.11)

例3.2对例2.1的回归方程各系数进行显著性检验。

  经计算:

    ,

于是

    ,

其中=0.002223,=0.004577。由(3.7)式知

    ,

    ,

查分布表得,, 因为,, 所以两个自变量及都是显著的。又由, 说明体长比胸围对体重的影响更大。

  如果应用检验, 查分布表有, 又由

    ,

    ,

因为,, 因此及都是显著的, 均为重要变量, 应保留在回归方程中。

(3) 偏回归平方和

  检验某一自变量是否显著,还可应用偏回归平方和进行检验。

  个自变量的回归平方和为

    ,

如果自个自变量中去掉, 则剩下的个自变量的回归平方和设为, 并设

    ,

则就表示变量在回归平方和中的贡献,称为的偏回归平方和或贡献。可以证明

    , (3.12)

偏回归平方和越大, 说明在回归方程中越重要, 对的作用和影响越大, 或者说对回归方程的贡献越大。因此偏回归平方和也是用来衡量每个自变量在回归方程中作用大小(贡献大小)的一个指标。

  例如在例2.1中,和的偏回归平方和分别为

    ,

    ,

  , 说明在回归方程中的作用比大。

  又如在例2.2中及的偏回归平方和分别为:

    ,

    ,

    ,

    ,

  的值最小, 即在回归方程中所起的作用最小,最大, 说明在回归方程中所起的作用最大。


§3回归方程及回归系数的显著性检验

2009-10-2508:26:09|分类: 默认分类 |标签: |字号大中小订阅

1、回归方程的显著性检验

(1) 回归平方和与剩余平方和

  建立回归方程以后,回归效果如何呢?因变量与自变量是否确实存在线性关系呢?这是需要进行统计检验才能加以肯定或否定, 为此,我们要进一步研究因变量取值的变化规律。的每次取值是有波动的, 这种波动常称为变差, 每次观测值的变差大小, 常用该次观侧值与次观测值的平均值的差(称为离差)来表示, 而全部次观测值的总变差可由总的离差平方和

    ,

其中:

  称为回归平方和, 是回归值与均值之差的平方和, 它反映了自变量的变化所引起的的波动, 其自由度(为自变量的个数)。

  称为剩余平方和(或称残差平方和),是实测值与回归值之差的平方和, 它是由试验误差及其它因素引起的,其自由度。总的离差平方和的自由度为。

  如果观测值给定,则总的离差平方和是确定的, 即是确定的, 因此大则小, 反之,小则大, 所以与都可用来衡量回归效果, 且回归平方和越大则线性回归效果越显著, 或者说剩余平方和越小回归效果越显著, 如果=0, 则回归超平面过所有观测点; 如果大, 则线性回归效果不好。

(2) 复相关系数

  为检验总的回归效果,人们也常引用无量纲指标

    , (3.1)

    , (3.2)

称为复相关系数。因为回归平方和实际上是反映回归方程中全部自变量的“方差贡献”,因此就是这种贡献在总回归平方和中所占的比例, 因此表示全部自变量与因变量的相关程度。显然。复相关系数越接近1, 回归效果就越好,因此它可以作为检验总的回归效果的一个指标。但应注意,与回归方程中自变量的个数及观测组数有关, 当相对于并不很大时, 常有较大的值, 因此实际计算中应注意与的适当比例, 一般认为应取至少为的5到10倍为宜。

(3)检验

  要检验与是否存在线性关系, 就是要检验假设

    , (3.3)

当假设成立时, 则与无线性关系, 否则认为线性关系显著。检验假设应用统计量

    , (3.4)

这是两个方差之比,它服从自由度为及的分布, 即

    , (3.5)

用此统计量可检验回归的总体效果。如果假设成立, 则当给定检验水平α下, 统计量应有

    ≤, (3.6)

对于给定的置信度α, 由分布表可查得的值, 如果根据统计量算得的值为, 则拒绝假设, 即不能认为全部为O, 即个自变量的总体回归效果是显著的,否则认为回归效果不显著。

  利用检验对回归方程进行显著性检验的方法称为方差分析。上面对回归效果的讨论可归结于一个方差分析表中,如表3.1。

表3.1方差分析表

来源

平方和

自由度

方差

方差比

回归

 

剩余

总计

 

 

  根据与的定义, 可以导出与的以下关系:

    ,

    。

  利用这两个关系式可以解决值多大时回归效果才算是显著的问题。因为对给定的检验水平α,由分布表可查出的临界值, 然后由即可求出的临界值:

    , (3.7)

当时, 则认为回归效果显著。
3.1利用方差分析对例2.1的回归方程进行显著性检验。

  方差分析结果见表3.2。

表3.2

来源

平方和

自由度

方差

方差比

回归

剩余

总计

 

 

取检验水平α=0.05, 查分布表得, 而,所以例2.1的回归方程回归效果是显著的。

 

2、回归系数的显著性检验

  前面讨论了回归方程中全部自变量的总体回归效果,但总体回归效果显著并不说明每个自变量对因变量都是重要的, 即可能有某个自变量对并不起作用或者能被其它的的作用所代替, 因此对这种自变量我们希望从回归方程中剔除,这样可以建立更简单的回归方程。显然某个自变量如果对作用不显著, 则它的系数就应取值为0, 因此检验每个自变量是否显著, 就要检验假设:

    ,, (3.8)

(1)检验:

  在假设下, 可应用检验:

    ,, (3.9)

其中为矩阵的对角线上第个元素。

  对给定的检验水平α, 从分布表中可查出与α对应的临界值, 如果有, 则拒绝假设, 即认为与0有显著差异, 这说明对有重要作用不应剔除; 如果有则接受假设, 即认为成立, 这说明对不起作用, 应予剔除。

(2)检验:

  检验假设, 亦可用服从自由度分别为1与的分布的统计量

    , (3.10)

其中为矩阵的主对角线上第个元素。对于给定的检验水平α, 从分布表中可查得临界, 如果有, 则拒绝假设, 认为对有重要作用。如果, 则接受假设, 即认为自变量对不起重要作用, 可以剔除。一般一次检验只剔除一个自变量,且这个自变量是所有不显著自变量中值最小者, 然后再建立回归方程, 并继续进行检验,直到建立的回归方程及各个自变量均显著为止。

  最后指出,上述对各自变量进行显著性检验采用的两种统计量与实际上是等价的, 因为由(3.9)式及(3.10)式知,有

    (3.11)

例3.2对例2.1的回归方程各系数进行显著性检验。

  经计算:

    ,

于是

    ,

其中=0.002223,=0.004577。由(3.7)式知

    ,

    ,

查分布表得,, 因为,, 所以两个自变量及都是显著的。又由, 说明体长比胸围对体重的影响更大。

  如果应用检验, 查分布表有, 又由

    ,

    ,

因为,, 因此及都是显著的, 均为重要变量, 应保留在回归方程中。

(3) 偏回归平方和

  检验某一自变量是否显著,还可应用偏回归平方和进行检验。

  个自变量的回归平方和为

    ,

如果自个自变量中去掉, 则剩下的个自变量的回归平方和设为, 并设

    ,

则就表示变量在回归平方和中的贡献,称为的偏回归平方和或贡献。可以证明

    , (3.12)

偏回归平方和越大, 说明在回归方程中越重要, 对的作用和影响越大, 或者说对回归方程的贡献越大。因此偏回归平方和也是用来衡量每个自变量在回归方程中作用大小(贡献大小)的一个指标。

  例如在例2.1中,和的偏回归平方和分别为

    ,

    ,

  , 说明在回归方程中的作用比大。

  又如在例2.2中及的偏回归平方和分别为:

    ,

    ,

    ,

    ,

  的值最小, 即在回归方程中所起的作用最小,最大, 说明在回归方程中所起的作用最大。


§3回归方程及回归系数的显著性检验 回归系数显著性t检验

  

爱华网本文地址 » http://www.413yy.cn/a/25101011/70673.html

更多阅读

淋浴房设计技巧及应该注意的事项 淋浴房装修注意事项

摘要:现代家庭对卫浴设施的要求越来越高,人们对卫浴文化的追求也越来越强烈,在卫生间里设计简约实用的淋浴房,已成为一种时尚。但由于居室卫生空间有限,只能把洗浴设施与卫生洁具置于一室。而淋浴房则充分利用室内一角,用围栏将淋浴范围

CD抓轨生成无损音频文件及CUE文件的方法 cd无损抓轨

使用ExactAudioCopy抓轨CD生成无损音频文件+CUE文件教程,音频发烧友必看。CD抓轨生成无损音频文件及CUE文件的方法——工具/原料有光驱的电脑、音乐CD光盘、ExactAudioCopy软件CD抓轨生成无损音频文件及CUE文件的方法——步骤/方法CD

体癣图片及症状 梅毒的早期症状图片

体癣图片及症状——简介体癣好发于躯干、四肢。青壮年男性更多见,夏季多发。面积也不会太大。体癣图片及症状——体癣的诊断1、随着病程的延长,其损害会逐渐向四周扩散。2、应加强皮肤

声明:《§3回归方程及回归系数的显著性检验 回归系数显著性t检验》为网友白开水旳滋味分享!如侵犯到您的合法权益请联系我们删除