• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    迪恩网络公众号

R语言中的block Gibbs吉布斯采样贝叶斯多元线性回归

原作者: [db:作者] 来自: [db:来源] 收藏 邀请

在这篇文章中,我将对多元线性回归做同样的事情。我将得出阻塞的Gibbs采样器所需的条件后验分布。 

 一个贝叶斯模型

假设我们有一个样本大小的科目。我们观察结果向量。贝叶斯多元回归假设该向量是从多元正态分布中得出的,其中均值向量是和协方差矩阵。这里是观察到的协变量矩阵。注意,该矩阵的第一列是标识。参数矢量的,   是一种常见的方差参数,是单位矩阵。通过使用单位矩阵,我们假设独立观察。从形式上看,

到目前为止,这与频率设置中看到的多元正态回归相同。假设是完整列排名,最大化可能性产生解决方案:

通过为和指定先验分布来获得贝叶斯模型。对于这个例子,我将使用平坦的,不正确的先验  和反伽马先验:

我们假设超级参数是简单的。

联合后验分布

关节后验分布与...成正比

我们可以这样写,因为我们假设事先独立。那是,

替换分布,

block吉布斯采样器

在对采样器进行编码之前,我们需要导出Gibbs采样器的组件 - 每个参数的后验条件分布。

条件后验是通过降低因子而不是从关节后部和重新排列来找到的。这种情况很容易,因为没有什么可以放弃的:

条件后验需要更多的线性代数。

这是一个非常漂亮和直观的结果。因为我们在参数向量上使用平坦先验,所以参数向量的条件后验以最大似然估计为中心  。条件后验的协方差矩阵是协方差矩阵的频率估计,

还要注意,条件后验是一个多变量分布,因为它是一个向量。因此,在Gibbs采样器的每次迭代中,我们从后部绘制整个矢量或“块”。这比从每个参数的条件分布中绘制条件分布一样,一次一个,效率要高得多。这就是程序被称为“阻塞”采样器的原因。

模拟

 我模拟了一个 结果向量。这单位矩阵,是一个模型矩阵。真正的参数向量

运行阻塞的Gibbs采样器(block_gibbs()函数)会生成真实系数和方差参数的估计值。运行了500,000次迭代。老化期为100,000,修剪10次迭代。

下面是MCMC链的图,其中真实值用红线表示。

以下是应用老化和修剪后参数的后验分布:

似乎我们能够对这些参数进行合理的后验估计。分布并不完全以事实为中心,因为我们的数据集只是事实的一个实现。为了确保贝叶斯估计器正常工作,我重复这个练习1000个模拟数据集。

这将产生1,000套后验平均值和1,000套95%可信区间。平均而言,这1000个后方手段应以真相为中心。平均而言,真实参数值应该在95%的时间内在可信区间内。

以下是这些评估的摘要。

“Estimator Means”列是所有1,000个模拟的平均后验平均值。非常好。百分比偏差均小于5%。所有参数的95%CI覆盖率约为95%。

 

扩展

我们可以对此模型进行许多扩展。例如,可以使用除Normal之外的其他分布以适应不同类型的结果。例如,如果我们有二进制数据,我们可以将其建模为:

然后预先分配。这个想法将贝叶斯线性回归推广到贝叶斯GLM。

在本文中概述的线性情况下,可以更灵活地对协方差矩阵进行建模。相反,假设协方差矩阵是具有单个共同方差的对角线。这是多元线性回归中的同方差性假设。如果数据是聚类的(例如,每个受试者多次观察),我们可以使用逆Wishart分布来模拟整个协方差矩阵。

非常感谢您阅读本文,有任何问题请在下面留言!

 


鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
热门推荐
热门话题
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap