贝叶斯回归与比特币
『壹』 Spss如何做贝叶斯分析
bayes不建议用spss做，可以用其他专业软件做
除非你是要做bayes判别
『贰』 想问一下做贝叶斯向量自回归（BVAR）用什么统计软件比较好，求推荐，最好是简单易学的！
／， 、
宏 济 ， 前 各 济ｌ 备 所 弄 磊 ｆ 观 篙 是 孟 篙 耋明 达 银 做 １ １ ｆｌ 经 当 Ｉ苏 行 的 性 昙 问 世 国学 篙 储 题 界经 磊 尼 开 的 ｅ Ｉ 创研 究 ， ． Ｔ ‘ ］ Ｉ ］ 家 一 通 做 ， 把 论 析 实１ 作 １６ ，ｔ１ 利 贝 斯 的 种 用 法 它 理 分 和 工 。９ 年Ｌ。ａ 用 叶 时【 ８ ｉｎ ｔ ｒ ｌｌ 际计 据 合 来 运 线 或 线 序 自归 型对 尼 达 的 其 Ｉ 统 数 结 起 ， 用 性 非 间 列 回 模 ， 明 苏 州 国１ 中Ｂｌ
性归析法确经 变之 的 民产 值七 宏指 进 预 ， 数 分方 ，定济量 间 【生总 等个 观 标 行 测 ｝ 回 量 关系， 构建一个由 方程 若干 组成的 １ 得了很好的效果； 贝叶斯方法在 取 此后，
。
Ｉｌ ｉ Ｉ ｌ Ａ
ｌ ｙ ｌ ｚ ｌ ｔ — ｌ ｙ
ＩＩ ；
＋ １ ］
薹，合测：程了应相研果增… ，。 。 蓄 不 预的方得 用关究逐Ｉ １ 构但 于目 立ｌ 泛，的成年． 衄二 ． 适 联 广 分 析 ‘ 二 ． 一 ． ’ 二 Ｉ 因是需要对外生变量本身进行预测。 ｊ 但 从国内外的文献资料来看， Ｉ … ～ ：＝ 一， 、 但是， 关 ： ‘ ：＝ 二 ： ＶＡＲ ＶＡＲ 与 联立方程模型不同， 模型的 Ｉ 于 模 型的贝叶斯推断方法的系统 【 ： 。 ： 一… 一 … ～ ～ “
薯是 期 ； 这 点 模 数 嚣 ，性ｌ… …～ 五 特 中 预 鉴 些 ，耋 的 鬈 布 限 和＿ 一 ∑ 、 短 测 于 优 Ｉ 扩 验 下 制 ｊ…… ～ 别 型 散分 参 先 兰 二 卜 ：
羹． 【 Ｖ的：ＩＵ 域凳对ｌ 性型飘＝ 其观不 制） １， 一Ｒ业．限（叶 Ｉ 主型金１ Ａ贝ＩｌＩ 参融。 模 ｚ１ 要经一斯 Ｐ１ ＝ 是模足论 Ｒ 【，： 。 型之推 然济般 缺也兰一 在数预断 而和 处 Ｙ 。 言商Ａ 点存测非 政太 、 ， 多， 耍 府在领 是， Ｖ Ｖ 宏 其 Ａ 模 Ｒ ｌＴｌ 。 ’ｌ Ｉｌ ｌＩ ｕ ｌ Ｚｌ １ １ Ｔ Ｉ 如 ｙ， 示 １ 模 ４是方模 一 果 的 １ ￣表 ｍ Ｌｎ Ｌｎ 不 令 （，贝Ｉｒ ｙ个般表 ＹＸ ＺＸ ｌ Ｊｎ 的 帕ｖ …ｕ ｊ 型） 多程 ｎｍ ￣ｍ 就 Ｊ 变量在 ｔ ｜ 向量序列 变 阶 为 则该ＶＡ Ｐ模型 ｊ ＮＮ的 性 ｐ型 山 匕叫 面腱 姒 一’ 后 数 Ｐ Ｒ（） 非 ～（ ｝ ！ ｉ ｔ 滞 Ｎ ） 模 １ Ｉ Ｎ￣ ｐ 可丰呆 ． 。 ，
凳平数观一从’Ｉ’，ｊ 观均不测并ｕ
时间序列向量自回归模型的贝叶斯推 断理论
网络文库新客户端 海量文档免费下
1/4
ｎ鍪验 论 数的总个噪阵，２！结 型 也，本×多布辫后关 据有共 向正 ，分 以 一季数ｌ的（一 口 测每到Ｉ均：萎 ． Ｖ度，均系向个 的 Ａ１ 蕃量态， 点２２独 数皇 相 是个如ｍ服， 布 Ｒ资果为，分ｌ ，５个维 矩ｕ竺 ４参１ｍ 即ｔ 竺 模个６白 元） ０料样， ｔＮ 则 参 立 ，相 年 有 ｍ １０ 型 ０ 声 ２１ 且 …莩 是 （ 互 三统济理ｉ中量 ｉ 量‘ 型的：体示第的 素， 中过模论一的 元 ，竺 所计来Ｒ型的ｊ，． 要 。参型法若第第 一 ２ ，三第 矩向列则兰 量减系（ ｉ。； 需数的模１ 行 一 经少ｌ 表 ｉ 二 在种一 第 ｌ 估方 Ｖ模 个 ” 一个种 表 示 的 慧 般 法Ａ ） 传 数方 令 计 是阵 通 一
个方程为
性 Ｖ Ｒ（ ） 型系数 Ｂ的后验分 硒为难 Ａ Ｐ模
拿 堡 墨 譬 奎 差 程 ： 喜 奠 。
斥 条 的 加 往 实 挚 竺ｆ解 变 的 ，也 常 项 所ｉ 一，ｎ１’ 一 （ 性 件 添 往 与 二 据 余 释 量 ｙ ｙ 以 数 及 （ ｐ 际 生 过ｉ Ｊ 成 数 ” ｍ ｗｓ ＋ ６ ， ） 有ｍ 变 的 后 作 其 释 量 ｉ “… 个 量 滞 项 为 解 变 ，” ’ １１ 统计 与决策
ｌ项 为解 变 ； 地 型其ｌ。、ｔ３Ｚ ） Ｉ） 后 作 其 释 量同 ， 中 ，ｘ ，， 一（Ｙ￣ 样模 ｋ，— （Ｔ， ， ．ｌ Ｌ， ｎ Ｍ １ ｓｋ∑ ＺＬ ￣Ｌ Ｉ］ Ｚ 、
一
维普资讯 http://www.cqvip.com
理论 ｛ａ ４ ｝ｏ 年第 １ （ 期 总第 １９期 ） ８
相当复杂 。与非限制性 Ｖ Ｒ（ ） 型系 Ａ ． 模 Ｐ
统相 比较 ， 限制 性 Ｖ Ｒ（ ） 型 的贝叶 Ａ Ｐ模
专 ｅ｛ （ Ｉ ｘ一 ∑ ＋ ｐ争
斯推断要复杂得多 ，在参数 的共轭先验 【 （ ￣Ｉ ｌＳ 【 （ ￣ Ｉ Ｚ ｚ ∑ ３ ｚ［一ｚ ∑ Ｉ ３ ｚ 分布下 难 以解 决参数 的后验分 布问题 ， （ ￣Ｉ 卜Ｙ（ ￣Ｉ ｌ｝ ∑ ３ ｙ ∑ ３ｚ］ Ｓ 即使在扩散先验 分布下 ， 也只能对 Ｂ 或 ∑的条 件 后验 分 布 的有关 结论 有 所 了 解 ， 就 是 下 面 的结 论 ２ 这 。
Ｉ ∑ 专而一ｐ （ ｅ｛ ∑ Ｙｚ ｘ一 一 （ ｐ ∑ ￣Ｉ ｚ ） （Ｌ Ｉ ｚ（ ￣ Ｉ ）（ ３ （ｌ ＋Ｉ Ｓ 【 ∑ Ｓ Ｓ ） Ｊ
结论 ２ 在扩 散 先 验分 布 订（ ： Ｂ， ∑）
］Ｓ Ｉ ｝ Ｉ ） ｌ ｌ ”『限制 性 Ｖ Ｒ （ 模 型 中的 ｚ（—Ｓ】 ∑一 ｌ ｍ ， （。 Ａ． Ｐ）
模型 系数 Ｂ 和协方 差 阵 ∑的后验条 件
分布如下 （ ｙ ）Ｎ ， ∑ ｐｌ ， ～ （
2/4
【 （ ＠ＩＺ ∑；ｚ ｐｚ ３】 ） ∑ ｌ ， 卜Ｉ （ ｎ，此 处 Ｉ ［ ， Ｂ； ｗ Ｗ Ｑ， （ Ｙ ） ｓ ｚ ＝
＝
—
—
ｅｐ 一 １ 【＋Ｉ Ｉ ∑ ｘ ｛ ｓ （—ｓ ｚ（ ｓ ）
ｌ ｌ ∑一 １ （—ｓ】 ０ ｚｐ Ｉ ｝ ） （） １ ０
（ ＠１ｚ Ｔ（ ￣Ｉ ， （— ３ ∑ ｚ ∑～ ｊ Ｑ＝Ｙ ｗＢ ｌ ｙ Ｃ， － －
此 处 Ｓ ｙ （ ￣１ ～ 一 ｚ ）（ ￣ｉ （ ＝ ∑ ０ Ｙ （ｌ ∑ Ｓ Ｊｚ ．
（ ｗＢＪ ＝ ｋ Ｙ— ， ｋ 。
ｐ。很 明显 ， ∑； ｚ的分 布是 均值为 ） （ｌ ｙ ） ｐ ， 证 ：首先对参数 Ｂ 的后验条件分 布 ｐ 协方差阵 为【 （ Ｉ ｚ 的多元正 ， ｚ∑ Ｔ ） 加以证 明。显然 ，８式 是一个单方程线 （） 态分布 ， 即 性模 型 ， 根据贝叶斯定理 ， 扩散先验 分 在 （ ∑； ） ｐｚ Ｊ ］ 布 订Ｂ ∑ ｌ ” 下 ， Ｉ∑） ｝ｐｌ ｙｚ－ ， ∑ （ ） ∑ｌ 参数（， 的 ， Ｎ （ 【 （ ￣Ｉｚ ） ， ｓ （１ １）
为了获得（ ｌ； ｗ） ∑ ｖ， 的条件后 验分 Ｉ ｓ
联 合 后 验分 布 密 度 １ ｐ Ｔ（，∑ ｌ Ｚ ｙ ） ，
布密 度 ， 需要应用 （） ， ９ 式 由该式 易 见参
。｛ ｙＺｌ － Ｉ 数 ｘ一 －Ｉ（ ￣３ ｐ 寺（ ｓ ∑＠ ） ｒ （ ｚ） ｙ ｐ｝ —
（ 在扩 散先验 分 布下 的联合 后 Ｂ ∑） ，
验分布密度 ｃ，
南
下ｐ争 ｅ｛ ｘ一 。ｐ 一 １ ｘ ｛
３（ ∑ ｙｚ ＋Ｓ Ｉ ）
∑Ｖ ） ＩＷ ， 一 Ｂ 一 ３ Ｗ ３ ＷＢ ｝
ＥＰ 争廿 Ｘ｛ 一 （２ １）
由 （ Ｙ， 对 ∑ ０上 进 （ ￣ Ｉ ｚ ） Ｙ （ ￣Ｉ ～ ｌ （ ｌ 据 此 ， 订 Ｂ， ｌ ｗ） ∑在 ∑＞ ∑ ３ （ ｌ 一 ∑ Ｓ ３ ｚＳ ｚ ） 一 Ｓ （ ’ ｔｙ ∑‘ ＿ ¨ ＠Ｉ ）
行积分 ， 出（ Ｙ， 的条 件后验 分布 求 Ｂ Ｉ ｗ） 进而获 得（ ｌ ｗ） ∑ Ｂ； Ｙ， 的分布 密 度 （ Ｉ ｙ ｌ 密度 ， ∑ ＋Ｓ
］ ， 当然 ， 模型 （） ８ 还可 以转化成 如下 另一 有 用的等价形式 Ｙ ＷＢ ＋ ， Ｎ （， Ｉ ＝ ￡￡ ～ ０∑ ３ （ ９ ）
函数仍然具有 （０ 式的形式 ， １） 因此 ， 根据
（ ； ｗ）ｘ ＢＹ 【 （ ￣Ｉ ｚ —∑ Ｚ∑ ３ ｐ ｚ（ ￣Ｉ 】 ｙ（ 逆维希特分布的定义，∑ｌ ， －ｗ ３ Ｙ一 Ｔ∑一【 １Ｑ ｎ （， 成立 。 ） Ｉ 剐｝ ｔ １ ） ｚ
ｊ （ 作者单位／ 南京理工大学， 湖北 省统计局）
≤九 其 中 ， （ Ｙ Ｙ＝
3/4
Ｙ …Ｙ ） ， ＝ ｚ … ｗ （ Ｚ
０ … ０、 …
。
；
ｉ
ｔ ｏ ￡２ … ￡
０
… ｐ Ｊ
显然 ，对参数施加限制条件并不影 响模型参数 的先验分布 的选取 ，但 限制
性条件 的添加将使得参数后验分 布变得
１ ２ 统计与决策
『叁』 如何理解贝叶斯估计
贝叶斯理论
1.贝叶斯法则
机器学习的任务：在给定训练数据D时，确定假设空间H中的最佳假设。
最佳假设：一种方法是把它定义为在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设。贝叶斯理论提供了一种计算假设概率的方法，基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身。
2.先验概率和后验概率
用P(h)表示在没有训练数据前假设h拥有的初始概率。P(h)被称为h的先验概率。先验概率反映了关于h是一正确假设的机会的背景知识如果没有这一先验知识，可以简单地将每一候选假设赋予相同的先验概率。类似地，P(D)表示训练数据D的先验概率，P(D|h)表示假设h成立时D的概率。机器学习中，我们关心的是P(h|D)，即给定D时h的成立的概率，称为h的后验概率。
3.贝叶斯公式
贝叶斯公式提供了从先验概率P(h)、P(D)和P(D|h)计算后验概率P(h|D)的方法
p(h|D)=P(D|H)*P(H)/P(D)
P(h|D)随着P(h)和P(D|h)的增长而增长，随着P(D)的增长而减少，即如果D独立于h时被观察到的可能性越大，那么D对h的支持度越小。
4.极大后验假设
学习器在候选假设集合H中寻找给定数据D时可能性最大的假设h，h被称为极大后验假设（MAP）
确定MAP的方法是用贝叶斯公式计算每个候选假设的后验概率，计算式如下:
h_map=argmax P(h|D)=argmax (P(D|h)*P(h))/P(D)=argmax P(D|h)*p(h) (h属于集合H)
最后一步，去掉了P(D)，因为它是不依赖于h的常量。
5.极大似然假设
在某些情况下，可假定H中每个假设有相同的先验概率，这样式子可以进一步简化，只需考虑P(D|h)来寻找极大可能假设。
h_ml = argmax p(D|h) h属于集合H
P(D|h)常被称为给定h时数据D的似然度，而使P(D|h)最大的假设被称为极大似然假设。
6.举例
一个医疗诊断问题
有两个可选的假设：病人有癌症、病人无癌症
可用数据来自化验结果：正+和负-
有先验知识：在所有人口中，患病率是0.008
对确实有病的患者的化验准确率为98%，对确实无病的患者的化验准确率为97%
总结如下
P(cancer)=0.008, P(cancer)=0.992
P(+|cancer)=0.98, P(-|cancer)=0.02
P(+|cancer)=0.03, P(-|cancer)=0.97
问题：假定有一个新病人，化验结果为正，是否应将病人断定为有癌症？求后验概率P(cancer|+)和P(cancer|+)
因此极大后验假设计算如下:
P(+|cancer)P(cancer)=0.0078
P(+|cancer)P(cancer)=0.0298
hMAP=cancer
确切的后验概率可将上面的结果归一化以使它们的和为1
P(canner|+)=0.0078/(0.0078+0.0298)=0.21
P(cancer|-)=0.79
贝叶斯推理的结果很大程度上依赖于先验概率，另外不是完全接受或拒绝假设，只是在观察到较多的数据后增大或减小了假设的可能性。
『肆』 贝叶斯线性回归为什么能避免过拟合
1. 引入 prior 的回归/分类，或者说 MAP estimator（最大后验估计）不能算是贝叶斯方法。完整的贝叶斯方法并不止步于算出 posterior 的 mode 或者 mean，而是利用整个 posterior 分布对预测过程进行平滑，具体来说就是：
假设 posterior 为 ，其中 D 是数据集，M 是模型， 是模型参数；
假设给定参数后，对于新数据 x 的预测函数为
在课本中 M 通常被忽略，因为通常我们只研究一个模型，但是如果要比较多个不同模型，那么 M 不能忽略。
所谓贝叶斯回归，就是计算一个预测分布（predictive distribution）：
这个预测分布可以这么理解，将不同对应的预测结果组合起来，形成最终的预测结果，而组合的权重就根据的 posterior 的大小，由于是一个连续的随机变量，所以这个“组合”就是一个积分。
再看MAP，它能够降低过拟合，但是不能避免过拟合，因为 MAP 假定参数只会取一个固定的值，而不是一个分布，这是一种过度自信的表现，更具体来说，MAP 将上面的 近似为一个 delta 函数，从而忽略了 的不确定性。（式中 是 posterior 的 mode 点）
2. 再说边缘似然 ，它实际上可以用上面的预测分布连乘来表示：
这个过程可以理解为，我们先计算模型生成 x1 的概率，然后乘以 x1 为训练集时 x2 的预测分布，依次类推。显然，如果一个模型过于复杂，那么预测分布值会较小（因为预测性能不好），那么在连乘后，得到的边缘似然也很小。（这实际上是 MLAPP 上的解释，见公式 5.14），所以边缘似然可以用来做模型选择。
最后，为什么似然函数最大值不能用来做模型选择呢？因为很可能是由于模型的能力过强，导致它能完美拟合的数据集过多（复杂度过高），所以很容易就 fit 训练集了，而边缘似然呢：
它考虑到了参数 的分布，并且将每个不同生成数据集的概率组合起来，和之前一样，这个组合是个积分。你看，如果的可能性很多（模型复杂），但只有一种的似然函数值大，那么最终积分的结果是很小的。只有【的可能性相对较少（简单的模型），其中某些使似然函数较大】的情况下，这个积分才会较大，从而，边缘似然可以来做模型选择。
3. 综上所述，贝叶斯方法本质上就是一个平均，平滑（averaging），这里我们只考虑了单层的贝叶斯模型，实际上，贝叶斯方法在多层的超参数存在时照样十分自然优美，不过是多几重积分而已。通过平均，融合了不同的可能性，使得预测结果更加稳定。其实线性回归并不是贝叶斯方法最常用的地方，而是自然语言处理中的语言模型里的 add-x smoothing（加x平滑），所谓加x平滑实际上是 multinomial 分布加上狄利克雷先验后的预测分布。上述所有内容都总结自 MLAPP 第五章
4. 另外，从以上内容可以看出，贝叶斯方法的核心部件，就是 posterior，而对于复杂模型来说，这个 posterior 是很难算的，于是，机器学习中的拉普拉斯近似，变分法，MCMC 采样等就派上了用场。
作者：dontbeatmycat
『伍』 求教贝叶斯向量自回归
引入 prior 的回归/分类，或者说 MAP estimator（最大后验估计）不能算是贝叶斯方法。完整的贝叶斯方法并不止步于算出 posterior 的 mode 或者 mean，而是利用整个 posterior 分布对预测过程进行平滑，具体来说就是：
假设 posterior 为 ，其中 D 是数据集，M 是模型， 是模型参数；
假设给定参数后，对于新数据 x 的预测函数为
在课本中 M 通常被忽略，因为通常我们只研究一个模型，但是如果要比较多个不同模型，那么 M 不能忽略。
所谓贝叶斯回归，就是计算一个预测分布（predictive distribution）：
这个预测分布可以这么理解，将不同对应的预测结果组合起来，形成最终的预测结果，而组合的权重就根据的 posterior 的大小，由于是一个连续的随机变量，所以这个“组合”就是一个积分。
再看MAP，它能够降低过拟合，但是不能避免过拟合，因为 MAP 假定参数只会取一个固定的值，而不是一个分布，这是一种过度自信的表现，更具体来说，MAP 将上面的 近似为一个 delta 函数，从而忽略了 的不确定性。（式中 是 posterior 的 mode 点）
2. 再说边缘似然 ，它实际上可以用上面的预测分布连乘来表示：
这个过程可以理解为，我们先计算模型生成 x1 的概率，然后乘以 x1 为训练集时 x2 的预测分布，依次类推。显然，如果一个模型过于复杂，那么预测分布值会较小（因为预测性能不好），那么在连乘后，得到的边缘似然也很小。（这实际上是 MLAPP 上的解释，见公式 5.14），所以边缘似然可以用来做模型选择。
最后，为什么似然函数最大值不能用来做模型选择呢？因为很可能是由于模型的能力过强，导致它能完美拟合的数据集过多（复杂度过高），所以很容易就 fit 训练集了，而边缘似然呢：
它考虑到了参数 的分布，并且将每个不同生成数据集的概率组合起来，和之前一样，这个组合是个积分。你看，如果的可能性很多（模型复杂），但只有一种的似然函数值大，那么最终积分的结果是很小的。只有【的可能性相对较少（简单的模型），其中某些使似然函数较大】的情况下，这个积分才会较大，从而，边缘似然可以来做模型选择。
3. 综上所述，贝叶斯方法本质上就是一个平均，平滑（averaging），这里我们只考虑了单层的贝叶斯模型，实际上，贝叶斯方法在多层的超参数存在时照样十分自然优美，不过是多几重积分而已。通过平均，融合了不同的可能性，使得预测结果更加稳定。其实线性回归并不是贝叶斯方法最常用的地方，而是自然语言处理中的语言模型里的 add-x smoothing（加x平滑），所谓加x平滑实际上是 multinomial 分布加上狄利克雷先验后的预测分布。上述所有内容都总结自 MLAPP 第五章
4. 另外，从以上内容可以看出，贝叶斯方法的核心部件，就是 posterior，而对于复杂模型来说，这个 posterior 是很难算的，于是，机器学习中的拉普拉斯近似，变分法，MCMC 采样等就派上了用场。
作者：dontbeatmycat
『陆』 如何通俗地解释贝叶斯线性回归的基本原理
贝叶斯线性回归是在普通线性回归基础上加上了模型参数的先验p(w)，从最大似然估计变成最大后验，没有特别的地方。
『柒』 如何通俗地解释贝叶斯线性回归的基本原理
贝叶斯线性回归就是计量经济学和统计学当中以“残差平方和”为统计量的一次多项式模型拟合问题，这些问题比较具有专业性，一言半语，没有办法解释清楚。
『捌』 天真贝叶斯分类和线形回归的区别
一个是分类一个是回归连可比性都没有。
多项式分布的前提之下朴素贝叶斯可以被写作线性分类器的形式，然而依然不是回归。
『玖』 逻辑回归 和 朴素贝叶斯 两者间的区别
区别如下：
logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。例如，探讨引发疾病的危险因素，并根据危险因素预测疾病发生的概率等。以胃癌病情分析为例，选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群必定具有不同的体征与生活方式等。因此因变量就为是否胃癌，值为“是”或“否”，自变量就可以包括很多了，如年龄、性别、饮食习惯、幽门螺杆菌感染等。自变量既可以是连续的，也可以是分类的。然后通过logistic回归分析，可以得到自变量的权重，从而可以大致了解到底哪些因素是胃癌的危险因素。同时根据该权值可以根据危险因素预测一个人患癌症的可能性。
朴素贝叶斯分类器(Naive Bayes Classifier,或 NBC)发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给NBC模型的正确分类带来了一定影响。
解决这个问题的方法一般是建立一个属性模型，对于不相互独立的属性，把他们单独处理。例如中文文本分类识别的时候，我们可以建立一个字典来处理一些词组。如果发现特定的问题中存在特殊的模式属性，那么就单独处理。