贝叶斯估计是贝叶斯学派估计未知参数的主要方法，与频率学派相比，贝叶斯学派最主要的观点就是未知量是一个随机变量，在进行抽样分布之前，未知量有自己的分布函数，即所谓的先验分布。而贝叶斯估计也就是通过引入未知量的先验分布来将先验信息和传统频率学派的总体信息和样本信息结合起来，得到一个未知量的后验分布，然后对未知量进行统计推断。

关于未知量是否可看作随机变量 在经典学派与贝叶斯学派 间争论了很长时间，后来这一观点渐渐被经典学派认同。如今两派的争论焦点已经变成了如何利用各种先验信息来合理地确定先验分布。

贝叶斯估计的基本思想

对于未知参数θ\theta，假设其分布(先验分布)为π(θ)\pi(\theta)。

总体分布以及样本分布都依赖于先验分布，因而将先验信息加入后的样本XX与θ\theta的联合分布变成了:

h(X,θ)=p(X∣θ)π(θ)h(\boldsymbol{X}, \boldsymbol{\theta})=p(\boldsymbol{X} \mid \boldsymbol{\theta}) \pi(\theta)

基于总体和样本信息，对未知参数的分布做出推断（后验分布）：

π(θ∣X)=h(X,θ)m(X)=p(X∣θ)π(θ)∫θp(X∣θ)π(θ)dθ\pi(\theta \mid \boldsymbol{X})=\frac{h(\boldsymbol{X}, \theta)}{m(\boldsymbol{X})}=\frac{p(\boldsymbol{X} \mid \theta) \pi(\theta)}{\int_{\boldsymbol{\theta}} p(\boldsymbol{X} \mid \theta) \pi(\theta) \mathrm{d} \theta}

其中m(X)m(\boldsymbol{X})是XX的边际概率密度函数，后验分布可以看成是结合总体和样本信息对先验分布进行调整的结果，该结果比先验分布更接近未知量的实际分布。

贝叶斯估计

基于后验分布，对位置参数θ\theta进行估计，有三种方法：

  • 使用后验分布的密度函数最大值点作为θ\theta的点估计的最大后验估计。
  • 使用后验分布的中位数作为θ\theta的点估计的后验中位数估计。
  • 使用后验分布的均值作为θ\theta的点估计的后验期望估计。

用得最多的是后验期望估计，它一般也简称为贝叶斯估计，记为θg^\hat{\theta_g}