学术论坛
贝叶斯非参数模型框架构建简介
董平周东做林嘉宇
(国防科学技术大学电子科学与工程学院湖南长沙410073)
热事执本与庆用
摘要:1973年,Fer150n提出用带有无限维度参数空间的参数模型来表示先险的方法,随后通现了大量的构建贝叶斯非参数模型的方法。基于这要不同的模型构建方法，具叶斯非参数过程在回归、聚类、变量选择等同题中得到非常广泛的应用。本文概略的介绍了奥叶斯非参数模型的构建方法。
关键词：贝叶斯非参数参数模型局部观测
中图分类号：TN918.1
文献标识码:A
文章编号:1007-9416(2015)09-0226-0)
aar e paaausa tuap pre poaur soud ap suasudar o aaeds aauerd eopaurp aigu tn ppo aaraed e pasodoud uosnaay 6l upesqv mumber of methods to construct a Bayesian nonparametric model. Based on these different model constriction methods, Bayesian nonparametric process is widely used in regression, clustering, variable selection and so on. This paper introduces the method of Constructing Bayesian
Key Words: Bayesian nonparametri;Nonparametric models;Local observation
贝叶斯模型的基本思想是用数学中的概率论来表示和处理所有形式的模型中的不确定量。这是一个十分简单却异常有效的方法。
只需要掌握两个概率论的定理：求和规则和乘法规则。考患随机变量x和y，他们分别取值于不同的空间X和Y。求和规则意思是：如果知道两个随机变量x和v的联合概率密度，可以通过累加V的所有可能的值得到x的边界概率
如果Y连续则可简单地用积分替换求和，例如如果有伦敦和剑桥的高温的联合概率分布模型则可通过求和伦敦的高温得到在剑桥高温的边际分布。
乘法规则意思是：x和y的联合概率可以分解为x的边界概率和给定x得到的Y条件概率
使用D来表示可观察案到的数据。通常我们称为"数据点"或测量量，但这是不可少的假设。例如，数据可以是单个图像，观察到的图形或有序的测量，而不仅仅是一个集合。我们的模型将索为m，我们可能要考虑多个替代模型。每个模型通常有大量的自由参数，如果需要我们将表示为一个向量)。
首先，我们需要确保模型m定义好，其表示意义为预测或预测数据。正如前面讨论我们用概率论来代表预测模型。对于任何给定的设置的模型参数，模型必须能够产生预测形式
数据的可能性对应函数参数的可能性。可能性，即对于任何给定的参数设置作出当前状态下的预测，但是，模型m并不完全定义，直到我们指定参数值的"范围”
线性回归模型中斜率可表示为一1到+1之间的值，也可以指定斜率为一100到+100之间的值。事实上，若要完全指定的模型，我们需要多一点指定参数的选择范围，我们需要在此范围内定义一个分布。只有那样模型m才能够作出预测。我们使用求和规则和乘法规则来预测模型的概率
参数的先验性，如上文所述(例如,，它可能是[-1,+1])在超过了允许的值的参数分布的形式。没有先验知识我们的模型是不明确的：我们不能生成或预测数据，除非我们知道如何选择其值，一且先验和可能性的预测做出了定义，然后模型m在指定的数据集上，就可以生成可能的数据集。
人们经常反对贝叶斯方法，因为它迫使人们定义先验分布的参数。由此看来，是完全误导性的，对所有模型都做出假设，如果没有假设它几乎不可能作出任何预测或从观测数据的预测。贝叶斯模型框架的第一阶段是利用概率论知识显式声明所有的假设。这样的模型是比较好的，先验知识和可能性是必然要求，事实上，先验和可能
性之间的区别是随机的，两者都是模型的重要组成部分。收稿日期：2015-08-19
人们反对使用先验分布参数，理由是他们不想用"随机"变量作为参数，例如，如果要估算天文数据，该行星的质量的不是"随机” 的。这是对贝叶斯模型语义概率的误解。概率用来代表我们未知数量的不确定性，认为"概率"只是作为模型的不确定性等，如；段子，可重复实验，然而不能用于对一颗行星的质量不确定性的表示。这两种形式的不确定性从根本上是主观的：拂般子的确定性取决于合适的初始条件，同样关于该行星的质量不确定性有取决于观测数据对行星轨道的知识。
最后，经过科学训练的人在数据分析和建模概念方面感到非常不适应。这又是极大地误导：所有模型都涉及到假设，数据分析得出的所有结论都是基于条件般设的概率框架是完全透明的假设，所有的假设都作为分市未知数量。这些假设很容易产生争议。相同的数据可以根据不同模型的假设条件(和先验)重新分析。结论根据的假设可能改变的事实对好的科学实践至关重要。率运的是，给定足够多的数据量，先验性的影响可以得到克服，似然方法和后结论将收敛。这些假设促进了科学的进步，只有合适数据才能生存。贝叶斯模型是主观而不是任意：给定数据完整规范的模型，有且只有一种方式往感兴趣的方向进行。
其建模固而成为一个非常简单的过程：
提出假设(可能的模型、参数、噪声过程等)，代表一切形式的不确定性，使用概率论的语言。
给定数据，使用概率理论，要对模型中任何未知的数量做出推断，或者要从模型做出预测。
这一过程本身很自然地对数据顺序处理，预测一些数据利用事先观察数据。
和与积规则也告诉我们如何做预测模型，考虑一些未知的预测量x(例如下一个数据点)给定观测的数据D和模型m。
预测是从不同的参数值，依据给出的数据，观案每个参数值的后验概率加权预测的平均。对于参数化模型，可以简化自给定参数的预测都是独立的观测数据。正如讨论的参数与非参数模型，如果我们考虑大量的模型，然后根据和与积的规则，我们的预测是模型的加权平均。
概率模型架也提供了直观提供了模型的比较问题。假设竞争概率模型集M，给出了一些观测数据，我们可以评价一个特定的模型 m的后验概率
高阶模型如三次多项式显然比低阶模型的线性多项式更加复杂。基于优化(如最大似然方法或受罚似然方法)的模型拟合程序需要十分小心，对一个相对较小的数据集切勿用数据拟合拟合参数过
.下转第228页
作者简介：董平(1985一)，男，汉族，四川宜宾人，工程颈士，主研方向：图像处理，通信理论， 226