由随足球外围平台机过程可分性的定义可得;的话

当前位置:足球外围平台 > 足球外围平台 > 由随足球外围平台机过程可分性的定义可得;的话
作者: 足球外围平台|来源: http://www.xmhblc.com|栏目:足球外围平台

文章关键词:足球外围平台,无穷维

  这本书第二章虽然叫Gaussian Processes,但它重点并不是大家都懂的那些什么核什么 posterior 什么预测等等,而是主要放在高斯过程的各种 concentration 上。菜名包括:

  我个人对推 bound 兴趣不如调包大但又觉得如果自己要声称懂机器学习的话不了解 concentration 不等式(里面的名词)好像不太行……正是这种虚荣心给了我动力。这一节先说 Borell–TIS 不等式,后面的随缘。

  可分性向来是我们从可数过渡到不可数的工具。这里先补充一下随机过程可分性的定义,抄:

  (我的理解:随机过程的可分性可以看成某种“几乎”可分性:可分体现在指标集的可分性,“几乎”体现在样本空间的满足的子集上。对于随机过程我们一般也只能做到“几乎”,所以这个定义是合理的)在可分性上,高斯过程的优越性体现在,的可分性在某种意义上等价:如果仿照

  由随机过程可分性的定义可得;的话,本身就含有的信息,所以结论其实也并不令人惊讶;证明是构造性的:设有-稠密子集。对于每一个,我们以每个为中心作一个半径为的小球,并把这些重叠的小球改造成的一个划分;划分中的元素长这样(就是把重叠的部分去掉):

  其中是 0 均值的可分高斯过程,;书中证明了可取为,并提到其实可取到更紧的1。有了前面对 Sub-Gaussian 的了解,我们知道 Borell–TIS 不等式讲的是的 Sub-Gaussianity,并且尾分布的形状由整个过程中的最大方差决定。我们先从有限维出发,为此需要引理

  我们先暂时跳过这个引理的证明,看一下之后的步骤。记并取,那么是 Lipschitz 的,且对几乎所有固定的,(第个元素是,其余为0),从而,这跟分布相同,其中是服从标准正态分布的随机变量,足球外围平台因此由的单调性有。之后就比较套路了,令,然后利用 Markov 不等式:

  (因为,再利用正态分布的 MGF),最后令使得指数上的二次函数取最小值即可。之后就是从有限维过渡到无穷维:自然是先取的一个稠密可数子集,然后令上面的;由、的连续性、以及单调收敛定理即可证明连续的版本。这里面有些小细节,首先我们要假定(由0-1律,即假定),然后在实施上面的步骤前要先证明。足球外围平台的证明。首先引入(神之)变换和,则有

  Borell-TIS 不等式是关于(可分0均值)高斯过程的或者说范数在其均值附近的 concentration 不等式,所以它有时候可以用于证明一些跟范数相关的consistency。在

  Fundamentals of Nonparametric Bayesian Inference

  的 7.2.4 节有如下一般的关于随机过程后验分布的 consistency 结果(搜的,没仔细看证明)

  由BorellTIS不等式,某些高斯过程的后验分布的 consistency 就是定理中的特例(某些=“如果这个作为先验分布的0均值高斯过程样本空间落在的某个可分子空间上的话”;另外注意到,所以这时依然有)。

下一篇:没有了

网友评论

我的2016年度评论盘点
还没有评论,快来抢沙发吧!