白话条件随机场(conditional random field)

阅读原文

在了解条件随机场的时候,一开始被各种各样的定义和公式吓倒,抽象晦涩。查阅了一些资料也任然很困惑。废了很多功夫终于算是明白了一些,希望这篇文章能帮一些人少走一点弯路,哪怕一个也是极好的。自然,这文章也是错误百出的。

CRF 综述

简单而又直白的讲,线性条件随机场,是只考虑 概率图中相邻变量是否满足特征函数 [公式] 的一个模型。
preview

例如在词性标注任务中,两个动词相连我们可以给负分:转移特征函数公式 ; 把 a 标注成不定冠词可以给正分:状态特征 函数[公式] 。 条件随机场的参数化定义为:

[公式]

[公式]

当我们给每个特征函数不同的权重 [公式] ,把转移特征 [公式] ,和状态特征 [公式] 同一写成 [公式] 后,亦可以从条件随机场的简化形式看出条件随机场模型是如何工作的:

[公式]

[公式]

由此,我们可以窥一豹。条件随机场模型在统计语料库中相邻词是否满足特征函数的频数,并依此给出 [公式] 。在给定的 [公式] ,满足的特征函数越多,模型认为 [公式] 越大。

特征函数便是图中的 conditional。

preview

以下是简单的说明,综合概述 Naive Bayes,Logistic Regression, HMM, Linear-chain CRF 之间的关系。

Naive Bayes:

统计训练资料里所有 [公式] 个数得到 [公式] ,统计所有 [公式] 个数得到 [公式] 。所以得到训练数据里 [公式] 的概率,也是先验概率[公式] 。照此方法我们也可以得到成对出现的 [公式]的先验概率 [公式] 。至此可以根据贝叶斯公式 [公式] 得到模型 [公式] 。就可以拿 [公式] 开心做预测啦。

Logistic Regression,:

狭义的多项逻辑回归参数化定义为: [公式]

是不是和 CRF 的定义式有一点像了? [公式]?我们是不是可以把逻辑回归中的 [公式] 看作是特征函数?

当我们把逻辑回归拓展成最大熵模型时,得到‘广义的逻辑回归模型’:

1.统计训练集中的先验 [公式][公式]

2.设计特征函数 [公式][公式][公式] 满足某种关系取 1,不满足取 0。(当然可以取其他值,比如之前举的例子,两个动词一起出现时就取-1)

3.训练数据集上符合特征的期望: [公式] 。这个式子的意思是,假设我们只有一个特征函数 [公式] ,特定的 [公式] 在总数为 10 的训练集上出现过 1 次,且刚好满足着唯一的特征函数,那么训练数据上的 [公式] 为 0.1.

4.若模型学到了 [公式] ,我们便可以认为 [公式] 。至此,我们已经在 Naive Bayes 的基础上融入了特征函数,也就是 conditional。

5.实际上这是满足条件的模型有很多,我们选一个可以让熵最大的模型。经过一系列数学步骤(拉格朗日对偶,求偏导,使偏导数为 0),我们得到最大熵模型 [公式] ,天啊,简直和 CRF 最后的模型一样一样的。

逻辑回归模型(最大熵模型)统计的是训练集中的各种数据满足特征函数的频数(conditional),而贝叶斯模型统计的是训练集中的各种数据的频数。

逻辑回归模型(最大熵模型)统计的是训练集中的各种数据满足特征函数的频数,而 CRF 统计的是训练集中相关数据 (比如说相邻的词,不相邻的词不统计) 满足特征函数的频数。



图 + 比方说明 HMM
preview

白箱里有 2 个红球,8 个蓝球;黑箱里有 7 个红球,3 个蓝球。有放回取球。即白箱的观测概率 [公式] ,黑箱的观测概率 [公式]

设定规则,当我从白箱取球时,下一次继续从白箱取球的概率是 0.4,从黑箱取球的概率是 0.6。当我从黑箱取球时,下一次继续从黑箱取球的概率是 0.7,从白箱取球的概率是 0.3。即白箱的状态转移概率 [公式] , 黑箱的状态转移概率[公式]

从哪个箱子里取球不可观测,只能观测取出球的颜色。HMM 从可观测的球的序列中进行推测。请自行推断 HMM 与 CRF 之间的 conditional 关系。

概率图模型

简单的来说,不向连的变量直接毫之间无关系。

定义(概率无向图模型):设有联合概率分布 [公式] ,由无向图 [公式] 表示。图 [公式] 中,节点表示随机变量,边表示随机变量之间的以来关系。如果联合概率分布满足成对,局部或全局马尔可夫性,就称此联合概率分布为概率无向图模型,或马尔科夫随机场。

概率无向图的因子分解

最大团

定义:无向图 G 中任何两个结点均有边连接的节点子集称为团(clique).若 C 是无向图 G 的一个团,并且不能再加进任何一个 G 的结点使其成为一个更大的团,则称此 C 为最大团(maximal clique).

在无向概率图中,最大的任意两个结点都有相连的边的组团。

Hammersley-Clifford 定理:概率无向图模型的联合概率分布 P(Y)可以表示为如下形式:
[公式]
[公式]
其中,C 是无向图的最大团, [公式] 是 C 的结点对应的随机变量, [公式] 是 C 上定义的严格正函数,乘积是在无向图所有最大团上进行的。

preview
就是可以拆成最大团的概率连乘。

[公式]

[公式]

[公式]

线性条件随机场

条件随机场的定义

模型的参数化形式

[公式]

[公式]

模型的简化表示

转移特征函数 [公式] 和 状态特征函数 [公式] 统一用 [公式] 表示。同时将转移特征的权重 [公式] 与状态特征的权重 [公式] 统一用 [公式] 表示,于是模型可以简写为:

[公式]

[公式]

线性条件随机场的学习算法

可以通过梯度下降,拟牛顿发,改进的迭代尺度发等方法学习模型的参数。

本文有很多出自李航老师的《统计学习方法》,读关于条件随机场的篇章,十分干练精简。只能扣 666。


本文地址:https://www.6aiq.com/article/1585416688557
本文版权归作者和AIQ共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出