# 概率图模型概述

## 概率图模型概念

概率图模型(Probabilistic graphical models)在**概率模型的基础上**, **使用了基于图的方法**来表示概率分布, 是一种通用化的不确定性知识的表示和处理方法.

在概率图模型的表达中, **结点**表示变量, 结点之间直接相连的**边**表示相应变量之间的概率关系.

## 概率图模型分类

概率图模型分为两类:

* **生成式模型**
* **区分式模型**

两者的本质区别在于模型中**观测序列**$$X$$和**状态序列**$$Y$$之间的**决定关系**, 生成式模型状态$$Y$$决定观测$$X$$, 区分式模型观测$$X$$决定状态$$Y$$.

### 生成式模型

* 以状态(**输出**)序列$$Y$$按照一定的规律生成观测(**输入**)序列$$X$$为假设
* 针对**联合分布**$$p(x,y)$$进行建模, 通过估计使观测序列概率$$p(x|\theta)$$最大确定模型
* 模型的特征是事先给定的, 特征之间的关系直接体现在公式中
* 模型可以通过**增量学习**获得, 即新增样本直接训练进行补充, 不用再使用所有数据训练一遍, 弱点在于模型的推导和学习比较复杂

常见的生成式模型有:

* **朴素贝叶斯分类器**
* **HMM**

### 判别式模型

* 认为状态(**输出**)序列$$Y$$由观测(**输入**)序列$$X$$决定, 符合传统的分类模型思想
* 直接对**后验概率**$$p(y|x)$$进行建模
* 从$$X$$中提取特征, 学习模型参数, 使得条件概率符合一定形式的最优
* 特征可以**任意给定**, 一般特征是通过**函数**表示的
* 处理多类问题或分辨某一类与其他类之间的差异时比较灵活
* 有监督学习方法, 模型简单, 容易建立和学习

常见的**判别式模型**有:

* **最大熵模型**
* **条件随机场(CRF)**
* **支持向量机(SVM)**
* **感知机**

## 研究划分

* 概率图模型表示理论
* 概率图模型推理理论
* 概率图模型学习理论