笔记｜生成模型（二）：生成模型的技术路线总览
判别模型 vs 生成模型
在人工智能领域，如今深度学习模型大致可分为两类：判别式模型（Discriminative
Models）和生成式模型（Generative Models）。
判别模型:
判别模型关注的是建模条件概率 \(P(y \mid
x)\)，即在给定输入 \(x\)
的条件下预测标签 \(y\)。从信息学角度来看，人类所使用的语言、图像、音频等形式的信息，虽然本质上处于极高维空间中，但它们在该空间中的分布往往集中在结构性很强、低维的流形上。因此，它们在高维空间中呈现出几何稀疏性，换句话说，数据在高维空间中运动、变化，但只活动在某种低自由度的结构中。举个栗子：假设我们用
\(64×64×3=12288\)
维来表示彩色人脸图像，但现实中，人脸受限于：姿态（2～3个自由度），表情（2～5个自由度），光照变化，年龄、性别等特征。尽管图像空间是
1 万多维，人脸变化的真实自由度可能只有几十个维度，所以，所有可能的 RGB
图像中，人脸图像只占据一个非常小的“面团”一样的区域，这个区域是一个低维流形。
很多人对低维流形可能理解的还是不够形象，举一个更抽象的例子就是：想象一只虫子在 ...
笔记｜生成模型（一）：一些概率论的基础概念和理论
概率 vs 似然
概率：已知某种分布和其参数 \(\theta\) 的情况下，某件事情发生的概率。
似然：已知一种分布形态（可能是高斯分布，泊松分布等）和一组观测数据的情况下，不同的参数
\(\theta\)
产生这组观测数据的可能性。
简单来说，概率是已知 \(P(x)\)
的具体形式，求 \(x = x_0\) 时候的值。
而似然是已知 \(P(x)\)
的形态，比如二次函数，一次函数之类的，但是其具体参数未知。假设这里是二次函数
\(P(x) =
ax^2+bx+c\)，同时我们又已知一组观测数据 \(x_1, x_2, x_3, \ldots,
x_n\)，则任意一组参数 \(a, b,
c\) 产生上述观测数据的可能性即为似然。
最大似然（MLE）：假设存在独立同分布的观测数据 \(x_1, x_2, x_3, \ldots,
x_n\)，某个概率分布函数是 \(P_\theta(x)\)，\(\theta\)
为该函数的参数，则这组观测数据的联合概率有如下形式：
\[P_\theta(x_1, \ldots, x_n) = \prod_{i =
1}^N P_\theta( ...