置顶｜本站文章索引
关于我
来着何人，报上姓名。俺是AAA高老庄旺铺招租，是一名三维视觉算法工程师，以前从事SLAM，现在主要从事3dgs重建，神经辐射场，图像和视频的AIGC，目前在自动驾驶领域当牛马，也可以找我交流CSGO和OW（上勾拳！）。
以后会在这边分享一些技术，或者一些杂谈。
联系方式
如果你想要与我交流，可以通过以下方式联系我：
GitHub: https://github.com/chengYi-xun
邮箱: ldq4399@163.com
感谢你的阅读，希望我们可以一起学习和成长！
生成式人工智能
通用理论
笔记｜扩散模型（一）：一些概率论的基础概念和理论
笔记｜扩散模型（二）：生成模型的技术路线总览
笔记｜生成模型（二）：生成模型的技术路线总览
判别模型 vs 生成模型
在人工智能领域，如今深度学习模型大致可分为两类：判别式模型（Discriminative
Models）和生成式模型（Generative Models）。
判别模型:
判别模型关注的是建模条件概率 \(P(y \mid
x)\)，即在给定输入 \(x\)
的条件下预测标签 \(y\)。从信息学角度来看，人类所使用的语言、图像、音频等形式的信息，虽然本质上处于极高维空间中，但它们在该空间中的分布往往集中在结构性很强、低维的流形上。因此，它们在高维空间中呈现出几何稀疏性，换句话说，数据在高维空间中运动、变化，但只活动在某种低自由度的结构中。举个栗子：假设我们用
\(64×64×3=12288\)
维来表示彩色人脸图像，但现实中，人脸受限于：姿态（2～3个自由度），表情（2～5个自由度），光照变化，年龄、性别等特征。尽管图像空间是
1 万多维，人脸变化的真实自由度可能只有几十个维度，所以，所有可能的 RGB
图像中，人脸图像只占据一个非常小的“面团”一样的区域，这个区域是一个低维流形。
很多人对低维流形可能理解的还是不够形象，举一个更抽象的例子就是：想象一只虫子在 ...
笔记｜生成模型（一）：一些概率论的基础概念和理论
概率 vs 似然
概率：已知某种分布和其参数 \(\theta\) 的情况下，某件事情发生的概率。
似然：已知一种分布形态（可能是高斯分布，泊松分布等）和一组观测数据的情况下，不同的参数
\(\theta\)
产生这组观测数据的可能性。
简单来说，概率是已知 \(P(x)\)
的具体形式，求 \(x = x_0\) 时候的值。
而似然是已知 \(P(x)\)
的形态，比如二次函数，一次函数之类的，但是其具体参数未知。假设这里是二次函数
\(P(x) =
ax^2+bx+c\)，同时我们又已知一组观测数据 \(x_1, x_2, x_3, \ldots,
x_n\)，则任意一组参数 \(a, b,
c\) 产生上述观测数据的可能性即为似然。
最大似然（MLE）：假设存在独立同分布的观测数据 \(x_1, x_2, x_3, \ldots,
x_n\)，某个概率分布函数是 \(P_\theta(x)\)，\(\theta\)
为该函数的参数，则这组观测数据的联合概率有如下形式：
\[P_\theta(x_1, \ldots, x_n) = \prod_{i =
1}^N P_\theta( ...