学习笔记

共轭先验（conjugate prior）是贝叶斯统计中的一个重要概念，使得后验分布与先验分布具有相同的函数形式，大大简化了贝叶斯推断的计算。 ...

某些有特殊性质的概率分布族被称为位置参数族（location family）和尺度参数族（scale family），能够简化计算。 ...

考虑到很多常见问题的目标函数都是仿射或二次型形式的，若其为凸函数，梯度为0的点即为最优解。因此，在最小二乘等问题中常要对矩阵求导。 ...

KL 散度（KL Divergence），是衡量两个概率分布之间差异的一种非对称度量。对分布 $P(x)$ 和 $Q(x)$，KL 散度可以被理解为按照 $P(x)$ 或 $Q(x)$ 加权的对数似然比的期望值： ...

Jenson 不等式 对于凸函数 $f$，有如下不等式成立： ...