某些有特殊性质的概率分布族被称为位置参数族（location family）和尺度参数族（scale family），能够简化计算。

1. 位置参数族

1.1 定义

设 $f(x)$ 是一个标准的概率密度函数。位置参数族定义为：

$$f(x|\mu) = f(x - \mu)$$

其中 $\mu$ 称为位置参数（location parameter）。

直观理解：位置参数 $\mu$ 控制分布的中心位置，不改变分布的形状。

1.2 性质

对于位置参数族分布 $X \sim f(x|\mu)$，若 $X_0 \sim f(x)$（标准分布），则：

  • $X = X_0 + \mu$
  • $E[X] = E[X_0] + \mu$
  • $\text{Var}(X) = \text{Var}(X_0)$
  • 密度函数平移：$f(x|\mu) = f_0(x - \mu)$

1.3 常见例子

  1. 正态分布：$N(\mu, \sigma^2)$，其中 $\sigma^2$ 已知

    • 标准形式：$N(0, \sigma^2)$
    • 一般形式：$f(x|\mu) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)$

  2. 均匀分布：$U(\mu, \mu + 1)$

    • 标准形式：$U(0, 1)$
    • 平移后：$f(x|\mu) = \mathbf{1}_{[\mu, \mu+1]}(x)$

  3. 指数分布族的某些形式

2. 尺度参数族

2.1 定义

设 $f(x)$ 是一个标准的概率密度函数。尺度参数族定义为：

$$f(x|\sigma) = \frac{1}{\sigma} f\left(\frac{x}{\sigma}\right)$$

其中 $\sigma > 0$ 称为尺度参数（scale parameter）。

直观理解：尺度参数 $\sigma$ 控制分布的宽度或扩散程度，不改变分布的形状。

2.2 性质

对于尺度参数族分布 $X \sim f(x|\sigma)$，若 $X_0 \sim f(x)$（标准分布），则：

  • $X = \sigma X_0$
  • $E[X] = \sigma E[X_0]$
  • $\text{Var}(X) = \sigma^2 \text{Var}(X_0)$
  • 密度函数缩放：$f(x|\sigma) = \frac{1}{\sigma} f_0(x/\sigma)$

2.3 常见例子

  1. 指数分布：$\text{Exp}(\lambda)$ 或 $\text{Exp}(\beta)$

    • 参数化形式：$f(x|\beta) = \frac{1}{\beta} \exp(-x/\beta)$，$x > 0$
    • 其中 $\beta$ 为尺度参数

  2. 正态分布：$N(0, \sigma^2)$，其中 $\mu = 0$

    • $f(x|\sigma) = \frac{1}{\sigma\sqrt{2\pi}} \exp\left(-\frac{x^2}{2\sigma^2}\right)$

  3. Gamma 分布：$\text{Gamma}(k, \theta)$

    • 形状参数 $k$（无量纲）
    • 尺度参数 $\theta$

  4. Pareto 分布等

3. 位置-尺度参数族

3.1 定义

结合位置参数 $\mu$ 和尺度参数 $\sigma$，可定义位置-尺度参数族：

$$f(x|\mu, \sigma) = \frac{1}{\sigma} f\left(\frac{x-\mu}{\sigma}\right)$$

其中 $\mu \in \mathbb{R}$，$\sigma > 0$。

3.2 常见例子

  1. 正态分布：$N(\mu, \sigma^2)$

    $$f(x|\mu, \sigma) = \frac{1}{\sigma\sqrt{2\pi}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)$$

  2. 均匀分布：$U(\mu, \mu + \sigma)$

  3. Cauchy 分布：$\text{Cauchy}(\mu, \sigma)$

  4. Laplace 分布：$f(x|\mu, \sigma) = \frac{1}{2\sigma}\exp\left(-\frac{|x-\mu|}{\sigma}\right)$

4. 贝叶斯分析

4.1 位置参数的先验

对于位置参数 $\mu$，常用的无信息先验包括：

  • Lebesgue 先验（广义均匀分布）：$\pi(\mu) \propto 1$
  • 法瓦德先验（Jeffreys prior）：$\pi(\mu) \propto 1$

特点：

  • 对所有位置 $\mu$ 给予相同的先验概率
  • 具有位置不变性（location invariance）

4.2 尺度参数的先验

对于尺度参数 $\sigma$，常用的无信息先验包括：

  • Jeffreys 先验：$\pi(\sigma) \propto \frac{1}{\sigma}$
  • 对数-Uniform 先验：$\pi(\log \sigma) \propto 1$，等价于 $\pi(\sigma) \propto \frac{1}{\sigma}$

特点：

  • 对对数尺度是平坦的
  • 具有尺度不变性（scale invariance）

4.3 后验推断

例子：正态分布 $N(\mu, \sigma_0^2)$，$\sigma_0$ 已知

先验：$\pi(\mu) \propto 1$

观测数据：$x_1, \ldots, x_n$

后验分布：

$$\mu | x_1, \ldots, x_n \sim N\left(\bar{x}, \frac{\sigma_0^2}{n}\right)$$

其中 $\bar{x} = \frac{1}{n}\sum_{i=1}^n x_i$ 为样本均值。

5. 数值应用

5.1 可信区间（Credible Interval）

对于位置参数，$(1-\alpha) \times 100\%$ 的可信区间为：

$$\left[\bar{x} - z_{\alpha/2}\frac{\sigma_0}{\sqrt{n}}, \bar{x} + z_{\alpha/2}\frac{\sigma_0}{\sqrt{n}}\right]$$

对于尺度参数，通常需要使用数值方法或 MCMC 进行计算。

5.2 预测分布

对于新观测 $\tilde{x}$，其预测分布为：

$$\tilde{x} | x_1, \ldots, x_n \sim N\left(\bar{x}, \sigma_0^2 + \frac{\sigma_0^2}{n}\right)$$

6. 总结

特性位置参数尺度参数
定义$f(x\|\mu) = f(x-\mu)$$f(x\|\sigma) = \frac{1}{\sigma}f(x/\sigma)$
作用控制分布中心控制分布宽度
无信息先验$\pi(\mu) \propto 1$$\pi(\sigma) \propto 1/\sigma$
不变性位置不变性尺度不变性
常见分布正态分布、均匀分布指数分布、Gamma分布

参考文献

  • Gelman, A., et al. (2013). Bayesian Data Analysis (3rd ed.)
  • Robert, C. P., & Casella, G. (2004). Monte Carlo Statistical Methods
  • Kass, R. E., & Wasserman, L. (1996). The Selection of Prior Distributions by Formal Rules