概率与常见分布

概率论是机器学习的第三根支柱（线性代数、微积分、概率论）。贝叶斯公式 P(A|B)=P(B|A)P(A)/P(B) 是垃圾邮件过滤（朴素贝叶斯）、医学诊断、贝叶斯神经网络的数学基础；高斯分布是噪声建模的默认假设——MSE 损失等价于假设数据服从高斯分布的 MLE，VAE 的隐空间先验也是标准正态 N(0,I)；伯努利/二项分布对应二分类的 BCE 损失；多项分布/Categorical 分布对应 Softmax + 交叉熵；多维高斯的协方差矩阵刻画特征间关联，高斯混合模型（GMM）用于聚类和密度估计；KL 散度 D_KL(P‖Q) 衡量两个分布的差异——VAE 的 ELBO 目标函数、知识蒸馏（teacher→student）、RLHF 中的 KL 惩罚项都直接使用 KL 散度。本节系统讲解每种分布的定义、公式、数值计算、参数含义以及它在实际 AI 模型中的具体角色。

一、概率的基本概念

二、离散分布

2.1 伯努利分布 Bernoulli(p)

2.2 分类分布 / 多项式分布 Categorical(p₁,...,pₖ)

2.3 二项分布 Binomial(n, p)

三、连续分布

3.1 均匀分布 Uniform(a, b)

3.2 高斯分布（正态分布）N(μ, σ²) —— AI 中最重要的分布

3.3 多维高斯分布 N(μ, Σ)

3.4 指数分布 Exp(λ)

四、信息论中的分布度量

4.1 KL 散度

五、代码验证（C# / Rust）

C#（.NET 10）

// dotnet run 即可执行
// 工具函数
double Erf(double x)
{
    double sign = x < 0 ? -1 : 1; x = Math.Abs(x);
    double t = 1.0 / (1.0 + 0.3275911 * x);
    return sign * (1.0 - (((((1.061405429*t - 1.453152027)*t)
        + 1.421413741)*t - 0.284496736)*t + 0.254829592)*t * Math.Exp(-x*x));
}
double NormPdf(double x, double mu, double s)
    => Math.Exp(-0.5 * Math.Pow((x-mu)/s, 2)) / (s * Math.Sqrt(2*Math.PI));
double NormCdf(double x, double mu, double s)
    => 0.5 * (1 + Erf((x - mu) / (s * Math.Sqrt(2))));
long Comb(int n, int k) {
    if (k > n-k) k = n-k; long r = 1;
    for (int i = 0; i < k; i++) r = r*(n-i)/(i+1); return r; }
double BinPmf(int k, int n, double p) => Comb(n,k)*Math.Pow(p,k)*Math.Pow(1-p,n-k);

// ===== 贝叶斯公式 =====
double pD = 0.001, pPosD = 0.99, pPosH = 0.05;
double pPos = pPosD*pD + pPosH*(1-pD);
double pDPos = pPosD*pD / pPos;
Console.WriteLine($"P(病|阳性) = {pDPos:F4} = {pDPos*100:F2}%");

// ===== 高斯分布 =====
double mu = 170, sigma = 6;
Console.WriteLine($"\nN({mu},{sigma}²) 在 x=180 的密度: {NormPdf(180,mu,sigma):F4}");
Console.WriteLine($"P(X > 182)         = {1-NormCdf(182,mu,sigma):F4}");
Console.WriteLine($"P(164 < X < 176)   = {NormCdf(176,mu,sigma)-NormCdf(164,mu,sigma):F4}");

// ===== 二项分布 =====
Console.WriteLine($"\nBinomial(n=20, p=0.92):");
Console.WriteLine($"P(X=18)  = {BinPmf(18,20,0.92):F4}");
double pGe = BinPmf(18,20,0.92)+BinPmf(19,20,0.92)+BinPmf(20,20,0.92);
Console.WriteLine($"P(X>=18) = {pGe:F4}");

// ===== 多维高斯 =====
double[] mu2={170,65}; double[,] cov={{36,15},{15,25}}; double[] x2={175,70};
double det = cov[0,0]*cov[1,1]-cov[0,1]*cov[1,0];
double[] d = {x2[0]-mu2[0], x2[1]-mu2[1]};
double mah = (cov[1,1]*d[0]*d[0]-2*cov[0,1]*d[0]*d[1]+cov[0,0]*d[1]*d[1])/det;
Console.WriteLine($"\n二维高斯在 [{x2[0]},{x2[1]}] 的密度: {Math.Exp(-0.5*mah)/(2*Math.PI*Math.Sqrt(det)):F5}");

// ===== KL 散度 =====
double[] P={0.7,0.2,0.1}, Q={0.5,0.3,0.2};
double kl=0; for(int i=0;i<3;i++) kl+=P[i]*Math.Log(P[i]/Q[i]);
Console.WriteLine($"\nKL(P||Q) = {kl:F4}");

// ===== VAE KL 散度 =====
double[] muE={0.5,-0.3}, s2={0.8,1.2};
double klV=0; for(int i=0;i<2;i++){ double lv=Math.Log(s2[i]); klV+=1+lv-muE[i]*muE[i]-s2[i]; }
Console.WriteLine($"VAE KL = {klV*-0.5:F4}");

Rust

use std::f64::consts::PI;

fn erf(x: f64) -> f64 {
    let sign = if x < 0.0 { -1.0 } else { 1.0 };
    let x = x.abs();
    let t = 1.0 / (1.0 + 0.3275911 * x);
    sign * (1.0 - 1.061405429_f64.mul_add(t, -1.453152027)
        .mul_add(t, 1.421413741).mul_add(t, -0.284496736)
        .mul_add(t, 0.254829592) * t * (-x*x).exp())
}
fn norm_pdf(x: f64, mu: f64, s: f64) -> f64 {
    (-0.5 * ((x-mu)/s).powi(2)).exp() / (s * (2.0*PI).sqrt())
}
fn norm_cdf(x: f64, mu: f64, s: f64) -> f64 {
    0.5 * (1.0 + erf((x - mu) / (s * 2.0_f64.sqrt())))
}
fn comb(n: u64, k: u64) -> u64 {
    let k = k.min(n - k);
    (0..k).fold(1_u64, |r, i| r * (n - i) / (i + 1))
}
fn binom_pmf(k: u64, n: u64, p: f64) -> f64 {
    comb(n, k) as f64 * p.powi(k as i32) * (1.0-p).powi((n-k) as i32)
}

fn main() {
    // ===== 贝叶斯公式 =====
    let (p_d, p_pos_d, p_pos_h) = (0.001_f64, 0.99, 0.05);
    let p_pos = p_pos_d.mul_add(p_d, p_pos_h*(1.0-p_d));
    let p_d_pos = p_pos_d*p_d / p_pos;
    println!("P(病|阳性) = {p_d_pos:.4} = {:.2}%", p_d_pos*100.0);

    // ===== 高斯分布 =====
    let (mu, sig) = (170.0_f64, 6.0);
    println!("\nN({mu},{sig}²) 在 x=180 的密度: {:.4}", norm_pdf(180.0, mu, sig));
    println!("P(X > 182)         = {:.4}", 1.0 - norm_cdf(182.0, mu, sig));
    println!("P(164 < X < 176)   = {:.4}",
             norm_cdf(176.0, mu, sig) - norm_cdf(164.0, mu, sig));

    // ===== 二项分布 =====
    println!("\nBinomial(n=20, p=0.92):");
    println!("P(X=18)  = {:.4}", binom_pmf(18, 20, 0.92));
    let p_ge = binom_pmf(18,20,0.92)+binom_pmf(19,20,0.92)+binom_pmf(20,20,0.92);
    println!("P(X>=18) = {p_ge:.4}");

    // ===== 多维高斯 =====
    let (mu2, cov, x2) = ([170.0,65.0_f64],[[36.0,15.0],[15.0,25.0_f64]],[175.0,70.0_f64]);
    let det = cov[0][0]*cov[1][1] - cov[0][1]*cov[1][0];
    let d = [x2[0]-mu2[0], x2[1]-mu2[1]];
    let mah = (cov[1][1]*d[0]*d[0]-2.0*cov[0][1]*d[0]*d[1]+cov[0][0]*d[1]*d[1])/det;
    let p_x2 = (-0.5*mah).exp() / (2.0*PI*det.sqrt());
    println!("\n二维高斯在 [{},{}] 的密度: {p_x2:.5}", x2[0], x2[1]);

    // ===== KL 散度 =====
    let p_arr = [0.7, 0.2, 0.1_f64];
    let q_arr = [0.5, 0.3, 0.2_f64];
    let kl: f64 = (0..3).map(|i| p_arr[i]*(p_arr[i]/q_arr[i]).ln()).sum();
    println!("\nKL(P||Q) = {kl:.4}");

    // ===== VAE KL 散度 =====
    let mu_e = [0.5, -0.3_f64];
    let s2 = [0.8, 1.2_f64];
    let kl_v: f64 = (0..2).map(|i| 1.0+s2[i].ln()-mu_e[i]*mu_e[i]-s2[i]).sum::<f64>() * -0.5;
    println!("VAE KL = {kl_v:.4}");
}