← Back to the notebookVEINSURE / WRITING

Mathematics

数学笔记示例:Softmax 的平移不变性

从定义推导 Softmax 的平移不变性与梯度,并用一个小数值例子理解稳定计算。

定义与问题

对向量 z∈Rnz\in\mathbb{R}^n,定义第 ii 个 Softmax 分量:

pi(z)=ezi∑j=1nezjp_i(z)=\frac{e^{z_i}}{\sum_{j=1}^{n}e^{z_j}}

分母严格大于零,各分量非负且总和为 11。一个直接的问题是:给所有分量加上同一个常数,结果会改变吗?

平移不变性

令 cc 为任意有限实数。把定义中的 ziz_i 换成 zi+cz_i+c:

pi(z+c1)=ezi+c∑jezj+c=eceziec∑jezj=pi(z)p_i(z+c\mathbf{1}) =\frac{e^{z_i+c}}{\sum_j e^{z_j+c}} =\frac{e^c e^{z_i}}{e^c\sum_j e^{z_j}} =p_i(z)

共同因子 ece^c 在分子和分母中约掉。这说明 Softmax 依赖各分量的相对差异,而不依赖它们共同的偏移量。

为什么先减最大值

直接计算 exp(1000) 可能超出常用浮点数的表示范围。根据刚得到的恒等式,可以取 c=−max⁡jzjc=-\max_j z_j,先对所有分量做平移。

此时每个指数的输入都不大于零,至少有一项为零。这样可以避免指数上溢,但浮点运算仍然会有舍入误差;特别小的项也可能下溢为零。

from math import exp

def softmax(values):
    if not values:
        raise ValueError("values must not be empty")
    maximum = max(values)
    weights = [exp(value - maximum) for value in values]
    total = sum(weights)
    return [weight / total for weight in weights]

first = softmax([0.0, 1.0, 2.0])
second = softmax([1000.0, 1001.0, 1002.0])
assert all(abs(a - b) < 1e-12 for a, b in zip(first, second))
assert abs(sum(first) - 1.0) < 1e-12
print([round(value, 6) for value in first])

这组输入的结果约为 [0.090031, 0.244728, 0.665241]。断言检查的是这组数值的计算结果,不替代上面的数学证明。

梯度推导

记 S=∑kezkS=\sum_k e^{z_k},利用商法则:

这里的 δij\delta_{ij} 在 i=ji=j 时取 11,否则取 00。

∂pi∂zj=δijeziS−eziezjS2=pi(δij−pj)\frac{\partial p_i}{\partial z_j} =\frac{\delta_{ij}e^{z_i}S-e^{z_i}e^{z_j}}{S^2} =p_i(\delta_{ij}-p_j)

当 i=ji=j 时,结果为 pi(1−pi)p_i(1-p_i);当 i≠ji\ne j 时,结果为 −pipj-p_i p_j。

还可以对固定的 ii 把所有 jj 对应的偏导相加:

∑j∂pi∂zj=pi(1−∑jpj)=0\sum_j\frac{\partial p_i}{\partial z_j} =p_i\left(1-\sum_j p_j\right)=0

它与平移不变性相呼应:沿所有分量同时增加的方向变化,不会改变输出。

从推导回到应用

注意力论文笔记示例中的权重归一化就使用了 Softmax。看懂恒等式后,再把数学性质转换成数值测试:权重总和是否接近 11、平移前后的结果是否接近、空输入是否清楚报错。

先列明定义与假设,再逐步推导,最后做一个可复算的数值检查,就是这篇示例希望展示的写作方式。

END OF NOTEBack to top ↑

Search the notebook

Search published writing. Use ↑ ↓ to select, Enter to open.