定义与问题
对向量 ,定义第 个 Softmax 分量:
分母严格大于零,各分量非负且总和为 。一个直接的问题是:给所有分量加上同一个常数,结果会改变吗?
平移不变性
令 为任意有限实数。把定义中的 换成 :
共同因子 在分子和分母中约掉。这说明 Softmax 依赖各分量的相对差异,而不依赖它们共同的偏移量。
为什么先减最大值
直接计算 exp(1000) 可能超出常用浮点数的表示范围。根据刚得到的恒等式,可以取 ,先对所有分量做平移。
此时每个指数的输入都不大于零,至少有一项为零。这样可以避免指数上溢,但浮点运算仍然会有舍入误差;特别小的项也可能下溢为零。
from math import exp
def softmax(values):
if not values:
raise ValueError("values must not be empty")
maximum = max(values)
weights = [exp(value - maximum) for value in values]
total = sum(weights)
return [weight / total for weight in weights]
first = softmax([0.0, 1.0, 2.0])
second = softmax([1000.0, 1001.0, 1002.0])
assert all(abs(a - b) < 1e-12 for a, b in zip(first, second))
assert abs(sum(first) - 1.0) < 1e-12
print([round(value, 6) for value in first])
这组输入的结果约为 [0.090031, 0.244728, 0.665241]。断言检查的是这组数值的计算结果,不替代上面的数学证明。
梯度推导
记 ,利用商法则:
这里的 在 时取 ,否则取 。
当 时,结果为 ;当 时,结果为 。
还可以对固定的 把所有 对应的偏导相加:
它与平移不变性相呼应:沿所有分量同时增加的方向变化,不会改变输出。
从推导回到应用
注意力论文笔记示例中的权重归一化就使用了 Softmax。看懂恒等式后,再把数学性质转换成数值测试:权重总和是否接近 、平移前后的结果是否接近、空输入是否清楚报错。
先列明定义与假设,再逐步推导,最后做一个可复算的数值检查,就是这篇示例希望展示的写作方式。