← Back to the notebookVEINSURE / WRITING

Technical Articles

神经网络可视化:看见黑箱内部

从网络结构、训练动态、内部激活和已学习特征四个层次理解神经网络可视化,以及模型可观测性为什么属于 AI 基础设施。

一个“能正常工作”的神经网络,依然可能是个黑箱。但黑箱难以调试、解释和运维,可视化让我们得以观察内部。将它作为工程问题认真对待,而不只是研究中的辅助工具,它也就成为了 AI 基础设施的一部分。

本文介绍四个可视化层次,并给出一个较少见的代码示例:观察真实网络中的激活如何流动。

第一层:网络结构,哪些部分相互连接

训练之前,先看清各层连接和张量形状。最容易的第一步几乎没有成本:

import torchvision.models as models
m = models.resnet18()
print(m)  # 按顺序输出每个模块

网络规模更大时,可以使用专门的图形工具:

  • Netron(pip install netron):在浏览器中打开保存的 .onnx 或 .pt 文件,检查各层的形状与连接。
  • torchviz / Graphviz:调用 make_dot(output) 生成计算图的依赖关系图。
  • Keras plot_model:适合使用 TensorFlow 的项目。

导出为 ONNX 这种通用交换格式是关键一步。它能减少对具体框架的依赖,让 Netron、推理引擎和移动端运行时读取同一份计算图。

torch.onnx.export(m, dummy_input, "model.onnx",
                  input_names=["input"], output_names=["output"])
# 然后运行:netron model.onnx

第二层:训练动态,模型真的在学习吗

这是日常开发中最有用的一类可视化。TensorBoard(torch.utils.tensorboard)可以绘制标量曲线,帮助判断训练是否正常:

  • 损失:通常应逐渐下降;长期停滞可能与学习率或网络结构有关。
  • 准确率及其他指标:是否与损失的变化一致?训练集和验证集表现背离,可能提示过拟合或数据泄漏。
  • 梯度范数:在损失变成 NaN 之前,就可能暴露梯度爆炸。
  • 权重直方图:观察权重分布的变化,并结合激活统计排查失活的 ReLU。
from torch.utils.tensorboard import SummaryWriter
writer = SummaryWriter("runs/experiment_1")
# ……每个训练步骤……
writer.add_scalar("loss/train", loss.item(), step)
writer.add_scalar("grad/norm", total_grad_norm, step)
writer.add_histogram("weights/fc1", model.fc1.weight, step)

成本低、可以量化,还能回答模型开发中最常见的问题:我的修改有效吗?

第三层:内部激活,观察数据如何流动

结构图是静态的,激活则展示了网络处理输入时的状态。注册前向钩子,就能记录任意一层对真实输入产生的输出,相当于“把运行中的网络放到显微镜下”。

def hook_fn(name):
    def hook(module, input, output):
        acts = output.detach()
        print(f"{name}: 形状={tuple(acts.shape)} "
              f"均值={acts.mean():.4f} 标准差={acts.std():.4f}")
    return hook

model = ...
for name, module in model.named_children():
    module.register_forward_hook(hook_fn(name))

model(sample_input)  # 记录各层的激活统计

重点观察什么:

  • 形状异常膨胀:特征的宽度或深度超出预期,可能是广播操作出错。
  • NaN 或恒定激活:某一层异常会影响所有后续计算,钩子能定位问题从哪里开始。
  • 信号消失:如果卷积层输出的标准差不断接近零,就需要检查信号传播与梯度是否正常。

对于卷积网络,特征图本身就是图像,可以选几个通道排列成网格保存:

tv.utils.save_image(acts[0, :16].unsqueeze(1), "conv1_activations.png",
                    normalize=True, nrow=4)

这十六张小图就是第一层的“眼睛”,通常体现为边缘检测器。继续观察后面的层,还能看到更高层的语义逐渐形成,例如眼睛、车轮和猫。

第四层:已学习的特征,模型发现了什么

最后一层关注可解释性:权重中究竟编码了什么知识?

  • Grad-CAM:计算预测类别相对于最后一层卷积特征图的梯度,再将结果叠加到输入图像上,得到模型关注区域的热力图。安装命令为 pip install grad-cam。
  • 嵌入上的 t-SNE / UMAP:将倒数第二层特征投影到二维。如果聚类与类别对应,说明模型形成了较清晰的内部表示。
  • 滤波器可视化:从随机图像出发进行优化,使某个滤波器的激活最大化。第一层通常呈现类似 Gabor 滤波器的边缘,深层则可能形成可辨识的图案。

为什么这属于基础设施

进入生产环境后,模型需要像其他系统组件一样接受监控,这就是模型可观测性:

  • 标准化的导出格式(onnx / mlflow),让部署后的计算图仍可检查;
  • 记录元数据,包括每次推理的形状、数据类型和延迟;
  • 漂移监控:第二层的曲线止于训练阶段,但生产环境中的输入分布会变化。应该像排查内存泄漏一样跟踪嵌入空间的漂移。

这些工具相当于模型世界里的日志、top 和火焰图。无法观察内部的神经网络会增加维护风险,能够可视化的网络才更容易作为软件长期维护。

小结

层次回答的问题工具
网络结构哪些部分相连,张量形状是什么?Netron、ONNX
训练动态学习是否在推进?TensorBoard
内部激活数据在网络内部是什么样子?前向钩子
已学习特征模型发现了什么?Grad-CAM、t-SNE

不妨从前向钩子示例开始,它不需要额外依赖,能帮助你直接认识正在使用的模型。

END OF NOTEBack to top ↑

Search the notebook

Search published writing. Use ↑ ↓ to select, Enter to open.