训练与推理框架高频术语速查：30个关键概念一次说清

训练框架和推理框架里术语扎堆，刚入门的开发者经常被搞晕。这篇帮你把高频名词拆开揉碎讲明白。

框架选型：TensorFlow、PyTorch、ONNX 与更多

主流训练框架

• PyTorch：动态图设计让调试更直观，研究圈使用率较高。其 torch.nn 模块封装了常见网络层，torch.optim 提供多种优化器。2026年生态已完全成熟，社区贡献大量预训练模型。
• TensorFlow：静态图（tf.function）可加速执行，生产部署工具链较完善。Keras 作为高层 API 降低了入门门槛。两者在大型企业场景中仍有稳固地位。
• JAX：强调函数式编程和自动微分，通过 XLA 编译到 GPU/TPU。适合需要高性能数值计算的团队，但学习曲线较陡。

中间表示与交换格式

• ONNX：开放神经网络交换格式，让模型在不同框架间迁移。例如 PyTorch 训练后导出 ONNX，再导入 TensorRT 做推理加速。需要注意算子兼容性，部分自定义层需要手动适配。
• TorchScript：PyTorch 的静态图子集，通过追踪或脚本编译得到。适合生产推理，但并非所有动态控制流都能被正确序列化。
• IR（中间表示）：框架内部的计算图表示，如 MLIR、HLO。了解 IR 有助于排查性能瓶颈，但日常开发者只需知道“它负责把高层操作映射到底层指令”。

推理引擎

• TensorRT：NVIDIA 专为 GPU 设计的推理优化器，支持层融合、精度校准、动态张量。典型用法是读取 ONNX 模型并生成 TensorRT 引擎，推理速度可提升数倍。
• OpenVINO：Intel 的推理套件，针对 CPU、集成显卡、VPU 做了调度优化。适合边缘设备，2026年版本已支持部分 Transformer 结构。
• ONNX Runtime：跨平台推理库，支持多种硬件后端。优势在于标准化接口，一次导出多处运行。

训练加速：从分布式到精度策略

分布式训练

• 数据并行：将 batch 切分到多卡，各卡独立前向/反向，同步梯度。常用 AllReduce 算法（如 Ring AllReduce）收集梯度。通信开销是主要瓶颈，可用梯度压缩或异步更新缓解。
• 模型并行：将网络层拆分到不同设备，适合单卡放不下的大模型。张量并行（如 Megatron-LM）将单个算子拆分，流水线并行（如 GPipe）按层分段。2026年混合并行方案已是训练千亿参数的标准配置。
• FSDP（完全分片数据并行）：ZeRO 策略的 PyTorch 实现，把优化器状态、梯度、参数分片到各卡。内存占用大幅降低，但通信量比数据并行更高。

精度与内存优化

• 混合精度训练：用 FP16 计算梯度，FP32 维护权重。NVIDIA AMP 自动选择精度，可让训练速度翻倍且几乎不损失精度。但需注意梯度溢出，常用动态损失缩放。
• 梯度累积：多步前向后累积梯度再更新参数，等效于增大 batch size。用于显存不足时，但需调整学习率策略。
• 激活检查点（Gradient Checkpointing）：前向时丢弃中间激活，反向时重新计算。以计算换内存，适合长序列或大 batch 场景。

推理部署：量化、剪枝与轻量化

模型压缩

• 量化：将 FP32 权重映射到 INT8 甚至 INT4，推理速度提升，精度轻微下降。后训练量化（PTQ）无需重新训练，量化感知训练（QAT）保留更高精度。2026年大模型中 INT4 量化已经成为移动端标配。
• 剪枝：移除冗余权重或神经元。结构化剪枝（去整个通道）直接加速，非结构化剪枝保留稀疏格式但需专用硬件。
• 知识蒸馏：用大模型（教师）指导小模型（学生）学习。学生模型可以更小更快，通常部署在资源受限设备。

推理优化技巧

• 算子融合：将多个连续的小算子合并成一个大算子，减少内存读写。如 Conv+BN+ReLU 合并成单算子。
• 动态形状：推理时输入尺寸可变，需框架支持动态 batching 或动态张量。TensorRT 的优化配置文件可指定范围。
• 批处理推理：合并多个请求为一批，利用 GPU 并行性。但需控制较大延迟，常用动态 batching 排队。

关键概念辨析

• 冷启动 vs 热推理：模型加载并编译（冷启动）耗时较长，后续推理（热推理）速度快。服务化框架通常会预热引擎。
• 吞吐量与延迟：吞吐量是每秒处理请求数，延迟是单个请求响应时间。两者常需权衡，例如增加 batch 提升吞吐但可能增加延迟。
• 内存带宽 vs 计算能力：推理瓶颈通常在访存带宽，而非计算。因此减少模型大小（量化）比增加算力更有效。

常见问题