图像模型测试准确率很高，为什么上线后仍会失准：分布变化、校准与失败切片怎么读

团队在公开测试集上得到九成以上准确率，便准备把图像模型接入现场流程。演示时，几张光线充足的样本都被正确识别，界面还给出接近百分之百的置信度。上线一周后，夜间相机、压缩截图和少见类别却频繁触发错误。

这不是简单的“模型突然变坏”。公开测试、现场采样、模型置信度和业务决定属于不同层次。把一个层次的高分直接写成另一个层次的保证，才是判断失真的起点。

平均准确率回答的是一个限定问题

准确率通常用正确预测数除以测试样本总数。这个数字要成立，前提是样本集合、标签规则、类别比例和计算方式已经固定。

若测试集来自同一批设备、同一种拍摄流程，它能比较模型在这些条件下的总体表现。它不能自动回答另一种相机、另一座城市或半年后的输入会怎样。

平均数还会隐藏错误的分布。九成准确率可能是每类都接近九成，也可能是常见类别接近满分、少见类别几乎无法使用。两种模型的平均值相同，实际风险却完全不同。

因此，报告准确率时必须同时写明样本从哪里来、何时取得、怎样标注、各类有多少，以及是否与训练资料独立。缺少这些条件，百分比只有表面精确。

上线数据改变了模型面对的问题

公开数据集往往经过筛选、清理和统一尺寸。现场图片会带入镜头污渍、运动模糊、裁切、压缩、逆光和不同背景，也会出现测试集中没有覆盖的类别组合。

当相机、光线、压缩、类别比例或采样人群改变时，输入分布与条件错误率随之改变；原测试集上的平均数因此不能直接搬到现场。

NIST的人工智能风险管理框架指出，人工智能系统依赖的数据可能随时间显著或意外改变。系统功能和可信度也会受到影响。这个判断把“漂移”从抽象术语变成了运行条件：输入来源在变，原有证据的适用范围也在变。

现场类别比例也会改变结果。若公开测试集各类别数量接近，而业务现场九成图片属于一个常见类别，模型输出和错误成本都会换一种分布。

这类变化不一定意味着模型毫无价值。它意味着团队要重新证明模型在当前条件下适用，而不是引用旧测试集代替证据。

实验室测量与运行风险要分开

NIST明确区分实验室或受控环境的部署前测量与真实运行环境中出现的风险，两者结果可能不同。

受控测试有重要价值。它让版本之间可以重复比较，也能隔离一个因素，避免结果完全被现场噪声淹没。但它只能覆盖被设计进测试的条件。

运行环境包含人员操作、采集设备、网络处理、人工复核和后续行动。模型即使在图片层面答对，流程仍可能把错误对象关联到账号，或让低质量图片绕过复核。

所以，上线前测试应回答“在已知条件下能否达到门槛”；上线后监测则回答“输入和错误是否仍处在那些条件内”。两个问题不能由同一张基准成绩单代替。

置信度不是天然的正确概率

分类模型常给每个类别一个分数。界面把最高分显示为百分比后，人们很容易把它读成现实中的正确概率。

Guo等人发现，现代神经网络可以具有较差校准，即高置信度与实际正确率不一定对齐。

校准关注一组预测的长期对应关系。若很多被报为约八成置信度的样本，实际也约有八成正确，才可说这一段分数较为校准。单张图片无法凭自身分数证明这一关系。

准确率与校准也不是同一个指标。模型A可能整体答对更多，却在错误时过度自信；模型B可能略少答对，但其置信度更接近真实频率。哪一个更适合业务，要看阈值和错误代价。

当系统用置信度决定自动通过、人工复核或拒绝时，校准会直接影响流量分配。过度自信会把本应复核的错误送进自动流程。

温度缩放能做什么，也不能做什么

Guo等人在多个图像和文档分类实验中比较校准方法，发现单参数温度缩放在多数数据集上有效。它用独立验证资料调整输出分数，使置信度与观察到的正确率更接近。

温度缩放可以改善置信度解释，却不会修复错误标签、缺失人群、严重分布漂移或模型本身不会识别的类别。

它也不会把错误预测变成正确预测。若模型把目标分错，重新缩放通常只改变错误的自信程度。分类能力、数据覆盖和概率解释仍要分开评估。

校准集必须接近使用环境，并与训练资料独立。若校准完成后设备或样本来源改变，原关系可能再次失效，需要用新样本重估。

因此，看到“已经校准”时，应追问使用哪段数据、什么时间、哪些设备，以及校准后怎样验证，而不是把方法名称当成永久保证。

常见腐蚀测试提供受控压力

干净测试图无法代表现场退化。Hendrycks与Dietterich提出ImageNet-C，把噪声、模糊、天气和数字处理等常见腐蚀组织成可重复基准。

这类测试能回答：在受控退化强度增加时，模型性能下降多快；两个版本谁对指定腐蚀更稳。它比随手找几张坏图更可比较。

但是，腐蚀基准仍是人为定义的集合。某款相机的色彩处理、当地背景、业务裁切方式或特定人群外观，可能没有被这些变换代表。

所以，ImageNet-C适合作为压力测试层，不是现场验证的替身。团队可先发现明显脆弱点，再用真实采集样本检验风险是否同样存在。

基准成绩也应按腐蚀类型与强度拆开。一个总分可能掩盖模型对模糊稳定、对噪声却快速失效的差异。

连续小变化检查输出稳定性

同一个场景的相邻帧只发生轻微移动，模型输出却不断跳动，会让自动流程产生抖动。单张准确率很难描述这种现象。

论文提出的ImageNet-P用连续小扰动测量输出稳定性。它关注轻微变化下预测是否反复翻转，与常见腐蚀后的总体准确率并不相同。

ImageNet-C检查常见腐蚀下的性能，ImageNet-P检查连续小扰动下的输出稳定性；两者回答的问题不同，也都不等于完整现场验证。

作者还明确把研究范围放在常见腐蚀与扰动，而不是最坏情况对抗攻击。这条限制很重要：通过该基准不能推出模型抵抗所有恶意输入。

现场若重视视频或连续拍摄，可记录类别翻转率、置信度波动和连续拒绝。静态图片业务则可能更关注一次高代价误判。测量应服从使用方式。

失败切片比一个总分更接近风险

切片是按有意义条件拆分样本。例如设备型号、昼夜、室内外、图片压缩程度、类别、地点或采集时间。

切片不是为了不断寻找最差数字，而是检验模型在哪些条件下偏离整体平均。一个夜间切片若错误显著增加，团队便能追查光线、传感器或训练覆盖。

子群切片还应结合样本量。只有几张图片时，百分比波动很大，不能装作稳定结论。可以同时给出样本数、错误数和不确定范围。

切片定义应在查看结果前尽量明确。若测试后随意切出许多组合，只报告最惊人的一个，容易把偶然波动写成规律。

保存独立现场样本，按设备、环境、类别和时间切片，同时比较准确性、校准误差、拒绝率与高代价错误。

阈值要连接错误代价

很多系统不会直接采用最高分标签，而是设置自动通过阈值。阈值越高，自动处理数量通常减少，进入人工复核或拒绝的样本增加。

阈值选择不能只追求准确率最大。漏掉一个高风险目标与把普通图片误报成目标，后果可能完全不同。

可以列出不同阈值下的真阳性、假阳性、假阴性、拒绝率和人工量。业务负责人据此选择能承担的组合，而不是要求模型给出一个神奇百分比。

若类别基率改变，同一阈值下进入人工队列的构成也会变化。上线后需要监测实际错误与队列负荷，不可只保留离线曲线。

对高代价决定，应保留人工复核、申诉或二次测量。人工并不会自动消除偏差，也要记录复核一致性和处理时间。

外部验证要尽量接近真实采集

独立验证资料不应只是从原数据集中随机再切一份。若来源、设备和标注流程完全相同，它主要测量同分布泛化。

更强的外部验证会使用不同时间、地点、设备或机构取得的资料，并保持标签标准清楚。这样才能观察模型面对真实变化时的性能。

外部资料也不能无条件合并。标签定义若改变，结果下降可能来自任务含义不同，而不只是模型退化。团队要先对齐标签和纳入标准。

验证报告应列出缺失范围。没有夜间样本，就不能写成已经验证夜间性能；没有少见类别，也不能把整体成绩扩展到它们。

若现场输入与独立验证集的采样方法、类别比例、设备和处理流程都稳定一致，离线结果更具参考价值；但这种一致性需要证据，不能由模型名称或一次高分推定。

运行期监测要看输入与结果

上线后只能观察到输入和模型输出时，真实标签可能延迟到来。此时可先追踪图片亮度、尺寸、设备比例、类别分数分布和拒绝率是否变化。

等标签取得后，再计算分阶段准确性、校准误差和高代价错误。标签延迟必须写明，否则近期指标会只包含较快回流的案例。

漂移警报不等于模型已经失效。它提示当前数据偏离基线，需要抽样复核或重新验证。反过来，没有触发简单漂移指标，也不能证明语义关系没有改变。

监测窗口要与业务速度相配。每日样本很少的场景不适合用小时百分比做激烈判断，可以扩大时间窗并保留个案复核。

团队还应记录模型版本、预处理版本和阈值。若三者同时改变，结果波动将难以归因。

一个可执行的上线检查表

第一，固定任务定义与标签标准，写清哪些图片不在处理范围内。第二，保存与训练资料独立的现场样本，并记录设备、环境与时间。

第三，报告总体指标，也报告关键切片、样本数与高代价错误。第四，检查置信度校准，不把界面百分比直接当现实概率。

第五，用受控腐蚀与扰动测试发现脆弱点，再用现场样本验证。第六，列出多个阈值下的错误、拒绝率和人工负荷。

第七，定义上线后的抽样、标签回流、漂移监测和暂停条件。若高代价错误超过边界，应停止自动决定，而不是等待平均准确率明显下降。

这些步骤不会消除所有风险。它们的价值是让证据、假设和未知部分可被分别检查。

结论停在当前证据范围

公开测试集的高准确率是有用证据，但只属于指定样本与规则。真实环境改变输入、类别比例和操作方式后，模型面对的是不同问题。

置信度要经过独立资料校准，常见腐蚀和连续扰动要分开测试，关键设备与环境还要切片。部署前外部验证与运行期监测承担不同任务。

不把一次公开基准高分写成所有现场条件的保证，不把置信度当成未经验证的正确概率，也不声称ImageNet-C/P覆盖所有真实世界分布变化。

更可靠的结论应写成条件句：在什么时间、哪些设备、哪类样本与哪个阈值下，模型达到什么表现；哪些范围尚未验证，何时需要人工复核或重新评估。

资料来源

• 美国国家标准与技术研究院：《Artificial Intelligence Risk Management Framework (AI RMF 1.0)》，发布或更新于 2023-01-26
• 机器学习研究论文集：《On Calibration of Modern Neural Networks》，发布或更新于 2017-08-06
• arXiv：《Benchmarking Neural Network Robustness to Common Corruptions and Perturbations》，发布或更新于 2019-03-28

参考资料

• 美国国家标准与技术研究院，《Artificial Intelligence Risk Management Framework (AI RMF 1.0)》，2023年。
• 机器学习研究论文集，Guo等，《On Calibration of Modern Neural Networks》，2017年。
• arXiv，Hendrycks与Dietterich，《Benchmarking Neural Network Robustness to Common Corruptions and Perturbations》，2019年。