【Evidence Leakage bound】
【证据泄漏上界】
“它不负责告诉我们未知区域里究竟有什么。”江临说，“只负责在当前假设空间、参考分布和置信水平下，给出尚未被见证基覆盖的风险上界。”
它记录四件事。
哪些高风险任务边界已经得到证据单元覆盖。
哪些区域仍然存在覆盖缺口。
哪些分布变化会使原有覆盖证书失效。
什么时候必须重新生成见证基。
传统压缩结果通常只列参数量、速度和平均准确率。
新的审查框架会额外给出一张未覆盖风险清单。
这张清单不漂亮，却能避免把没找到反例误写成安全。
周志华看着白板上的证据泄漏上界。
“可以做泛化界。”
“经验风险一项。”
“模型复杂度一项。”
“剩余风险项负责容纳见证覆盖不足和分布漂移。”
江临看向他。
“数学上可以统一约束，工程证书里必须拆开。”
周志华没有反对，只是问：“理由？”
“覆盖不足需要补样本和扩展证据单元。分布漂移则意味着参考分布已经变化，必须重新构造见证基。两种风险进入同一个上确界没有问题，但处置方法不同。”
周志华点头，在白板上写下两层结构。
【定理层：统一剩余风险项】
【工程证书层：覆盖缺口＋漂移泄漏】
“这样最好。”他说，“证明结构保持清楚，工程人员也不会把两种风险当成同一件事。”
江临在工程证书下面列出四项。
【经验任务风险】
【压缩模型复杂度代价】
【见证基覆盖缺口】
【真实分布漂移泄漏】
下午三点二十七分。
在这个不大的会议室里，两人开始正式向这个全新理论的第一条核心定理发起冲锋。
为了确保推导的严密性，定理的适用范围被克制地压得很小。
固定不变的单一任务目标。
存在有界限制的损失函数。
被限定在一个具有有限覆盖数的特定假设族内。
以及，一个在数学上结构完全已知的降维压缩映射。
最后，还有两个强前提条件。
反例见证基所携带的证据单元，必须覆盖所有高于安全阈值的假设分歧区域。
压缩映射在每个证据单元内，还必须满足已经核验的局部稳定性条件。
在这些先决条件下。
如果一个经过大幅度压缩的模型，保留了所有高风险证据单元的任务区分，而且对应的局部覆盖证书没有失效。
那么，这个压缩模型在真实任务分布上的风险，就可以由经验风险、模型复杂度、见证覆盖缺口与分布漂移泄漏共同约束。
这不是一条能够解决所有模型压缩问题的万能定理。
它甚至没有试图解决开放世界中的无限未知。
它只是脚踏实地，把过去藏在平均准确率后面的高风险信息损失，第一次写进可以计算，可以审查，可以进入风险上界的正式位置。
白板前，江临凭借着对底层逻辑敏锐的直觉，负责强行向前推进证明的主干链条。
而周志华则像一个经验丰富的守门人，在主链的各个关键节点上，不断地用统计学习理论的标准，给那些不够严密的条件加上重重铁锁。
“你在这步推导里，默认了任务允许的安全动作集合和任务损失函数是先验已知的。”周志华指着一处积分公式。
“现实任务通常可以给出这部分约束，比如哪些状态必须停机，哪些状态允许降速运行，以及不同错误动作对应的损失。”
“那也要用数学语言，严谨地写进定理的前提条件里，不能默认。”周志华敲了敲白板。
“好，加上条件。”江临立刻补充了一行公式。
“还有这里，在构造见证基的时候，你引入了最优化算法，见证基规模的最小化，在这条定理里是不是一个必须满足的必要条件？”
“从约束真实风险的角度来看，这条定理不需要见证基有多么最小或者最优。”江临思索了片刻，“它唯一的要求，就是必须完全覆盖那些危险的分歧区域。哪怕这个见证基因为算法不够聪明而显得十分臃肿，只要覆盖率够了，定理的安全性依然成立。”
“既然最小化不是数学上的必要条件，那就别把它写进定理的表述里，增加不必要的证明难度。把它移到工程实现的建议部分。”
“有道理，删掉它。”江临用板擦抹去了一截冗余的描述。
“继续往后看，你定义的这个压缩映射φ，如果它在物理实现上是一个带有随机变量的映射呢？”
“为了保证第一步推导的严密性，我们先限定所有的压缩映射都是确定性的。同样的输入必须有完全相同的输出。”
“这种限定在现实的神经网络里太弱了，局限性太大。”周志华摇头。
“饭要一口一口吃，我们必须先把这第一条关于确定性映射的基础定理完全闭合。确保地基没问题之后，明天再去扩展推导关于随机映射的概率界版本。”
“可以，学术就该这么一步一步来。”周志华同意了这个策略。
讨论进入到了最核心也是最艰难的部分。
如何度量分布漂移项！
“在这个关于分布漂移泄漏项的界定里，关于两个不同数据分布之间的距离度量，你打算采用哪种数学工具？”周志华盯着白板上空着的一个位置问道。
“用最经典的总变差距离？”江临试探性地给出一个选项。
“总变差对支撑错位十分敏感，在高维连续空间中又很难可靠估计。分布只要出现明显的支撑迁移，得到的界就可能迅速变得过于保守。”周志华摇头否决。
“那用wasserstein距离？”
“wasserstein距离需要先给输入空间定义一把有任务意义的底层尺子。可这里同时混有连续传感器量、离散故障类型和紧急动作。随意拼出一个欧氏距离，计算出来的运输代价未必对应真实任务风险。”
“那您觉得，引入哪种度量工具最合适？”
周志华说：“既然我们真正关心的是任务损失，那就直接针对这个损失函数类，定义一个由它诱导出来的积分概率度量。”
江临看向白板上刚刚写下的任务损失函数。
“这个Ip贴合任务本身。”
两个人继续沿着这条路线向前推进。
会议室里的白板很快被数学符号和推导过程填满。
另一边，几名人工智能学院的研究人员也没有闲着。南大提前缓存了三套模型的中间表示和公开数据，江临带来的S-EvidenceGate通用反例搜索框架则提供了现成的候选生成、证据记录与回滚接口。
一名研究员把任务损失矩阵接入搜索框架。
另一名研究员根据白板上的新定义，实现证据单元的覆盖半径与局部稳定性检查。
还有人同步整理证明草稿，记录每一项尚未闭合的条件。
他们不是在几分钟内从零写出一套系统，而是在两套已经存在的工具之间，补上今天刚刚建立的接口。
整个定理的证明逻辑，被清晰地拆解成了层次分明的三层。
第一层，最基础的底座。
利用大数定律和hoeffding不等式，约束模型在公开可见样本上的经验风险。
第二层，核心的覆盖约束。
利用带局部覆盖证书的反例见证基，约束压缩算法在已覆盖的高风险分歧区域内制造任务坍缩的风险。
第三层，向未知区域外推。利用Vc维或者Radecher复杂度项，配合刚刚敲定的Ip布漂移项，将有限样本上的结论外推到真实任务分布。
下午三点五十一分。
江临在白板右下角画下一个黑色实心小方块。
定理的内部主链完成了第一次闭合。
他从第一行假设开始顺着逻辑复查。周志华则从结论往回倒推。
十分钟后，两个人在白板中央停下。
现有推导没有发现直接缺口，关键假设也已经写明。剩余部分仍需要书面整理、独立核验和更一般条件下的扩展。
周志华放下马克笔。
“第一条风险界的内部主链成立了。”
江临在白板最上方写下暂定名称。
【确定性映射下的任务保真压缩风险界】
“理论上是说得通了，但还不够。”江临转过身，看着周志华，“在计算机科学里，只有数学公式是远远不够的，它还需要一次真刀真枪的实验来证明它的工程价值。”
周志华闻言，嘴角微微上扬，露出了一个早有准备的笑容。
“实验环境，我早就替你准备好了。”
他打开自己面前那台一直处于休眠状态的高性能工作站。
随着屏幕亮起，三套架构完全不同，已经被打包编译好的深度压缩模型文件，整齐地排列在操作系统的桌面上。
“我们用一个经典的工业异常分类模型作为基准。”周志华介绍道，“同样的原始高维训练数据集，同样的公开测试集。我们用了三种目前工业界最主流的手段，对这个庞然大物进行了压缩。”
【模型A：采用了目前最激进的结构化剪枝算法】
【模型b：
【证据泄漏上界】
“它不负责告诉我们未知区域里究竟有什么。”江临说，“只负责在当前假设空间、参考分布和置信水平下，给出尚未被见证基覆盖的风险上界。”
它记录四件事。
哪些高风险任务边界已经得到证据单元覆盖。
哪些区域仍然存在覆盖缺口。
哪些分布变化会使原有覆盖证书失效。
什么时候必须重新生成见证基。
传统压缩结果通常只列参数量、速度和平均准确率。
新的审查框架会额外给出一张未覆盖风险清单。
这张清单不漂亮，却能避免把没找到反例误写成安全。
周志华看着白板上的证据泄漏上界。
“可以做泛化界。”
“经验风险一项。”
“模型复杂度一项。”
“剩余风险项负责容纳见证覆盖不足和分布漂移。”
江临看向他。
“数学上可以统一约束，工程证书里必须拆开。”
周志华没有反对，只是问：“理由？”
“覆盖不足需要补样本和扩展证据单元。分布漂移则意味着参考分布已经变化，必须重新构造见证基。两种风险进入同一个上确界没有问题，但处置方法不同。”
周志华点头，在白板上写下两层结构。
【定理层：统一剩余风险项】
【工程证书层：覆盖缺口＋漂移泄漏】
“这样最好。”他说，“证明结构保持清楚，工程人员也不会把两种风险当成同一件事。”
江临在工程证书下面列出四项。
【经验任务风险】
【压缩模型复杂度代价】
【见证基覆盖缺口】
【真实分布漂移泄漏】
下午三点二十七分。
在这个不大的会议室里，两人开始正式向这个全新理论的第一条核心定理发起冲锋。
为了确保推导的严密性，定理的适用范围被克制地压得很小。
固定不变的单一任务目标。
存在有界限制的损失函数。
被限定在一个具有有限覆盖数的特定假设族内。
以及，一个在数学上结构完全已知的降维压缩映射。
最后，还有两个强前提条件。
反例见证基所携带的证据单元，必须覆盖所有高于安全阈值的假设分歧区域。
压缩映射在每个证据单元内，还必须满足已经核验的局部稳定性条件。
在这些先决条件下。
如果一个经过大幅度压缩的模型，保留了所有高风险证据单元的任务区分，而且对应的局部覆盖证书没有失效。
那么，这个压缩模型在真实任务分布上的风险，就可以由经验风险、模型复杂度、见证覆盖缺口与分布漂移泄漏共同约束。
这不是一条能够解决所有模型压缩问题的万能定理。
它甚至没有试图解决开放世界中的无限未知。
它只是脚踏实地，把过去藏在平均准确率后面的高风险信息损失，第一次写进可以计算，可以审查，可以进入风险上界的正式位置。
白板前，江临凭借着对底层逻辑敏锐的直觉，负责强行向前推进证明的主干链条。
而周志华则像一个经验丰富的守门人，在主链的各个关键节点上，不断地用统计学习理论的标准，给那些不够严密的条件加上重重铁锁。
“你在这步推导里，默认了任务允许的安全动作集合和任务损失函数是先验已知的。”周志华指着一处积分公式。
“现实任务通常可以给出这部分约束，比如哪些状态必须停机，哪些状态允许降速运行，以及不同错误动作对应的损失。”
“那也要用数学语言，严谨地写进定理的前提条件里，不能默认。”周志华敲了敲白板。
“好，加上条件。”江临立刻补充了一行公式。
“还有这里，在构造见证基的时候，你引入了最优化算法，见证基规模的最小化，在这条定理里是不是一个必须满足的必要条件？”
“从约束真实风险的角度来看，这条定理不需要见证基有多么最小或者最优。”江临思索了片刻，“它唯一的要求，就是必须完全覆盖那些危险的分歧区域。哪怕这个见证基因为算法不够聪明而显得十分臃肿，只要覆盖率够了，定理的安全性依然成立。”
“既然最小化不是数学上的必要条件，那就别把它写进定理的表述里，增加不必要的证明难度。把它移到工程实现的建议部分。”
“有道理，删掉它。”江临用板擦抹去了一截冗余的描述。
“继续往后看，你定义的这个压缩映射φ，如果它在物理实现上是一个带有随机变量的映射呢？”
“为了保证第一步推导的严密性，我们先限定所有的压缩映射都是确定性的。同样的输入必须有完全相同的输出。”
“这种限定在现实的神经网络里太弱了，局限性太大。”周志华摇头。
“饭要一口一口吃，我们必须先把这第一条关于确定性映射的基础定理完全闭合。确保地基没问题之后，明天再去扩展推导关于随机映射的概率界版本。”
“可以，学术就该这么一步一步来。”周志华同意了这个策略。
讨论进入到了最核心也是最艰难的部分。
如何度量分布漂移项！
“在这个关于分布漂移泄漏项的界定里，关于两个不同数据分布之间的距离度量，你打算采用哪种数学工具？”周志华盯着白板上空着的一个位置问道。
“用最经典的总变差距离？”江临试探性地给出一个选项。
“总变差对支撑错位十分敏感，在高维连续空间中又很难可靠估计。分布只要出现明显的支撑迁移，得到的界就可能迅速变得过于保守。”周志华摇头否决。
“那用wasserstein距离？”
“wasserstein距离需要先给输入空间定义一把有任务意义的底层尺子。可这里同时混有连续传感器量、离散故障类型和紧急动作。随意拼出一个欧氏距离，计算出来的运输代价未必对应真实任务风险。”
“那您觉得，引入哪种度量工具最合适？”
周志华说：“既然我们真正关心的是任务损失，那就直接针对这个损失函数类，定义一个由它诱导出来的积分概率度量。”
江临看向白板上刚刚写下的任务损失函数。
“这个Ip贴合任务本身。”
两个人继续沿着这条路线向前推进。
会议室里的白板很快被数学符号和推导过程填满。
另一边，几名人工智能学院的研究人员也没有闲着。南大提前缓存了三套模型的中间表示和公开数据，江临带来的S-EvidenceGate通用反例搜索框架则提供了现成的候选生成、证据记录与回滚接口。
一名研究员把任务损失矩阵接入搜索框架。
另一名研究员根据白板上的新定义，实现证据单元的覆盖半径与局部稳定性检查。
还有人同步整理证明草稿，记录每一项尚未闭合的条件。
他们不是在几分钟内从零写出一套系统，而是在两套已经存在的工具之间，补上今天刚刚建立的接口。
整个定理的证明逻辑，被清晰地拆解成了层次分明的三层。
第一层，最基础的底座。
利用大数定律和hoeffding不等式，约束模型在公开可见样本上的经验风险。
第二层，核心的覆盖约束。
利用带局部覆盖证书的反例见证基，约束压缩算法在已覆盖的高风险分歧区域内制造任务坍缩的风险。
第三层，向未知区域外推。利用Vc维或者Radecher复杂度项，配合刚刚敲定的Ip布漂移项，将有限样本上的结论外推到真实任务分布。
下午三点五十一分。
江临在白板右下角画下一个黑色实心小方块。
定理的内部主链完成了第一次闭合。
他从第一行假设开始顺着逻辑复查。周志华则从结论往回倒推。
十分钟后，两个人在白板中央停下。
现有推导没有发现直接缺口，关键假设也已经写明。剩余部分仍需要书面整理、独立核验和更一般条件下的扩展。
周志华放下马克笔。
“第一条风险界的内部主链成立了。”
江临在白板最上方写下暂定名称。
【确定性映射下的任务保真压缩风险界】
“理论上是说得通了，但还不够。”江临转过身，看着周志华，“在计算机科学里，只有数学公式是远远不够的，它还需要一次真刀真枪的实验来证明它的工程价值。”
周志华闻言，嘴角微微上扬，露出了一个早有准备的笑容。
“实验环境，我早就替你准备好了。”
他打开自己面前那台一直处于休眠状态的高性能工作站。
随着屏幕亮起，三套架构完全不同，已经被打包编译好的深度压缩模型文件，整齐地排列在操作系统的桌面上。
“我们用一个经典的工业异常分类模型作为基准。”周志华介绍道，“同样的原始高维训练数据集，同样的公开测试集。我们用了三种目前工业界最主流的手段，对这个庞然大物进行了压缩。”
【模型A：采用了目前最激进的结构化剪枝算法】
【模型b：