把黑盒模型部署到现实世界去运转的人,必须先坐下来,把自己领域里那些不能混淆的界限,明明白白地说出来。
孙教授一直安静地站在白板前,手里还捏着那支马克笔。
他没有理会那通决定工业项目停摆的电话。
目光正沿着那条写满公式的任务风险上界,从最左边的经验风险项,一路缓缓扫过见证基覆盖缺口,最后落在最右端的分布漂移泄漏上。
“周教授,江临。”孙教授突然转过身,抛出了一个更大的问题,“这个审查框架,如果仅仅只把它局限在神经网络的模型压缩这一个领域里,应用范围是不是太窄了?”
周志华停下手里整理草稿的动作,抬起头问:“你想把它放到哪里?”
“凡是存在有损表示的地方,都可能遇到一模一样的问题。”
孙教授转过身,拿起笔,在白板边缘的空白角落,快速写下几组名词。
【高维数据降维】
【形式化证明的证书压缩】
【天文科学观测的数据筛选】
【大型控制系统的状态聚合】
“只要原始对象经过不可逆映射,多个不同状态落进同一个表示里,就存在把任务后果不同的状态错误合并的可能。”
孙教授用笔尖点着白板。
“神经网络的模型剪枝,只是目前最容易被人看见的一种表象。形式化证明证书的压缩、科学观测数据的筛选,以及大型控制系统的状态聚合,天文台为了节省存储而过滤掉所谓背景噪声,乃至化工厂的集散控制系统为了降低算力,把几万个底层传感器状态强行聚合成十几个宏观工况。这些行为,本质上,都在做相似的事情。”
负责表示学习的资深教授微微皱起眉头,接过了话头。
“孙教授,您说的数学抽象层面确实如此。但如果我们现在就在论文里把适用范围写得这么无所不包,这第一篇奠基性的论文会完全失控的,审稿人会觉得我们在吹牛。”
“所以我问的只是理论延伸的方向,不是这第一篇论文的最终标题。”
孙教授用笔杆指向会议室前方的幕布。
“今天我们跑的这四十八组隐藏样本,验证的依然只是工业异常分类。我们刚才推导出的第一条风险界,也被极其克制地限制在确定性压缩、单一固定任务,以及有限覆盖数假设族的前提里。第一步,这些边界绝不能丢。”
江临坐在位置上,把对面三人刚刚建立的三个不同项目的表格默默看了一遍,随后开口。
“这第一篇联合论文,只写深度学习的模型压缩。”
江临定下了基调。
“至于孙教授提到的其他广义应用场景,只放在论文末尾的讨论部分。我们只说明这套理论具有向其他领域开放接口的潜力,不越界宣称我们已经覆盖了它们。”
孙教授十分赞同地点头。
周志华重新把目光投向面前电脑上的联合草稿文档。
当前的文档标题,还是刚才讨论一半时随手敲下的临时版本。
【task-preserving pression under bounded Evidence Leakage(有界证据泄漏下的任务保真压缩)】
他盯着这个标题看了几秒钟,按下退格键,将标题中略显功利的task-preserving(任务保真)果断删掉。
换成了一个更具哲学意味,也更严谨的词。
随后,他在下方增加了一行副标题来限定理论范围。
【task distinction, counterexale witness bases and Risk bounds under deternistic pression(确定性压缩下的任务区分、反例见证基与风险界)】
“主标题就用证据保留。”周志华拍了板,“任务保真是我们想要达到的工程结果,证据保留是这篇工作给出的一条可证明、可审查的实现路径。我们不可能向世界保证,一个被压缩过的模型在所有未知的极端环境里永远能完成原任务。我们只能在数学上严密地证明,在事先声明的覆盖范围内,那些拥有改变任务动作资格的关键证据,绝对没有被粗暴地压掉。”
江临看着屏幕上更新的标题。
“用证据保留,概念范围更准确,也经得起推敲。”
“那刚刚闭合的那条核心定理叫什么?”周志华问。
“就叫确定性压缩下的任务保真风险界?”江临提议。
“名字太长了,不适合在正文的推导过程中被反复引用,显得冗余。”
周志华在草稿的定理声明处,暂时敲下了一个简短有力的缩写。
【Evidence-preserving pression theore(Epct)】
【证据保留压缩定理】
“我们在论文的正文里,会用数学语言把它的适用条件完完整整地写清楚。”周志华说,“定理的名字可以尽量简短好记,但它生效的理论边界,一个字都不能少。”
下午五点零三分。
会议室原本紧闭的木门被推开,人工智能学院负责科研统筹工作的副院长迈着快步走了进来。
他显然已经在办公室里,从负责协调的李原那里看过那份简要的测试结果报告,脸色带着掩饰不住的振奋。
进门后,他没有先去研究白板上那些犹如天书般的公式,而是直接走到幕布前,把A、b、c三套压缩模型的公开测试数据和刚刚解密的隐藏结果,仔仔细细地重新看了一遍。
“这三套基准模型,还有那份杀伤力极大的隐藏集,权属方面有没有遗留问题?”副院长最先确认的是资产归属。
“这三套模型都是由我们院内的横向项目组从头独立训练的,代码和权重完全归属南大。”李原立刻汇报道,“训练数据已经完成了脱敏处理和授权范围确认。至于那份隐藏集,从样本标注、版本哈希冻结,到刚才唯一一次独立调用的全过程,都有带有时间戳的完整审计记录。毫无破绽。”
“好。”副院长点点头,转向长桌,“那这套新框架,最初的源头是谁提出来的?”
“最核心的底层问题、任务坍缩现象的定义、任务区分损失的量化,以及引入证据泄漏度量框架,这些全部来自江临今天下午带来的原始材料。”周志华实事求是地说道,“而反例见证基的构造算法、分歧区域的降维压缩,以及最后的统计风险界数学主链,是下午在白板上共同推导完成的。”
副院长翻开手中的工作记录表,拔下笔帽。
“周教授,这成果分量很重,准备什么时候对外发布消息?学校宣传部那边如果听到风声,肯定会第一时间过来要新闻稿。”
“暂时不发布任何官方消息。”周志华的回答没有给宣传留一点余地。
“完全保密?这么大的理论突破,学校那边如果问起来,我总得有个交代。”
“你转告学校,让这项理论先活过同行盲审和独立复核再说。”
周志华站起身,走到白板前,拿起笔,将白板最上方关于定理成立的四个前提条件重重地圈了出来。
“今天我们在会议室里完成的,仅仅只是理论的内部主链闭合,以及区区一次预先注册的隐藏集验证测试。这远远不够。接下来,我至少需要安排一组懂行的人在不看草稿的情况下重新推导一遍风险界,再安排另一组人去从零复现底层审查代码。此外,还要换完全不同的数据集、换更复杂的模型架构、换不同的任务代价矩阵去反复捶打它。”
“完成这些闭环测试,大概需要多久?”
“这不是今天晚上连夜赶出一篇华丽的新闻稿就能解决的事情。”周志华的态度很坚决。
副院长也是搞科研出身,听完没有继续强行推动宣传流程。
直接把记录表翻到了下一页,进入务实环节。
“既然需要捶打,那学院现在能提供什么资源?”
周志华伸出三根手指:“我需要立刻成立三个独立工作小组。”
“第一组,只看数学推导,绝接触任何代码。让他们像审稿人一样,去死抠覆盖证书的逻辑漏洞、局部稳定性的边界,还有那个分布漂移项是不是够严谨。”
“第二组只拿整理后的接口规范、模型和公开数据,不看今天的实现代码,独立重写审查脚本。等结果出来以后,再与冻结代码交叉比对。”
“至于第三组,让他们去找一个全新的应用任务,最好不要再用这种现成的工业异常分类数据。”
副院长思索了一下问:“用医学影像数据怎么样?”
“现在碰医疗数据流程太慢,伦理审批和找专业医生标注真实代价都需要耗费大量时间。”做模型压缩的那位教授立刻提出了反对意见,“我们可以先从无人机避障,或者机器人的底层伺服控制开始,这类任务的动作集和损失界限比较好明确。”
一直坐在电脑前的江临,此时抬起了头。
“我这里,有非结构化地形机器人的底层状态日志。”
会议室里,几道惊讶的目光瞬间全部落到了他这个年轻人的身上。
“已经完全脱敏了吗?”周志华问。
“数据链目前还不够完整。”江临如实回答,“但是,低熵工坊的第一台物理机器人目前已经完成机械总装,即将开始首件试制。等试制跑完,我可以专门针对控制中枢,构造一组模型压缩前后的底层控制状态对。”
“这种日志,会涉及到你们商业公司最核心的运动控制逻辑吗?”副院长敏锐地问到了商业机密问题。
“会在逻辑上进行物理切分。”江临早就想好了方案,“南大这边的测试组,只拿脱敏后的任务
孙教授一直安静地站在白板前,手里还捏着那支马克笔。
他没有理会那通决定工业项目停摆的电话。
目光正沿着那条写满公式的任务风险上界,从最左边的经验风险项,一路缓缓扫过见证基覆盖缺口,最后落在最右端的分布漂移泄漏上。
“周教授,江临。”孙教授突然转过身,抛出了一个更大的问题,“这个审查框架,如果仅仅只把它局限在神经网络的模型压缩这一个领域里,应用范围是不是太窄了?”
周志华停下手里整理草稿的动作,抬起头问:“你想把它放到哪里?”
“凡是存在有损表示的地方,都可能遇到一模一样的问题。”
孙教授转过身,拿起笔,在白板边缘的空白角落,快速写下几组名词。
【高维数据降维】
【形式化证明的证书压缩】
【天文科学观测的数据筛选】
【大型控制系统的状态聚合】
“只要原始对象经过不可逆映射,多个不同状态落进同一个表示里,就存在把任务后果不同的状态错误合并的可能。”
孙教授用笔尖点着白板。
“神经网络的模型剪枝,只是目前最容易被人看见的一种表象。形式化证明证书的压缩、科学观测数据的筛选,以及大型控制系统的状态聚合,天文台为了节省存储而过滤掉所谓背景噪声,乃至化工厂的集散控制系统为了降低算力,把几万个底层传感器状态强行聚合成十几个宏观工况。这些行为,本质上,都在做相似的事情。”
负责表示学习的资深教授微微皱起眉头,接过了话头。
“孙教授,您说的数学抽象层面确实如此。但如果我们现在就在论文里把适用范围写得这么无所不包,这第一篇奠基性的论文会完全失控的,审稿人会觉得我们在吹牛。”
“所以我问的只是理论延伸的方向,不是这第一篇论文的最终标题。”
孙教授用笔杆指向会议室前方的幕布。
“今天我们跑的这四十八组隐藏样本,验证的依然只是工业异常分类。我们刚才推导出的第一条风险界,也被极其克制地限制在确定性压缩、单一固定任务,以及有限覆盖数假设族的前提里。第一步,这些边界绝不能丢。”
江临坐在位置上,把对面三人刚刚建立的三个不同项目的表格默默看了一遍,随后开口。
“这第一篇联合论文,只写深度学习的模型压缩。”
江临定下了基调。
“至于孙教授提到的其他广义应用场景,只放在论文末尾的讨论部分。我们只说明这套理论具有向其他领域开放接口的潜力,不越界宣称我们已经覆盖了它们。”
孙教授十分赞同地点头。
周志华重新把目光投向面前电脑上的联合草稿文档。
当前的文档标题,还是刚才讨论一半时随手敲下的临时版本。
【task-preserving pression under bounded Evidence Leakage(有界证据泄漏下的任务保真压缩)】
他盯着这个标题看了几秒钟,按下退格键,将标题中略显功利的task-preserving(任务保真)果断删掉。
换成了一个更具哲学意味,也更严谨的词。
随后,他在下方增加了一行副标题来限定理论范围。
【task distinction, counterexale witness bases and Risk bounds under deternistic pression(确定性压缩下的任务区分、反例见证基与风险界)】
“主标题就用证据保留。”周志华拍了板,“任务保真是我们想要达到的工程结果,证据保留是这篇工作给出的一条可证明、可审查的实现路径。我们不可能向世界保证,一个被压缩过的模型在所有未知的极端环境里永远能完成原任务。我们只能在数学上严密地证明,在事先声明的覆盖范围内,那些拥有改变任务动作资格的关键证据,绝对没有被粗暴地压掉。”
江临看着屏幕上更新的标题。
“用证据保留,概念范围更准确,也经得起推敲。”
“那刚刚闭合的那条核心定理叫什么?”周志华问。
“就叫确定性压缩下的任务保真风险界?”江临提议。
“名字太长了,不适合在正文的推导过程中被反复引用,显得冗余。”
周志华在草稿的定理声明处,暂时敲下了一个简短有力的缩写。
【Evidence-preserving pression theore(Epct)】
【证据保留压缩定理】
“我们在论文的正文里,会用数学语言把它的适用条件完完整整地写清楚。”周志华说,“定理的名字可以尽量简短好记,但它生效的理论边界,一个字都不能少。”
下午五点零三分。
会议室原本紧闭的木门被推开,人工智能学院负责科研统筹工作的副院长迈着快步走了进来。
他显然已经在办公室里,从负责协调的李原那里看过那份简要的测试结果报告,脸色带着掩饰不住的振奋。
进门后,他没有先去研究白板上那些犹如天书般的公式,而是直接走到幕布前,把A、b、c三套压缩模型的公开测试数据和刚刚解密的隐藏结果,仔仔细细地重新看了一遍。
“这三套基准模型,还有那份杀伤力极大的隐藏集,权属方面有没有遗留问题?”副院长最先确认的是资产归属。
“这三套模型都是由我们院内的横向项目组从头独立训练的,代码和权重完全归属南大。”李原立刻汇报道,“训练数据已经完成了脱敏处理和授权范围确认。至于那份隐藏集,从样本标注、版本哈希冻结,到刚才唯一一次独立调用的全过程,都有带有时间戳的完整审计记录。毫无破绽。”
“好。”副院长点点头,转向长桌,“那这套新框架,最初的源头是谁提出来的?”
“最核心的底层问题、任务坍缩现象的定义、任务区分损失的量化,以及引入证据泄漏度量框架,这些全部来自江临今天下午带来的原始材料。”周志华实事求是地说道,“而反例见证基的构造算法、分歧区域的降维压缩,以及最后的统计风险界数学主链,是下午在白板上共同推导完成的。”
副院长翻开手中的工作记录表,拔下笔帽。
“周教授,这成果分量很重,准备什么时候对外发布消息?学校宣传部那边如果听到风声,肯定会第一时间过来要新闻稿。”
“暂时不发布任何官方消息。”周志华的回答没有给宣传留一点余地。
“完全保密?这么大的理论突破,学校那边如果问起来,我总得有个交代。”
“你转告学校,让这项理论先活过同行盲审和独立复核再说。”
周志华站起身,走到白板前,拿起笔,将白板最上方关于定理成立的四个前提条件重重地圈了出来。
“今天我们在会议室里完成的,仅仅只是理论的内部主链闭合,以及区区一次预先注册的隐藏集验证测试。这远远不够。接下来,我至少需要安排一组懂行的人在不看草稿的情况下重新推导一遍风险界,再安排另一组人去从零复现底层审查代码。此外,还要换完全不同的数据集、换更复杂的模型架构、换不同的任务代价矩阵去反复捶打它。”
“完成这些闭环测试,大概需要多久?”
“这不是今天晚上连夜赶出一篇华丽的新闻稿就能解决的事情。”周志华的态度很坚决。
副院长也是搞科研出身,听完没有继续强行推动宣传流程。
直接把记录表翻到了下一页,进入务实环节。
“既然需要捶打,那学院现在能提供什么资源?”
周志华伸出三根手指:“我需要立刻成立三个独立工作小组。”
“第一组,只看数学推导,绝接触任何代码。让他们像审稿人一样,去死抠覆盖证书的逻辑漏洞、局部稳定性的边界,还有那个分布漂移项是不是够严谨。”
“第二组只拿整理后的接口规范、模型和公开数据,不看今天的实现代码,独立重写审查脚本。等结果出来以后,再与冻结代码交叉比对。”
“至于第三组,让他们去找一个全新的应用任务,最好不要再用这种现成的工业异常分类数据。”
副院长思索了一下问:“用医学影像数据怎么样?”
“现在碰医疗数据流程太慢,伦理审批和找专业医生标注真实代价都需要耗费大量时间。”做模型压缩的那位教授立刻提出了反对意见,“我们可以先从无人机避障,或者机器人的底层伺服控制开始,这类任务的动作集和损失界限比较好明确。”
一直坐在电脑前的江临,此时抬起了头。
“我这里,有非结构化地形机器人的底层状态日志。”
会议室里,几道惊讶的目光瞬间全部落到了他这个年轻人的身上。
“已经完全脱敏了吗?”周志华问。
“数据链目前还不够完整。”江临如实回答,“但是,低熵工坊的第一台物理机器人目前已经完成机械总装,即将开始首件试制。等试制跑完,我可以专门针对控制中枢,构造一组模型压缩前后的底层控制状态对。”
“这种日志,会涉及到你们商业公司最核心的运动控制逻辑吗?”副院长敏锐地问到了商业机密问题。
“会在逻辑上进行物理切分。”江临早就想好了方案,“南大这边的测试组,只拿脱敏后的任务