领域的学者。
邮件的主题,带着近乎谦卑的提示。
【敬请暂缓引用:关于深度压缩后模型任务同一性的一个内部初步验证结果】
正文的第一句是——
【同仁如晤,我们希望您在阅读后,能优先寻找这条定理在哪些条件下会失效。】
邮件发出后,仅仅过了不到二十分钟。
中午十二点二十九分。
第一封回信抵达。
发件人是国内一位以数学证明严谨着称的院士。
【周教授,邮件已阅。贵团队提出的主定理中,最核心的前提,其实并不是那个有限覆盖数。而是那个所谓的高风险分歧区域能够获得可信的局部覆盖证书。】
【我在这里提出一个质疑:在真正的高维混沌空间里,只要这个局部覆盖在数学上无法被低成本地严格成立,那么你们费尽心机找出的那组反例见证基,就极有可能瞬间退化成一组在测试集上看起来很漂亮,但在真实分布中毫无泛化能力的过拟合测试点。这个问题你们如何约束?】
中午十二点四十六分。
第二封回复紧随其后。
来自硅谷一家顶尖科技大厂长期研究模型剪枝的首席科学家。
【周教授,这封邮件很有意思,但这根本不是在提出一种新的压缩算法。】
【你们这套理论,更像是在那些狂飙突进的压缩算法,和最终的现实物理部署之间,强行设立了一道资格审查海关。】
【过去的压缩算法,只要负责向世界证明看,我变小了,变快了就足够了。而你们现在,却拿着枪指着它的头,要求它再交出一份证明:变小以后,你没有偷偷把我要命的任务给改掉。这太苛刻了,但我很喜欢。】
这封回复第一次替这项成果找到了最准确的位置。
它不是在原有压缩榜单上增加一个新指标。
而是在压缩算法与现实部署之间,增加了一道决定模型有没有资格继续向前的门。
邮件末尾,对方又单独问了一句。
【请确认一下,第一作者Jiang Lin,是刚刚完成bb(5)工作的江临?】
周志华回复。
【是。】
下午一点零二分。
第三封回复只有一行简短的英文。
【please allow us to test our own del once.(请允许我们拿自己的内部高危模型去你们的框架里试一次。)】
下午一点十四分。
第四封回复抵达,带着强烈的反对意见和底层逻辑拷问。
【周教授、江临同学:关于这个证据保留框架,我有一个基础性疑问。】
【这套审查体系依赖预先定义的任务动作与代价矩阵。如果任务定义本身遗漏了某类关键危险状态,定理是否只能证明压缩过程没有改变既定任务,却无法保证这个任务定义本身完整?】
【建议你们将任务定义风险与压缩风险明确分开。】
周志华盯着这封邮件看了很久,然后将它手动标记为最高红色的优先级。
远在北京的江临,在看到这封邮件的同步后,立刻在两人共享的在线讨论记录本里,飞快地敲下回复。
【质疑成立。】
【证据保留压缩定理只能约束压缩过程,不能保证任务定义本身完整或正确。】
【正式论文将单独列出任务定义风险,不把它并入模型压缩风险。】
一条刚刚在白板上完成内部主链闭合的雏形定理,
并没有因为一次隐藏盲测成功,便在学术圈里获得一路赞美。
恰恰相反,邮件发出后的两个小时里,它首先收获的是一圈来自同行审视的新边界。
这,也正是周志华坚持要把这份不完整的内部说明发出去的真正目的。
真理不怕被火烧,就怕在温室里生锈。
下午一点四十八分。
昨天下午坐在那张长桌另一端,全程参与了理论推导,专门负责医学影像辅助诊断项目的那名南大研究员,带着深深的疲惫,回到了位于市区的一家三甲合作医院。
他的电脑包里,只带了那张仅有两页的对比数据表。
在这家医院放射科的会议室里。
那份耗时半年,关于【肺部微小结节影像辅助筛查压缩模型】的最终验收报告,已经装订成册,摆在了桌面上。
原始的AI诊断模型很庞大,需要两张昂贵的高端企业级显卡才能勉强跑动。
而经过研究团队精心优化压缩后的新版本,现在可以直接在医院现有的性能一般的机房服务器上流畅运行。
验收报告上的数据同样华丽无比。
参数量大幅减少了百分之六十八。
单张ct片子的推理速度提高了二点六倍。
而在总体诊断敏感度上,仅仅只下降了微不足道的零点二个百分点。
按照原定计划,今天下午的会议结束后,这套被寄予厚望的压缩模型,将在十月中旬正式接入医院的内部系统,开始小范围的临床试运行。
但是,当项目的总负责人,放射科主任看完这名研究员递过来的,关于工业模型A与模型c那十五次坍缩的对比表格后。
会议室里的气氛一下子变了。
主任抬起头,目光越过那份厚厚的验收报告,看向这名研究员。
“小刘,我没看懂那个什么工业主轴抱轴。我只问你一句话,在我们自己这个压缩后的医学模型里,究竟有没有哪一类影像表现相近,却会导致临床医生采取完全不同后续处置的病例?”
负责核心算法的博士生有些局促地翻开验收报告,指着其中一页说:“主任,您看这里,从总体的各个分类指标上看,我们在所有的疾病大类上,都没有发现敏感度有明显的断崖式恶化。”
“我没问你总体指标。”
主任用指节重重地敲击着桌面上那张十五次高风险坍缩的数据表,将其放大。
“我问的是,在肺部结节里,有哪些病例,如果模型把它们混在了一起,一个可以继续影像随访,另一个却必须尽快进入进一步检查和多学科评估流程?”
旁边一位资深的放射科主治医生立刻接过了话头,语气严肃。
“主任,有。部分炎性结节与早期恶性结节,在边缘形态、内部纹理和磨玻璃成分上,只存在非常局部的细微差异。”
“这种影像差异细微、后续处置却完全不同的边缘病例,在我们用于模型训练和测试的几十万张影像数据中,占多大比例?”主任追问。
“不到百分之一,非常罕见。”主治医生回答。
主任转头看向那名算法博士。
“在你们把模型压缩了将近百分之七十之后,针对这不到百分之一的高危边缘病例,你们有没有把它们单独挑出来,做过专门的对抗测试?”
算法博士的额头上一下子渗出了细密的汗珠。
他翻遍了面前那本厚达四十七页的最终验收报告。
报告里有总体准确率曲线。
有敏感度和特异度的Roc曲线。
有详细到毫秒的推理延迟分布。
有各种批大小下的显存占用峰值。
甚至,连模型部署在不同品牌服务器上运行时,机箱风扇的转速、cpU的温度与功耗波动,都被详尽地记录在案。
但是,唯独没有哪怕一页纸一个数据表格去负责回答,那不到百分之一的高风险罕见病例,在模型压缩以后,是否仍然保持足以支撑不同临床处置的可分性。
“主任,目前我们的常规测试数据中,没有明确的证据说明,压缩后的模型一定会漏掉它们。”算法博士硬着头皮,给出了一个模棱两可的回答。
主任看着他,缓缓地点了点头:“是的,但也同样没有证据说明,它不会漏掉。”
“如果我们要重新从海量的数据库里去单独筛选这些边缘病例,并且找专家重新进行动作代价的标注,这需要耗费大量的计算时间和人力成本。”博士试图解释工程上的困难。
“那就去花时间,花几个月都可以。”
主任没有再理会算法团队的辩解。
他直接拿过那张原本准备在今天签字的试运行申请表,拔出钢笔,在审批意见栏里写下批示。
【暂缓接入临床系统】
暂缓并不是因为这个压缩模型已经被证明存在危险。
而是因为现有的验收报告,尚不足以证明它可以进入临床决策流程。
“小刘,做医疗AI,和你们跑那些普通的图片分类不一样。”
主任把暂缓的申请表推回给研究员。
“我们不能拿九百九十九个低风险病例的正确,替唯一那个不能被延误的高风险患者担保。”
下午三点二十六分。
南大校园内,另一个小型军用级无人机项目的仿真机房里。
另一名参加了昨天会议的研究员,正带领着测试团队,将昨天在白板上刚刚确定下来的安全动作集合概念,直接接入了他们的三维仿真测试平台。
这一次的回归测试,他们做出了一个反常规的举动。
像是在故意找茬一样,从庞大的环境数据库里,专门挑出了十二组在光学摄像头和雷达回波上看起来外观接近,但在现实中一旦发生误判,对应的强制避险动作却截然不同的高危边缘状态对。
比如镜头保护罩上的固定细长划痕,对比,横跨山谷、反光极弱的悬空细电线。
比如距离极近的一堵纯浅色墙面,对比,在强逆光下完全过曝、白茫茫一片的天空背景
邮件的主题,带着近乎谦卑的提示。
【敬请暂缓引用:关于深度压缩后模型任务同一性的一个内部初步验证结果】
正文的第一句是——
【同仁如晤,我们希望您在阅读后,能优先寻找这条定理在哪些条件下会失效。】
邮件发出后,仅仅过了不到二十分钟。
中午十二点二十九分。
第一封回信抵达。
发件人是国内一位以数学证明严谨着称的院士。
【周教授,邮件已阅。贵团队提出的主定理中,最核心的前提,其实并不是那个有限覆盖数。而是那个所谓的高风险分歧区域能够获得可信的局部覆盖证书。】
【我在这里提出一个质疑:在真正的高维混沌空间里,只要这个局部覆盖在数学上无法被低成本地严格成立,那么你们费尽心机找出的那组反例见证基,就极有可能瞬间退化成一组在测试集上看起来很漂亮,但在真实分布中毫无泛化能力的过拟合测试点。这个问题你们如何约束?】
中午十二点四十六分。
第二封回复紧随其后。
来自硅谷一家顶尖科技大厂长期研究模型剪枝的首席科学家。
【周教授,这封邮件很有意思,但这根本不是在提出一种新的压缩算法。】
【你们这套理论,更像是在那些狂飙突进的压缩算法,和最终的现实物理部署之间,强行设立了一道资格审查海关。】
【过去的压缩算法,只要负责向世界证明看,我变小了,变快了就足够了。而你们现在,却拿着枪指着它的头,要求它再交出一份证明:变小以后,你没有偷偷把我要命的任务给改掉。这太苛刻了,但我很喜欢。】
这封回复第一次替这项成果找到了最准确的位置。
它不是在原有压缩榜单上增加一个新指标。
而是在压缩算法与现实部署之间,增加了一道决定模型有没有资格继续向前的门。
邮件末尾,对方又单独问了一句。
【请确认一下,第一作者Jiang Lin,是刚刚完成bb(5)工作的江临?】
周志华回复。
【是。】
下午一点零二分。
第三封回复只有一行简短的英文。
【please allow us to test our own del once.(请允许我们拿自己的内部高危模型去你们的框架里试一次。)】
下午一点十四分。
第四封回复抵达,带着强烈的反对意见和底层逻辑拷问。
【周教授、江临同学:关于这个证据保留框架,我有一个基础性疑问。】
【这套审查体系依赖预先定义的任务动作与代价矩阵。如果任务定义本身遗漏了某类关键危险状态,定理是否只能证明压缩过程没有改变既定任务,却无法保证这个任务定义本身完整?】
【建议你们将任务定义风险与压缩风险明确分开。】
周志华盯着这封邮件看了很久,然后将它手动标记为最高红色的优先级。
远在北京的江临,在看到这封邮件的同步后,立刻在两人共享的在线讨论记录本里,飞快地敲下回复。
【质疑成立。】
【证据保留压缩定理只能约束压缩过程,不能保证任务定义本身完整或正确。】
【正式论文将单独列出任务定义风险,不把它并入模型压缩风险。】
一条刚刚在白板上完成内部主链闭合的雏形定理,
并没有因为一次隐藏盲测成功,便在学术圈里获得一路赞美。
恰恰相反,邮件发出后的两个小时里,它首先收获的是一圈来自同行审视的新边界。
这,也正是周志华坚持要把这份不完整的内部说明发出去的真正目的。
真理不怕被火烧,就怕在温室里生锈。
下午一点四十八分。
昨天下午坐在那张长桌另一端,全程参与了理论推导,专门负责医学影像辅助诊断项目的那名南大研究员,带着深深的疲惫,回到了位于市区的一家三甲合作医院。
他的电脑包里,只带了那张仅有两页的对比数据表。
在这家医院放射科的会议室里。
那份耗时半年,关于【肺部微小结节影像辅助筛查压缩模型】的最终验收报告,已经装订成册,摆在了桌面上。
原始的AI诊断模型很庞大,需要两张昂贵的高端企业级显卡才能勉强跑动。
而经过研究团队精心优化压缩后的新版本,现在可以直接在医院现有的性能一般的机房服务器上流畅运行。
验收报告上的数据同样华丽无比。
参数量大幅减少了百分之六十八。
单张ct片子的推理速度提高了二点六倍。
而在总体诊断敏感度上,仅仅只下降了微不足道的零点二个百分点。
按照原定计划,今天下午的会议结束后,这套被寄予厚望的压缩模型,将在十月中旬正式接入医院的内部系统,开始小范围的临床试运行。
但是,当项目的总负责人,放射科主任看完这名研究员递过来的,关于工业模型A与模型c那十五次坍缩的对比表格后。
会议室里的气氛一下子变了。
主任抬起头,目光越过那份厚厚的验收报告,看向这名研究员。
“小刘,我没看懂那个什么工业主轴抱轴。我只问你一句话,在我们自己这个压缩后的医学模型里,究竟有没有哪一类影像表现相近,却会导致临床医生采取完全不同后续处置的病例?”
负责核心算法的博士生有些局促地翻开验收报告,指着其中一页说:“主任,您看这里,从总体的各个分类指标上看,我们在所有的疾病大类上,都没有发现敏感度有明显的断崖式恶化。”
“我没问你总体指标。”
主任用指节重重地敲击着桌面上那张十五次高风险坍缩的数据表,将其放大。
“我问的是,在肺部结节里,有哪些病例,如果模型把它们混在了一起,一个可以继续影像随访,另一个却必须尽快进入进一步检查和多学科评估流程?”
旁边一位资深的放射科主治医生立刻接过了话头,语气严肃。
“主任,有。部分炎性结节与早期恶性结节,在边缘形态、内部纹理和磨玻璃成分上,只存在非常局部的细微差异。”
“这种影像差异细微、后续处置却完全不同的边缘病例,在我们用于模型训练和测试的几十万张影像数据中,占多大比例?”主任追问。
“不到百分之一,非常罕见。”主治医生回答。
主任转头看向那名算法博士。
“在你们把模型压缩了将近百分之七十之后,针对这不到百分之一的高危边缘病例,你们有没有把它们单独挑出来,做过专门的对抗测试?”
算法博士的额头上一下子渗出了细密的汗珠。
他翻遍了面前那本厚达四十七页的最终验收报告。
报告里有总体准确率曲线。
有敏感度和特异度的Roc曲线。
有详细到毫秒的推理延迟分布。
有各种批大小下的显存占用峰值。
甚至,连模型部署在不同品牌服务器上运行时,机箱风扇的转速、cpU的温度与功耗波动,都被详尽地记录在案。
但是,唯独没有哪怕一页纸一个数据表格去负责回答,那不到百分之一的高风险罕见病例,在模型压缩以后,是否仍然保持足以支撑不同临床处置的可分性。
“主任,目前我们的常规测试数据中,没有明确的证据说明,压缩后的模型一定会漏掉它们。”算法博士硬着头皮,给出了一个模棱两可的回答。
主任看着他,缓缓地点了点头:“是的,但也同样没有证据说明,它不会漏掉。”
“如果我们要重新从海量的数据库里去单独筛选这些边缘病例,并且找专家重新进行动作代价的标注,这需要耗费大量的计算时间和人力成本。”博士试图解释工程上的困难。
“那就去花时间,花几个月都可以。”
主任没有再理会算法团队的辩解。
他直接拿过那张原本准备在今天签字的试运行申请表,拔出钢笔,在审批意见栏里写下批示。
【暂缓接入临床系统】
暂缓并不是因为这个压缩模型已经被证明存在危险。
而是因为现有的验收报告,尚不足以证明它可以进入临床决策流程。
“小刘,做医疗AI,和你们跑那些普通的图片分类不一样。”
主任把暂缓的申请表推回给研究员。
“我们不能拿九百九十九个低风险病例的正确,替唯一那个不能被延误的高风险患者担保。”
下午三点二十六分。
南大校园内,另一个小型军用级无人机项目的仿真机房里。
另一名参加了昨天会议的研究员,正带领着测试团队,将昨天在白板上刚刚确定下来的安全动作集合概念,直接接入了他们的三维仿真测试平台。
这一次的回归测试,他们做出了一个反常规的举动。
像是在故意找茬一样,从庞大的环境数据库里,专门挑出了十二组在光学摄像头和雷达回波上看起来外观接近,但在现实中一旦发生误判,对应的强制避险动作却截然不同的高危边缘状态对。
比如镜头保护罩上的固定细长划痕,对比,横跨山谷、反光极弱的悬空细电线。
比如距离极近的一堵纯浅色墙面,对比,在强逆光下完全过曝、白茫茫一片的天空背景