学习和模型压缩的研究人员,则坐在长桌的另一侧,打开面前没有联网的笔记本,准备随时记录。
房间里没有任何学生旁听。
四周的墙壁上没有任何拍摄设备。
也没有任何负责宣传的干事准备新闻稿。
这不是一场为了对外展示科研实力的公开报告会。
公开报告负责交流已经形成的结果。
今天这间会议室负责判断,一件尚未被清楚定义的事情,究竟能不能成立。
下午两点二十六分。
一直坐在长桌主位,低头沉思的周志华教授,终于从那叠厚厚的打印材料中抬起了头。
此刻,那张宽大的实木桌面中央,整整齐齐地摆放着三份文件。
第一份,是关于pFR与rton理论证明过程中的信息熵损失账本。
第二份,是关于bb(5)的统一核验器逻辑拓扑。
第三份,是基于S-EvidenceGate的候选错误结论重开追踪记录。
其中,那第二份关于bb(5)共享可信核旧统一草案的材料,已经被周志华翻到了最后一页。
在那洁白的纸面上,同时印着三个在逻辑上绝对互斥的结果。
【ActUAL_RUN:hALt_At_StEp_193】
【cERtIFIcAtE_cLAINoN_hALtING】
【VERIFIER_RESULt:Ept】
周志华的目光透过镜片,平静地看向坐在对面的江临。
“一路过来还顺利?”他用闲聊般的语气开了口。
“顺利。”江临回答。
“刚才李原说你直接就过来了,本来想让你在休息室多休息一会儿的。做理论的人,脑子不清醒可不行。”
“在车上已经坐了很久,足够了。”
周志华点了点头,没有再继续在这个话题上纠缠。
他伸手将那份关于bb(5)的材料顺着桌面,推到桌子中央。
“你材料里关于pFR那部分的形式推导,逻辑很严密,我们可以稍后再谈。”
他的食指点了点那一行关于图灵机运行到第一百九十三步发生灾难性停机的记录上。
“我想先看看这台攻击测试机。一个已经通过统一核验器的非停机证书,为什么会在第一百九十三步被实际运行结果推翻。”
“可以。”
江临打开面前的电脑。
周志华盯着那份已经被系统正式核验通过的错误证书,说:“那么我们先来看看,导致机器在第一百九十三步停机的关键信息,在那个号称最高效的压缩与核验过程中,为什么没能被作为证据保留下来?”
江临应了一声,敲击键盘,接通投影仪的信号源。
会议室前方那块宽大的白色幕布瞬间亮了起来。
屏幕被软件从中一分为二。
左边,展示的是一台由江临构造的四状态攻击测试机的状态转移矩阵。
右边,则是那份引发灾难,已经通过核验的非停机安全证书的十六进制代码。
那份状态表看起来短得可怜。
如果把它打印出来,甚至不需要改变字号,半张A4纸就能绰绰有余地把它全部装下。
然而,就是这样一台看起来简单到如同儿童玩具般的机器,一旦让模拟器按照状态表逐步执行,让它在一条无限长的空白纸带上运行起来,却能遵循着那些简单的规则,走出漫长且难以预测的轨迹。
这大概是整个计算机理论科学界里,最容易令人产生错觉的东西之一。
规则数量少,绝对不代表系统演化的事情就会简单。
江临移动鼠标,将右侧证书文件中的最后一项关键字段,在幕布上放大到占据了半个屏幕。
【Isolated_window:tRUE(隔离窗口验证状态:真)】
周志华靠在椅背上,看了一眼那个巨大的tRUE。
“这个tRUE,是谁填进去的?”周志华问。
“证书生成器。”江临回答说,“在进行代码压缩和逻辑打包的时候,生成器为了减小文件体积,直接做出了这个断言。”
“那么,是谁负责检查这个断言的真伪?”
“后端的统一核验器。”
“它是怎么检查的?”周志华的声音微微提高了一点。
“核验器的逻辑被精简过了,它没有去重新跑一遍底层的物理状态,而是直接读取了这个字段的布尔值。”
周志华抬起头看向江临:“然后呢?”
“没有然后了。”江临的回答毫无波澜。
整个会议室瞬间陷入了压抑的安静之中。
时间仿佛停滞了两秒。
孙教授坐在旁边,眉头紧锁,似乎在消化这个荒谬的逻辑闭环。
“也就是说核验器仅仅是去读取了生成器自己写上去的我正确三个字,然后,核验器就对整个系统宣布,嗯,我看过了,它是正确的?”周志华打破了沉默。
“对,就是这样。”
“呵,这套系统内部的人际关系,处得还真是融洽啊。”周志华笑道。
江临没有接话,而是直接在控制台上敲下回车,启动了模拟程序。
幕布上的图灵机开始高速运行。
代表读写头的红色光标在虚拟的纸带上疯狂闪烁。
二十六步,光标完成了一次局部循环。
五十二步,光标稳定地向右侧推进。
七十八步。
根据系统后台生成的监控画面,纸带上的局部数据结构完全按照那份安全证书里描述的规律,整整齐齐地向右平移了三个格子。
没有任何越界的迹象。
从前一百步的运行轨迹来看,这份证书显得十分可靠,甚至可以说是完美。
机器的读写头就像是一个被困在有限窗口内的钟摆,往复移动,每隔精确的二十六步就会完成一次自我重复,然后再像时针一样,向右挪动三格。
它像极了一个工作规律,作息稳定,每个月都会按时甚至提前把房租交到房东手里的好租客,让人绝对放心。
一百四十步。
一百六十步。
图灵机的运行依然平稳,没有任何崩溃的征兆。
然而,就在系统时钟跳到第一百八十四步的那一瞬间。
机器的读写头,在执行一条复杂的折返规则时,越过了那份证书声称永远不会越过的安全边界。
在那个被划定为安全的窗口之外,纸带上还保留着一个很早以前写下的数字1。
机器的读写头读到了这个1。
状态转移随之改变。
第一百九十三步。
状态转移进入停机态。
机器停止运行。
幕布上,同时出现了三个结果。
【ActUAL_RUN:hALt_At_StEp_193】
【cERtIFIcAtE_cLAINoN_hALtING】
【VERIFIER_RESULt:Ept】
机器实际停机。
证书声称它永远不会停。
核验器接受了这份错误证书。
周志华盯着那三行字,看了足足半分钟,然后问道:“在采用这种统一证书之前,原来的旧版核验器是怎么处理这个边界问题的?”
“原来的核验器很笨重。”江临调出了旧版的架构图,“它必须计算读写头可能到达的最远边界,并逐段检查窗口外留下的纸带痕迹,是否存在任何一条合法状态转移路径,能够在未来重新进入活动区域。”
“这听起来很安全,那为什么后来的工程师要把这么重要的检查逻辑删掉?”
“为了迎合统一证书的类型标准。”江临顺口报出一组数据,“删掉动态核验之后,核心代码的规模减少了百分之三十一,由于不需要频繁访问外存,核验速度提升了四倍左右。”
“那证书的体积呢?”
“平均长度缩短了百分之二十七,更利于在低带宽的网络中分发。”
“听上去,这套压缩方案在每一项工程指标上都在大跨步地进步。”周志华评价道。
江临点点头,说:“是的,除了最终的那个结论是致命的错误之外,其他全都是进步。”
周志华端起桌上的纸杯,喝了一口水。
“这个共享可信核旧统一草案的错误接受案例,本质上说明的是一个责任转移问题。”周志华放下纸杯,一针见血地指出,“在追求效率的过程中,核验的义务被悄悄地从后端的可信端,强行转移给了前端那个并不可靠的生成端。在形式化证明的领域里,这个问题其实很好处理,发现漏洞了,大不了把那段动态检查的代码再重新加回来,牺牲一点速度。”
江临点头承认:“您说得对,在纯逻辑系统里加回来很容易。但是,当这个问题进入到现代机器学习的庞大黑盒里,就没有这么简单了,我们甚至不知道该把什么东西加回来。”
随着江临的话音,周志华翻开了桌上的第二份材料。
幕布上的画面随之切换。
那是一张来自于重工业领域的设备传感器状态采集表。
整整三十二个维度的数据字段。
从上到下密密麻麻地排列着。
主轴温度。
基座高频振动幅度。
液压系统压力。
伺服电机三相电流。
齿轮箱实时转速。
房间里没有任何学生旁听。
四周的墙壁上没有任何拍摄设备。
也没有任何负责宣传的干事准备新闻稿。
这不是一场为了对外展示科研实力的公开报告会。
公开报告负责交流已经形成的结果。
今天这间会议室负责判断,一件尚未被清楚定义的事情,究竟能不能成立。
下午两点二十六分。
一直坐在长桌主位,低头沉思的周志华教授,终于从那叠厚厚的打印材料中抬起了头。
此刻,那张宽大的实木桌面中央,整整齐齐地摆放着三份文件。
第一份,是关于pFR与rton理论证明过程中的信息熵损失账本。
第二份,是关于bb(5)的统一核验器逻辑拓扑。
第三份,是基于S-EvidenceGate的候选错误结论重开追踪记录。
其中,那第二份关于bb(5)共享可信核旧统一草案的材料,已经被周志华翻到了最后一页。
在那洁白的纸面上,同时印着三个在逻辑上绝对互斥的结果。
【ActUAL_RUN:hALt_At_StEp_193】
【cERtIFIcAtE_cLAINoN_hALtING】
【VERIFIER_RESULt:Ept】
周志华的目光透过镜片,平静地看向坐在对面的江临。
“一路过来还顺利?”他用闲聊般的语气开了口。
“顺利。”江临回答。
“刚才李原说你直接就过来了,本来想让你在休息室多休息一会儿的。做理论的人,脑子不清醒可不行。”
“在车上已经坐了很久,足够了。”
周志华点了点头,没有再继续在这个话题上纠缠。
他伸手将那份关于bb(5)的材料顺着桌面,推到桌子中央。
“你材料里关于pFR那部分的形式推导,逻辑很严密,我们可以稍后再谈。”
他的食指点了点那一行关于图灵机运行到第一百九十三步发生灾难性停机的记录上。
“我想先看看这台攻击测试机。一个已经通过统一核验器的非停机证书,为什么会在第一百九十三步被实际运行结果推翻。”
“可以。”
江临打开面前的电脑。
周志华盯着那份已经被系统正式核验通过的错误证书,说:“那么我们先来看看,导致机器在第一百九十三步停机的关键信息,在那个号称最高效的压缩与核验过程中,为什么没能被作为证据保留下来?”
江临应了一声,敲击键盘,接通投影仪的信号源。
会议室前方那块宽大的白色幕布瞬间亮了起来。
屏幕被软件从中一分为二。
左边,展示的是一台由江临构造的四状态攻击测试机的状态转移矩阵。
右边,则是那份引发灾难,已经通过核验的非停机安全证书的十六进制代码。
那份状态表看起来短得可怜。
如果把它打印出来,甚至不需要改变字号,半张A4纸就能绰绰有余地把它全部装下。
然而,就是这样一台看起来简单到如同儿童玩具般的机器,一旦让模拟器按照状态表逐步执行,让它在一条无限长的空白纸带上运行起来,却能遵循着那些简单的规则,走出漫长且难以预测的轨迹。
这大概是整个计算机理论科学界里,最容易令人产生错觉的东西之一。
规则数量少,绝对不代表系统演化的事情就会简单。
江临移动鼠标,将右侧证书文件中的最后一项关键字段,在幕布上放大到占据了半个屏幕。
【Isolated_window:tRUE(隔离窗口验证状态:真)】
周志华靠在椅背上,看了一眼那个巨大的tRUE。
“这个tRUE,是谁填进去的?”周志华问。
“证书生成器。”江临回答说,“在进行代码压缩和逻辑打包的时候,生成器为了减小文件体积,直接做出了这个断言。”
“那么,是谁负责检查这个断言的真伪?”
“后端的统一核验器。”
“它是怎么检查的?”周志华的声音微微提高了一点。
“核验器的逻辑被精简过了,它没有去重新跑一遍底层的物理状态,而是直接读取了这个字段的布尔值。”
周志华抬起头看向江临:“然后呢?”
“没有然后了。”江临的回答毫无波澜。
整个会议室瞬间陷入了压抑的安静之中。
时间仿佛停滞了两秒。
孙教授坐在旁边,眉头紧锁,似乎在消化这个荒谬的逻辑闭环。
“也就是说核验器仅仅是去读取了生成器自己写上去的我正确三个字,然后,核验器就对整个系统宣布,嗯,我看过了,它是正确的?”周志华打破了沉默。
“对,就是这样。”
“呵,这套系统内部的人际关系,处得还真是融洽啊。”周志华笑道。
江临没有接话,而是直接在控制台上敲下回车,启动了模拟程序。
幕布上的图灵机开始高速运行。
代表读写头的红色光标在虚拟的纸带上疯狂闪烁。
二十六步,光标完成了一次局部循环。
五十二步,光标稳定地向右侧推进。
七十八步。
根据系统后台生成的监控画面,纸带上的局部数据结构完全按照那份安全证书里描述的规律,整整齐齐地向右平移了三个格子。
没有任何越界的迹象。
从前一百步的运行轨迹来看,这份证书显得十分可靠,甚至可以说是完美。
机器的读写头就像是一个被困在有限窗口内的钟摆,往复移动,每隔精确的二十六步就会完成一次自我重复,然后再像时针一样,向右挪动三格。
它像极了一个工作规律,作息稳定,每个月都会按时甚至提前把房租交到房东手里的好租客,让人绝对放心。
一百四十步。
一百六十步。
图灵机的运行依然平稳,没有任何崩溃的征兆。
然而,就在系统时钟跳到第一百八十四步的那一瞬间。
机器的读写头,在执行一条复杂的折返规则时,越过了那份证书声称永远不会越过的安全边界。
在那个被划定为安全的窗口之外,纸带上还保留着一个很早以前写下的数字1。
机器的读写头读到了这个1。
状态转移随之改变。
第一百九十三步。
状态转移进入停机态。
机器停止运行。
幕布上,同时出现了三个结果。
【ActUAL_RUN:hALt_At_StEp_193】
【cERtIFIcAtE_cLAINoN_hALtING】
【VERIFIER_RESULt:Ept】
机器实际停机。
证书声称它永远不会停。
核验器接受了这份错误证书。
周志华盯着那三行字,看了足足半分钟,然后问道:“在采用这种统一证书之前,原来的旧版核验器是怎么处理这个边界问题的?”
“原来的核验器很笨重。”江临调出了旧版的架构图,“它必须计算读写头可能到达的最远边界,并逐段检查窗口外留下的纸带痕迹,是否存在任何一条合法状态转移路径,能够在未来重新进入活动区域。”
“这听起来很安全,那为什么后来的工程师要把这么重要的检查逻辑删掉?”
“为了迎合统一证书的类型标准。”江临顺口报出一组数据,“删掉动态核验之后,核心代码的规模减少了百分之三十一,由于不需要频繁访问外存,核验速度提升了四倍左右。”
“那证书的体积呢?”
“平均长度缩短了百分之二十七,更利于在低带宽的网络中分发。”
“听上去,这套压缩方案在每一项工程指标上都在大跨步地进步。”周志华评价道。
江临点点头,说:“是的,除了最终的那个结论是致命的错误之外,其他全都是进步。”
周志华端起桌上的纸杯,喝了一口水。
“这个共享可信核旧统一草案的错误接受案例,本质上说明的是一个责任转移问题。”周志华放下纸杯,一针见血地指出,“在追求效率的过程中,核验的义务被悄悄地从后端的可信端,强行转移给了前端那个并不可靠的生成端。在形式化证明的领域里,这个问题其实很好处理,发现漏洞了,大不了把那段动态检查的代码再重新加回来,牺牲一点速度。”
江临点头承认:“您说得对,在纯逻辑系统里加回来很容易。但是,当这个问题进入到现代机器学习的庞大黑盒里,就没有这么简单了,我们甚至不知道该把什么东西加回来。”
随着江临的话音,周志华翻开了桌上的第二份材料。
幕布上的画面随之切换。
那是一张来自于重工业领域的设备传感器状态采集表。
整整三十二个维度的数据字段。
从上到下密密麻麻地排列着。
主轴温度。
基座高频振动幅度。
液压系统压力。
伺服电机三相电流。
齿轮箱实时转速。