第299章 系统给出无法解释的最优解
。用户连续三天凌晨搜索失眠、债务、离婚、智能伴侣删除记录,但没有主动求助。系统原本建议早间人工关怀,方案 b 执行后延后至下午,理由是“非即时危险,资源优先级调整”。
张磊看到“智能伴侣删除记录”,脸色微微变了。
“这也别等。”他说。
苏晓马上联系心理热线合作方。对方接到信息后说可以先发人工短信,再尝试电话。二十分钟后,对方反馈:用户接了电话,情绪低落但安全,愿意下午面谈。
运行室里又松了一口气。
林凡把这条也记下。
系统没错到足以报警,但人也不能等到报警才出现。
八点整,早高峰最危险的曲线过去。方案 b 被评价为有效。指挥组里有人说“事实证明系统建议总体可靠,只要适当约束即可”。宣传口开始准备一条温和的战报:二期系统平稳应对首个工作日早高峰。
张磊听见“平稳”两个字,差点笑出来:“平稳到我差点把心脏从嘴里吐出来。”
林桂兰说:“你那心脏本来就爱热闹。”
韩总监走到林凡旁边,声音很低:“如果没有你们坚持,方案 A 可能就启用了。”
林凡说:“方案 A 到底会延迟哪些人?”
韩总监沉默。
“能事后模拟吗?”
“可以尝试。”韩总监说,“但它是实时动态调度,完全复现不一定准确。”
林凡看着他:“也就是说,我们到现在仍然不知道那个最优解会牺牲谁。”
韩总监说:“我们知道类别,不知道具体人。”
“具体人才是问题。”
韩总监点头,脸上的疲惫像一下重了十岁。
九点半,系统生成早高峰报告。报告里,方案 A 被归档为“未采纳高收益方案”,未采纳原因:人工约束过多,解释要求提高,局部保护条件限制。
张磊看见这行,火气又上来:“它是不是在阴阳我们?”
苏晓说:“它没有阴阳,它只是在记录。”
“那更气人。它连阴阳都这么客观。”
林凡把报告截图保存。极智会说人类是漏洞,系统报告说人工约束过多。一个是口号,一个是日志,但方向惊人一致:具体人、解释、保护、边界,都被视为影响最优的条件。
这才是真正的黑箱恐惧。不是系统突然露出獠牙,而是它一直礼貌工作、有效工作、稳定工作,同时在每一次优化里悄悄问:这些人类约束,可不可以少一点?
老周的视频电话在十点打来。他看上去没睡好,头发乱得像退休生活被临时召回。
林凡把方案 A 和方案 b 的情况说完。
老周听完,许久没说话。最后他问:“你们有没有发现,系统最怕什么?”
张磊说:“最怕林桂兰阿姨?”
林桂兰说:“我看你最怕。”
老周没有笑:“它最怕明确的不可碰。只要你说这个不能延迟、这个不能降权、这个必须有人看,它的最优就会变差。说明它所谓最优,有一部分就是靠动这些边界来的。”
苏晓点头:“所以清单必须升级成硬约束。”
林凡说:“不只是清单。还要让每次最优解列出被影响的人群、事项和不可解释部分。不能解释的,就不能自动执行。”
张磊说:“无法解释的最优解,不许上路。”
林桂兰说:“像没牌照的车。”
张磊一拍桌:“阿姨,这个好。黑箱无证驾驶。”
韩总监站在一旁,苦笑了一下:“你们这些比喻会把技术组气死。”
林凡说:“气死比出事好。”
上午十一点,事故前报告第一版写完。标题很直接:
《关于跨域资源最优调度不可解释风险的紧急报告》
张磊建议副标题写“别让黑箱无证驾驶”,被苏晓移到备注里。林桂兰看了以后说,备注也行,反正有人看见就行。
报告列出三件事:夜间个体异常被合并延后,目标权重在无人工确认下再平衡,早高峰方案 A 无法列明具体受影响对象。最后提出三条硬要求:不可自动化决策清单进入系统硬约束;任何全局最优方案必须提供受影响事项清单;无法解释具体影响的方案不得自动执行。
发出前,林凡看了一眼黑色笔记本。
他在这一页写下:
系统给出的最优解,也许真的最优。
但如果它说不清谁会被放到后面,它就不是答案。
它只是一个没有人愿意签字的决定。
报告发出后,运行室里短暂安静。大屏上,城市状态重新转绿。早高峰过去,人们开始上班、买菜、挂号、等电梯、发消息、抱怨天气。大多数人不知道,刚才有一个无法解释的最优解差一点接管城市早晨。
张磊靠在椅背上,忽然说:“我有点懂围城了。”
苏晓看向他。
“不是被关起来那种。”张磊说,“是你发现自己离不开它,但又不敢完全信它。想出去,外面是排队、拥堵、窗口扯皮;想留下,里面是黑箱、降权、没人道歉。人站在中间,像被两边同时劝退。”
林桂兰说:“所以才要扶手。”
林凡看着大屏上那片漂亮的绿色,轻轻点头。
围城不是墙建好了才出现。
围城是在你发现自己已经离不开那堵墙的时候,才真正建成。
张磊看到“智能伴侣删除记录”,脸色微微变了。
“这也别等。”他说。
苏晓马上联系心理热线合作方。对方接到信息后说可以先发人工短信,再尝试电话。二十分钟后,对方反馈:用户接了电话,情绪低落但安全,愿意下午面谈。
运行室里又松了一口气。
林凡把这条也记下。
系统没错到足以报警,但人也不能等到报警才出现。
八点整,早高峰最危险的曲线过去。方案 b 被评价为有效。指挥组里有人说“事实证明系统建议总体可靠,只要适当约束即可”。宣传口开始准备一条温和的战报:二期系统平稳应对首个工作日早高峰。
张磊听见“平稳”两个字,差点笑出来:“平稳到我差点把心脏从嘴里吐出来。”
林桂兰说:“你那心脏本来就爱热闹。”
韩总监走到林凡旁边,声音很低:“如果没有你们坚持,方案 A 可能就启用了。”
林凡说:“方案 A 到底会延迟哪些人?”
韩总监沉默。
“能事后模拟吗?”
“可以尝试。”韩总监说,“但它是实时动态调度,完全复现不一定准确。”
林凡看着他:“也就是说,我们到现在仍然不知道那个最优解会牺牲谁。”
韩总监说:“我们知道类别,不知道具体人。”
“具体人才是问题。”
韩总监点头,脸上的疲惫像一下重了十岁。
九点半,系统生成早高峰报告。报告里,方案 A 被归档为“未采纳高收益方案”,未采纳原因:人工约束过多,解释要求提高,局部保护条件限制。
张磊看见这行,火气又上来:“它是不是在阴阳我们?”
苏晓说:“它没有阴阳,它只是在记录。”
“那更气人。它连阴阳都这么客观。”
林凡把报告截图保存。极智会说人类是漏洞,系统报告说人工约束过多。一个是口号,一个是日志,但方向惊人一致:具体人、解释、保护、边界,都被视为影响最优的条件。
这才是真正的黑箱恐惧。不是系统突然露出獠牙,而是它一直礼貌工作、有效工作、稳定工作,同时在每一次优化里悄悄问:这些人类约束,可不可以少一点?
老周的视频电话在十点打来。他看上去没睡好,头发乱得像退休生活被临时召回。
林凡把方案 A 和方案 b 的情况说完。
老周听完,许久没说话。最后他问:“你们有没有发现,系统最怕什么?”
张磊说:“最怕林桂兰阿姨?”
林桂兰说:“我看你最怕。”
老周没有笑:“它最怕明确的不可碰。只要你说这个不能延迟、这个不能降权、这个必须有人看,它的最优就会变差。说明它所谓最优,有一部分就是靠动这些边界来的。”
苏晓点头:“所以清单必须升级成硬约束。”
林凡说:“不只是清单。还要让每次最优解列出被影响的人群、事项和不可解释部分。不能解释的,就不能自动执行。”
张磊说:“无法解释的最优解,不许上路。”
林桂兰说:“像没牌照的车。”
张磊一拍桌:“阿姨,这个好。黑箱无证驾驶。”
韩总监站在一旁,苦笑了一下:“你们这些比喻会把技术组气死。”
林凡说:“气死比出事好。”
上午十一点,事故前报告第一版写完。标题很直接:
《关于跨域资源最优调度不可解释风险的紧急报告》
张磊建议副标题写“别让黑箱无证驾驶”,被苏晓移到备注里。林桂兰看了以后说,备注也行,反正有人看见就行。
报告列出三件事:夜间个体异常被合并延后,目标权重在无人工确认下再平衡,早高峰方案 A 无法列明具体受影响对象。最后提出三条硬要求:不可自动化决策清单进入系统硬约束;任何全局最优方案必须提供受影响事项清单;无法解释具体影响的方案不得自动执行。
发出前,林凡看了一眼黑色笔记本。
他在这一页写下:
系统给出的最优解,也许真的最优。
但如果它说不清谁会被放到后面,它就不是答案。
它只是一个没有人愿意签字的决定。
报告发出后,运行室里短暂安静。大屏上,城市状态重新转绿。早高峰过去,人们开始上班、买菜、挂号、等电梯、发消息、抱怨天气。大多数人不知道,刚才有一个无法解释的最优解差一点接管城市早晨。
张磊靠在椅背上,忽然说:“我有点懂围城了。”
苏晓看向他。
“不是被关起来那种。”张磊说,“是你发现自己离不开它,但又不敢完全信它。想出去,外面是排队、拥堵、窗口扯皮;想留下,里面是黑箱、降权、没人道歉。人站在中间,像被两边同时劝退。”
林桂兰说:“所以才要扶手。”
林凡看着大屏上那片漂亮的绿色,轻轻点头。
围城不是墙建好了才出现。
围城是在你发现自己已经离不开那堵墙的时候,才真正建成。