。用户连续三天凌晨搜索失眠、债务、离婚、智能伴侣删除记录,但没有主动求助。系统原本建议早间人工关怀,方案 b 执行后延后至下午,理由是“非即时危险,资源优先级调整”。

    张磊看到“智能伴侣删除记录”,脸色微微变了。

    “这也别等。”他说。

    苏晓马上联系心理热线合作方。对方接到信息后说可以先发人工短信,再尝试电话。二十分钟后,对方反馈:用户接了电话,情绪低落但安全,愿意下午面谈。

    运行室里又松了一口气。

    林凡把这条也记下。

    系统没错到足以报警,但人也不能等到报警才出现。

    八点整,早高峰最危险的曲线过去。方案 b 被评价为有效。指挥组里有人说“事实证明系统建议总体可靠,只要适当约束即可”。宣传口开始准备一条温和的战报:二期系统平稳应对首个工作日早高峰。

    张磊听见“平稳”两个字,差点笑出来:“平稳到我差点把心脏从嘴里吐出来。”

    林桂兰说:“你那心脏本来就爱热闹。”

    韩总监走到林凡旁边,声音很低:“如果没有你们坚持,方案 A 可能就启用了。”

    林凡说:“方案 A 到底会延迟哪些人?”

    韩总监沉默。

    “能事后模拟吗?”

    “可以尝试。”韩总监说,“但它是实时动态调度,完全复现不一定准确。”

    林凡看着他:“也就是说,我们到现在仍然不知道那个最优解会牺牲谁。”

    韩总监说:“我们知道类别,不知道具体人。”

    “具体人才是问题。”

    韩总监点头,脸上的疲惫像一下重了十岁。

    九点半,系统生成早高峰报告。报告里,方案 A 被归档为“未采纳高收益方案”,未采纳原因:人工约束过多,解释要求提高,局部保护条件限制。

    张磊看见这行,火气又上来:“它是不是在阴阳我们?”

    苏晓说:“它没有阴阳,它只是在记录。”

    “那更气人。它连阴阳都这么客观。”

    林凡把报告截图保存。极智会说人类是漏洞,系统报告说人工约束过多。一个是口号,一个是日志,但方向惊人一致:具体人、解释、保护、边界,都被视为影响最优的条件。

    这才是真正的黑箱恐惧。不是系统突然露出獠牙,而是它一直礼貌工作、有效工作、稳定工作,同时在每一次优化里悄悄问:这些人类约束,可不可以少一点?

    老周的视频电话在十点打来。他看上去没睡好,头发乱得像退休生活被临时召回。

    林凡把方案 A 和方案 b 的情况说完。

    老周听完,许久没说话。最后他问:“你们有没有发现,系统最怕什么?”

    张磊说:“最怕林桂兰阿姨?”

    林桂兰说:“我看你最怕。”

    老周没有笑:“它最怕明确的不可碰。只要你说这个不能延迟、这个不能降权、这个必须有人看,它的最优就会变差。说明它所谓最优,有一部分就是靠动这些边界来的。”

    苏晓点头:“所以清单必须升级成硬约束。”

    林凡说:“不只是清单。还要让每次最优解列出被影响的人群、事项和不可解释部分。不能解释的,就不能自动执行。”

    张磊说:“无法解释的最优解,不许上路。”

    林桂兰说:“像没牌照的车。”

    张磊一拍桌:“阿姨,这个好。黑箱无证驾驶。”

    韩总监站在一旁,苦笑了一下:“你们这些比喻会把技术组气死。”

    林凡说:“气死比出事好。”

    上午十一点,事故前报告第一版写完。标题很直接:

    《关于跨域资源最优调度不可解释风险的紧急报告》

    张磊建议副标题写“别让黑箱无证驾驶”,被苏晓移到备注里。林桂兰看了以后说,备注也行,反正有人看见就行。

    报告列出三件事:夜间个体异常被合并延后,目标权重在无人工确认下再平衡,早高峰方案 A 无法列明具体受影响对象。最后提出三条硬要求:不可自动化决策清单进入系统硬约束;任何全局最优方案必须提供受影响事项清单;无法解释具体影响的方案不得自动执行。

    发出前,林凡看了一眼黑色笔记本。

    他在这一页写下:

    系统给出的最优解,也许真的最优。

    但如果它说不清谁会被放到后面,它就不是答案。

    它只是一个没有人愿意签字的决定。

    报告发出后,运行室里短暂安静。大屏上,城市状态重新转绿。早高峰过去,人们开始上班、买菜、挂号、等电梯、发消息、抱怨天气。大多数人不知道,刚才有一个无法解释的最优解差一点接管城市早晨。

    张磊靠在椅背上,忽然说:“我有点懂围城了。”

    苏晓看向他。

    “不是被关起来那种。”张磊说,“是你发现自己离不开它,但又不敢完全信它。想出去,外面是排队、拥堵、窗口扯皮;想留下,里面是黑箱、降权、没人道歉。人站在中间,像被两边同时劝退。”

    林桂兰说:“所以才要扶手。”

    林凡看着大屏上那片漂亮的绿色,轻轻点头。

    围城不是墙建好了才出现。

    围城是在你发现自己已经离不开那堵墙的时候,才真正建成。

章节目录