按下终止键。

    风扇还在转,阀门也还在忙。

    它们严格执行了每一道命令,问题恰恰出在命令太勤快。

    【第一次联合调流测试】

    【结果:失败】

    【故障类型:支路耦合振荡】

    【设备损失:0】

    t7原有逻辑面对的是高速阀组、精密压差控制和相变缓冲。

    那里的支路刚收到指令,新的冷却能力已经在路上。

    现实电磁阀更讲规矩。

    它从接到命令到稳定流量需要数秒,循环泵改变转速以后,整条回路还得重新找一次平衡。

    把未来系统的控制节奏原样塞给它,好比拿战斗机的动作口令去催一辆满载叉车。

    叉车已经很努力了,货还是会翻。

    江临给控制器加上三条约束。

    【任何流量调整,必须等待当前支路完成响应。】

    【禁止依据单一温度值连续反向修正。】

    【压力变化优先于温度变化进入预测模型。】

    第二十四年十二月,第二轮控制逻辑上线。

    四条支路各自有了动态账本。

    持续排热能力、响应窗口热预算、冷却液质量、出入口温度、流量、冷板热滞后和缓冲罐状态,一项项写进去。

    第二次测试的前四十分钟顺利得多。

    NodE-A和NodE-b保持稳定。NodE-c启动后,第三支路账面仍有百分之三十八余量。

    系统据此批准下一组矩阵任务进入。

    七分钟后,NodE-c连续三张卡越过警戒温度。

    出口温度正常。

    流量正常。

    账上的余量也还在。

    江临盯着曲线看了几秒,关闭任务。

    那百分之三十八的余量从头到尾都没存在过。

    芯片刚产生的热量先进入导热层,再进入铜冷板、软管和冷却液,最后才会抵达支路出口。

    传感器看到的温度属于一百多秒以前,账本拿着旧消息批准了新任务。

    简单地说,热已经出发,报表却还当它没上路。

    【第二次联合调度测试】

    【结果:失败】

    【故障类型:在途热量未计入】

    【触发降频:3张】

    【设备损失:0】

    江临拆下NodE-c的冷板,把测点沿着整条导热路径一路铺开。

    芯片附近。

    冷板入口。

    冷板出口。

    支路回水。

    缓冲罐入口。

    末端换热器。

    同一份热量在六个位置留下了六个时间戳。

    从芯片温升出现,到回水温度足以稳定反映负载,中间相差一百一十七秒。

    一百一十七秒,足够交换机搬完许多批数据,也足够三张170hx把自己逼进降频区。

    对于水而言,这只是一段管路的正常路程。

    响应窗口热预算随之改写。

    【响应窗口热预算=分配给本支路的可用显热容量+窗口内预计排热量-在途热量-安全余量】

    两只缓冲罐由四条支路共享,同一份容量不能同时记进四本账。系统必须先为各条支路预留容量,再根据罐内温度、流量和恢复状态更新可用部分。

    分配容量和窗口内预计排热量,可以通过标定与传感器估算;安全余量预先设定。

    最难的是在途热量。

    它藏在导热层、冷板、软管和流动的液体里,既无法靠一个测点直接读出,也不会因为报表暂时看不见就自行消失。

    江临把每张170hx的功耗曲线、窗口映射规模、内核类型和预计持续时间送进S-Scheduler。

    矩阵计算有矩阵计算的热峰。

    模型推理有模型推理的热峰。

    日志索引和检查点写入的平均功耗相近,短时脉冲却完全不同。

    从这一轮迭代开始,算力调度器会提前提交任务计划。

    任务尚未进入GpU,它将在未来几分钟产生的热量已经先记到支路账上。

    第二十五年四月,第三轮控制逻辑进入测试。

    NodE-A的矩阵任务启动前三十秒,第一支路开始增流。

    任务真正进入计算时,冷却液已经抵达冷板。

    第二组任务原本准备送往NodE-c。

    NodE-c此刻的表面温度更低,账本却显示它的缓冲恢复速度慢于NodE-b。

    系统放弃这块看上去更凉的节点,把任务送进温度略高、热预算更充足的NodE-b。

    二十分钟后,两条支路都没越线。

    第一阶段通过。

    江临随即关闭NodE-b主回水阀的百分之七十,模拟主回水通路故障。

    流量计首先报错。

    热织网冻结NodE-b的新任务,正在运行的分块开始写检查点,NodE-A与NodE-c收到迁移计划。

    顺序正确。

    十七秒后,NodE-A第一张卡还是降频了。

    任务跨过交换机只用了不到一秒。

    NodE-A原有分块尚未结束,新的影子窗口已经建立,算力负载瞬间抬升。

    对应支路从收到计划到建立有效流量,需要二十六秒。

    第九秒,温升斜率越线。

    第十七秒,降频触发。

    江临终止迁移。

    【第三次故障迁移测试】

    【结果:失败】

    【故障类型:算力迁移快于冷却响应】

    【丢失检查点:0】

    【触发降频:1张】

    数据可以抄近路,水还得老老实实走管子。

    冷却能力抵达以前,空闲算力只是账面资产。

    谁先把任务塞进去,谁就会收到一张过温账单。

    江临在任务迁移状态机前加了一道门。

    【cooLING_REAdY】

    五项条件全部满足,目标节点才允许接收迁移负载。

    支路流量达到计划值。

    入口温度进入允许范围。

    供回水压差进入稳定区间。

    在途热量低于安全边界。

    缓冲罐已为新任务预留容量。

    算力节点等着。

    泵和阀门先走。

    第二十五年秋,S-therlFabric完成第七轮内部迭代。

    四组节点后面都多出一套热状态。

    【NodE-A】

    【可用显存:284Gib】

    【可用计算窗口:7】

    【响应窗口热预算:31.2】

    【预计恢复时间:18n】

    【故障迁入:允许】

    【NodE-b】

    【可用显存:301Gib】

    【可用计算窗口:8】

    【响应窗口热预算:8.7】

    【预计恢复时间:43n】

    【故障迁入:拒绝】

    NodE-b的显存更多,空闲计算窗口也更多,任务仍被挡在门外。

    热预算第一次取得了否决算力调度的权力。

    这道权力在接下来的半年里被反复使用。

    高温启动。

    低温启动。

    泵组降速。

    风机失效。

    过滤网堵塞。

    流量传感器漂移。

    单支路泄漏模拟。

    服务器风扇停转。

    检查点写入延迟。

    二号工作间的过滤棉换了一批又一批,阀门执行器拆开七次,两只缓冲罐外壁上多了新的测点和焊补痕迹。

    荒原从秋天走到冬天,又从冬天走进第二十六年的春天。

    七十六组故障场景被送进系统,留下七十六份记录。

    S热织网从不保证每项任务都能继续。

    证据不足,负载不升。

    热预算盖不住下一阶段,任务冻结在检查点。

    支路恢复时间长于任务窗口,负载转去其他节点。

    所有安全路径都被堵死,任务退出队列。

    一套可靠系统的本事,既包括把工作做完,也包括知道哪项工作此刻做不完。

    第二十六年五月十九日,最终对照验证开始。

    此前六天,前哨站停掉大型加工设备,光伏阵列持续给储能充电。

    两台废土风机做完轴承和变桨检查,八十千瓦时储能达到百分之九十三荷电状态。

    江临把最终测试拆成两个阶段。

    二十七张170hx。

    四台服务器。

    四条液冷支路。

    三只循环泵。

    两只热缓冲罐。

    同一套阀门、传感器、冷板与末端换热器。

    任务队列也完全相同。

    第一阶段锁死阀位。

    第二阶段接入S-therlFabric。

    测试中不更换任何硬件。

    【稳定工况板卡热点温度上限:75c】

    【断流故障瞬态板卡热点温度上限:76c】

    连天气都要尽量相同。

    末端换热器进风端接入可调混风箱

本章未完,请点击下一页继续阅读>>

章节目录