第十二次废土之行,第二十四年七月三日。

    前哨站二号工作间。

    四台服务器沿墙排开,二十七张170hx分布在四组节点里,风扇压着最低转速,发出很有耐心的嗡鸣。

    它们已经学会了骗人。

    不拆开看,谁也想不到这批本该老老实实待在矿场里计算哈希值的板卡,已经被江临从固件、驱动和运行时一路撬开,凑出接近一tib的稳定可计算hb

    矿场给它们安排的工作很单纯,日复一日搬同一种砖。

    到江临手里,矩阵分块、模型推理、代码索引和证明依赖图都能往里塞。

    可一批板卡能计算,与一座计算集群能长期工作,中间还隔着一道很热的门槛。

    江临把四天前新建的文件调到主屏。

    【S-therlFabric_v0.1】

    t7交出的本地服务包已经转入只读封存。

    未来设备编号、介质参数和原始服务协议都被隔离在实验链之外,控制系统只能读取江临重新定义过的接口。

    维护港原来的热管理表很简单。

    每条支路后面跟着一个数字,以兆焦为单位,代表还能吞下多少热量。

    这套写法适合相变缓冲单元。

    那东西像一只预先腾空的水库,剩下多少库容,能接多大的洪峰,一眼就能看清。

    眼前这套用水和乙二醇拼出来的液冷回路麻烦得多,它一边吃热,一边又把热量送去末端换热器。

    只记剩余容量,就像只盯着仓库里还有多少空地,却把每天进出多少货忘了个干净。

    于是江临给每条支路开了两本账。

    【持续排热能力:kw】

    【响应窗口内瞬态热预算:】

    第一本账管长久。

    一条支路每秒能送走多少热量,决定任务能跑一个小时,还是能跑一年。

    第二本账管眼前。

    泵组提速要时间,阀门转动要时间,冷却液从干管走到冷板同样要时间。

    在这几十秒里,芯片已经产生的热峰由谁接住,决定板卡是继续计算,还是先把自己烫到降频。

    算力有队列,显存有窗口,故障有账本。

    现在,热量也得入账。

    江临切断本地服务包与实验控制网的最后一条连接,开始改造四台服务器。

    原有风道保留下来,继续照顾主板、供电、存储和其他没压冷板的器件。

    二十七张170hx的GpU与hb域分别覆盖铜冷板,四组节点对应四条并联液冷支路。

    三只循环泵负责公共供回水,每条主路旁边再加一段常闭冗余旁路。

    正常时,旁路闭着。

    主路断流以后,它才有资格开口。

    支路末端是一组翅片式液—气换热器,十二台工业风机负责把热空气送出工作间。

    入口温度、出口温度、流量和供回水压力都有独立测点。GpU核心、hb域和板上供电区域的测温结果取最高值,统一记作板卡热点温度。

    两只废弃压力容器完成清洗和初次探伤后,被拖进工作间。

    江临在内部焊入金属翅片,完成封装,再重新进行焊缝探伤、水压与气密性测试,最后灌入水—乙二醇混合液,改作显热缓冲罐。

    这两只罐子显然谈不上先进。

    它们又大又重,单位体积吸热能力也很普通,和t7的相变缓冲单元摆在一起,大致相当于铁皮水桶参加未来工业品评奖。

    可铁皮水桶有铁皮水桶的好处。

    材料能买到,焊缝能检查,坏了能拆,拆完还能照着再做一只。

    现实世界接得住这样的东西。

    管路完工以后,江临仍然没让热织网接管控制权。

    他先把二十七张卡留在待机状态,在四组冷板回路上接入可调电阻加热块,一档一档地往冷却液里灌热。

    六千瓦。

    八千瓦。

    十千瓦。

    十一千瓦。

    十一点八千瓦。

    到最后一档,末端换热器的出液温度缓慢上移。两小时后,曲线停住,没再往上爬。

    江临在测试页上记下结果。

    【末端持续排热能力:11.8kw(当前进风温度、额定风量下)】

    这不是一条脱离环境成立的常数。

    进风温度、风机转速和液侧流量一并写入标定记录。

    【四节点集群预计满载It功率:9.6kw至10.1kw】

    换热器够用,泵组的总流量也够用。

    这是一条好消息,甚至好得有些可疑。

    硬件明明能端走整套集群的热量,四台服务器此前却始终无法同时跑满。

    热去了哪里?

    第二十四年七月十七日,固定阀位基准测试开始。

    四条支路按额定热负荷完成静态水力平衡。

    阀门开度写入记录,测试期间全部锁死。

    二十七张170hx建立影子窗口,统一任务队列依次进入四组节点。

    前二十分钟,曲线很漂亮。

    第三十一分钟,NodE-d的板卡热点温度首先越过七十五摄氏度。

    这组节点承担的检查点压缩和显存搬运更多,GpU核心尚有余地,hb板上供电区域已经开始积热。

    第四支路的回水温度向上抬,第二、第三支路却仍然凉快,NodE-b甚至空着接近一半的冷却余量。

    十一点八千瓦的末端能力还在。

    只是它平均分在四条管子里,谁也没问今天究竟是哪一组节点发热更多。

    第四十六分钟,NodE-d最高板卡热点温度达到七十九点八摄氏度,第一张卡触发降频。

    江临继续等待。

    单独压低NodE-d没有用。

    这批矩阵分块存在同步屏障,它慢下来,另外三组节点就得在检查点前陪它站着。

    此时迁走活动显存窗口,还要重新建立映射。

    S-Scheduler最终只能把整批任务的并发度一档一档往下砍。

    百分之九十。

    百分之八十。

    百分之七十。

    总负载降至百分之六十四,NodE-d的温度曲线终于压平。

    其余三条支路仍有余量。

    固定阀位模式继续运行六小时,设备完整,过温保护一次也没触发。

    代价同样很清楚:按九点八千瓦的满载It功率归一化,固定阀位下,四节点只能释放百分之六十四的安全持续计算负载。

    【固定阀位基准】

    【测试硬件:27张170hx】

    【末端排热能力:11.8kw(同标定工况)】

    【四节点集群满载It功率基准:9.8kw】

    【安全持续负载上限:64%】

    【限制来源:局部支路热量堆积】

    【闲置冷却能力:存在】

    四条支路加起来明明够用,最热的那一条仍然吃不到别处剩下的冷量。

    一座仓库里粮食充足,饿着的人却站在另一扇锁死的门后。

    继续往仓库里堆粮毫无意义,得先把门打开。

    江临在基准报告首页写下问题定义。

    【冷却系统总能力充足,局部冷却能力无法随计算任务转移。】

    最省事的补救有两种。

    重新调一次静态水力平衡,或者按最热节点的需求提高总流量和风机转速。

    前一种方案只认一种稳定负载,任务一换,平衡就得跟着重做。

    后一种方案更直截了当,只要肯长期支付电耗、泵组余量和换热冗余,总能把最坏工况压住。

    工程上经常这么干,可靠,省脑子,主要缺点是费钱。

    成熟算力中心早已配备变频泵、温控阀和热感知调度。

    江临此刻推进的也并非给水泵加一只自动开关。

    他要把任务即将产生的热峰、管路尚未送到的在途热量、支路恢复时间和检查点迁移资格,全都压进同一套可验证的运行状态。

    任务计划、在途热量、阀门响应和检查点迁移,必须进入同一张状态表。

    冷却能力要像计算任务一样可测量、可预留、可迁移,也要知道什么时候该拒绝。

    第二十四年八月十二日,S热织网第一次接管四条支路。

    NodE-A与NodE-b进入计算状态,另外两组待机。

    这一轮只验证稳定工况下的联合调流:两组节点进入稳定负载后,板卡热点温度必须维持在七十五摄氏度以下。

    任务启动四分二十秒,NodE-A温升斜率超出预测。

    第一支路阀门开大。

    流量增加,支路压力上升,公共干管压差随之变化,NodE-b获得的流量开始下降。

    四十秒后,NodE-b温度抬头。

    系统转而打开第二支路阀门。

    NodE-b得救,NodE-A又开始升温。

    两条支路围着同一组泵打起了拉锯。

    电磁阀在百分之三十四与百分之七十一开度之间往返,压力曲线先动,流量曲线随后,温度曲线拖在最后,等温度终于把消息送到控制器,上一轮命令早已把局面改得面目全非。

    第十一分钟,NodE-b第一张170hx降频。

    第十三分钟,第二张卡逼近保护边界。

    江临

本章未完,请点击下一页继续阅读>>

章节目录