第十二次废土之行,第二十四年七月三日。
前哨站二号工作间。
四台服务器沿墙排开,二十七张170hx分布在四组节点里,风扇压着最低转速,发出很有耐心的嗡鸣。
它们已经学会了骗人。
不拆开看,谁也想不到这批本该老老实实待在矿场里计算哈希值的板卡,已经被江临从固件、驱动和运行时一路撬开,凑出接近一tib的稳定可计算hb
矿场给它们安排的工作很单纯,日复一日搬同一种砖。
到江临手里,矩阵分块、模型推理、代码索引和证明依赖图都能往里塞。
可一批板卡能计算,与一座计算集群能长期工作,中间还隔着一道很热的门槛。
江临把四天前新建的文件调到主屏。
【S-therlFabric_v0.1】
t7交出的本地服务包已经转入只读封存。
未来设备编号、介质参数和原始服务协议都被隔离在实验链之外,控制系统只能读取江临重新定义过的接口。
维护港原来的热管理表很简单。
每条支路后面跟着一个数字,以兆焦为单位,代表还能吞下多少热量。
这套写法适合相变缓冲单元。
那东西像一只预先腾空的水库,剩下多少库容,能接多大的洪峰,一眼就能看清。
眼前这套用水和乙二醇拼出来的液冷回路麻烦得多,它一边吃热,一边又把热量送去末端换热器。
只记剩余容量,就像只盯着仓库里还有多少空地,却把每天进出多少货忘了个干净。
于是江临给每条支路开了两本账。
【持续排热能力:kw】
【响应窗口内瞬态热预算:】
第一本账管长久。
一条支路每秒能送走多少热量,决定任务能跑一个小时,还是能跑一年。
第二本账管眼前。
泵组提速要时间,阀门转动要时间,冷却液从干管走到冷板同样要时间。
在这几十秒里,芯片已经产生的热峰由谁接住,决定板卡是继续计算,还是先把自己烫到降频。
算力有队列,显存有窗口,故障有账本。
现在,热量也得入账。
江临切断本地服务包与实验控制网的最后一条连接,开始改造四台服务器。
原有风道保留下来,继续照顾主板、供电、存储和其他没压冷板的器件。
二十七张170hx的GpU与hb域分别覆盖铜冷板,四组节点对应四条并联液冷支路。
三只循环泵负责公共供回水,每条主路旁边再加一段常闭冗余旁路。
正常时,旁路闭着。
主路断流以后,它才有资格开口。
支路末端是一组翅片式液—气换热器,十二台工业风机负责把热空气送出工作间。
入口温度、出口温度、流量和供回水压力都有独立测点。GpU核心、hb域和板上供电区域的测温结果取最高值,统一记作板卡热点温度。
两只废弃压力容器完成清洗和初次探伤后,被拖进工作间。
江临在内部焊入金属翅片,完成封装,再重新进行焊缝探伤、水压与气密性测试,最后灌入水—乙二醇混合液,改作显热缓冲罐。
这两只罐子显然谈不上先进。
它们又大又重,单位体积吸热能力也很普通,和t7的相变缓冲单元摆在一起,大致相当于铁皮水桶参加未来工业品评奖。
可铁皮水桶有铁皮水桶的好处。
材料能买到,焊缝能检查,坏了能拆,拆完还能照着再做一只。
现实世界接得住这样的东西。
管路完工以后,江临仍然没让热织网接管控制权。
他先把二十七张卡留在待机状态,在四组冷板回路上接入可调电阻加热块,一档一档地往冷却液里灌热。
六千瓦。
八千瓦。
十千瓦。
十一千瓦。
十一点八千瓦。
到最后一档,末端换热器的出液温度缓慢上移。两小时后,曲线停住,没再往上爬。
江临在测试页上记下结果。
【末端持续排热能力:11.8kw(当前进风温度、额定风量下)】
这不是一条脱离环境成立的常数。
进风温度、风机转速和液侧流量一并写入标定记录。
【四节点集群预计满载It功率:9.6kw至10.1kw】
换热器够用,泵组的总流量也够用。
这是一条好消息,甚至好得有些可疑。
硬件明明能端走整套集群的热量,四台服务器此前却始终无法同时跑满。
热去了哪里?
第二十四年七月十七日,固定阀位基准测试开始。
四条支路按额定热负荷完成静态水力平衡。
阀门开度写入记录,测试期间全部锁死。
二十七张170hx建立影子窗口,统一任务队列依次进入四组节点。
前二十分钟,曲线很漂亮。
第三十一分钟,NodE-d的板卡热点温度首先越过七十五摄氏度。
这组节点承担的检查点压缩和显存搬运更多,GpU核心尚有余地,hb板上供电区域已经开始积热。
第四支路的回水温度向上抬,第二、第三支路却仍然凉快,NodE-b甚至空着接近一半的冷却余量。
十一点八千瓦的末端能力还在。
只是它平均分在四条管子里,谁也没问今天究竟是哪一组节点发热更多。
第四十六分钟,NodE-d最高板卡热点温度达到七十九点八摄氏度,第一张卡触发降频。
江临继续等待。
单独压低NodE-d没有用。
这批矩阵分块存在同步屏障,它慢下来,另外三组节点就得在检查点前陪它站着。
此时迁走活动显存窗口,还要重新建立映射。
S-Scheduler最终只能把整批任务的并发度一档一档往下砍。
百分之九十。
百分之八十。
百分之七十。
总负载降至百分之六十四,NodE-d的温度曲线终于压平。
其余三条支路仍有余量。
固定阀位模式继续运行六小时,设备完整,过温保护一次也没触发。
代价同样很清楚:按九点八千瓦的满载It功率归一化,固定阀位下,四节点只能释放百分之六十四的安全持续计算负载。
【固定阀位基准】
【测试硬件:27张170hx】
【末端排热能力:11.8kw(同标定工况)】
【四节点集群满载It功率基准:9.8kw】
【安全持续负载上限:64%】
【限制来源:局部支路热量堆积】
【闲置冷却能力:存在】
四条支路加起来明明够用,最热的那一条仍然吃不到别处剩下的冷量。
一座仓库里粮食充足,饿着的人却站在另一扇锁死的门后。
继续往仓库里堆粮毫无意义,得先把门打开。
江临在基准报告首页写下问题定义。
【冷却系统总能力充足,局部冷却能力无法随计算任务转移。】
最省事的补救有两种。
重新调一次静态水力平衡,或者按最热节点的需求提高总流量和风机转速。
前一种方案只认一种稳定负载,任务一换,平衡就得跟着重做。
后一种方案更直截了当,只要肯长期支付电耗、泵组余量和换热冗余,总能把最坏工况压住。
工程上经常这么干,可靠,省脑子,主要缺点是费钱。
成熟算力中心早已配备变频泵、温控阀和热感知调度。
江临此刻推进的也并非给水泵加一只自动开关。
他要把任务即将产生的热峰、管路尚未送到的在途热量、支路恢复时间和检查点迁移资格,全都压进同一套可验证的运行状态。
任务计划、在途热量、阀门响应和检查点迁移,必须进入同一张状态表。
冷却能力要像计算任务一样可测量、可预留、可迁移,也要知道什么时候该拒绝。
第二十四年八月十二日,S热织网第一次接管四条支路。
NodE-A与NodE-b进入计算状态,另外两组待机。
这一轮只验证稳定工况下的联合调流:两组节点进入稳定负载后,板卡热点温度必须维持在七十五摄氏度以下。
任务启动四分二十秒,NodE-A温升斜率超出预测。
第一支路阀门开大。
流量增加,支路压力上升,公共干管压差随之变化,NodE-b获得的流量开始下降。
四十秒后,NodE-b温度抬头。
系统转而打开第二支路阀门。
NodE-b得救,NodE-A又开始升温。
两条支路围着同一组泵打起了拉锯。
电磁阀在百分之三十四与百分之七十一开度之间往返,压力曲线先动,流量曲线随后,温度曲线拖在最后,等温度终于把消息送到控制器,上一轮命令早已把局面改得面目全非。
第十一分钟,NodE-b第一张170hx降频。
第十三分钟,第二张卡逼近保护边界。
江临
前哨站二号工作间。
四台服务器沿墙排开,二十七张170hx分布在四组节点里,风扇压着最低转速,发出很有耐心的嗡鸣。
它们已经学会了骗人。
不拆开看,谁也想不到这批本该老老实实待在矿场里计算哈希值的板卡,已经被江临从固件、驱动和运行时一路撬开,凑出接近一tib的稳定可计算hb
矿场给它们安排的工作很单纯,日复一日搬同一种砖。
到江临手里,矩阵分块、模型推理、代码索引和证明依赖图都能往里塞。
可一批板卡能计算,与一座计算集群能长期工作,中间还隔着一道很热的门槛。
江临把四天前新建的文件调到主屏。
【S-therlFabric_v0.1】
t7交出的本地服务包已经转入只读封存。
未来设备编号、介质参数和原始服务协议都被隔离在实验链之外,控制系统只能读取江临重新定义过的接口。
维护港原来的热管理表很简单。
每条支路后面跟着一个数字,以兆焦为单位,代表还能吞下多少热量。
这套写法适合相变缓冲单元。
那东西像一只预先腾空的水库,剩下多少库容,能接多大的洪峰,一眼就能看清。
眼前这套用水和乙二醇拼出来的液冷回路麻烦得多,它一边吃热,一边又把热量送去末端换热器。
只记剩余容量,就像只盯着仓库里还有多少空地,却把每天进出多少货忘了个干净。
于是江临给每条支路开了两本账。
【持续排热能力:kw】
【响应窗口内瞬态热预算:】
第一本账管长久。
一条支路每秒能送走多少热量,决定任务能跑一个小时,还是能跑一年。
第二本账管眼前。
泵组提速要时间,阀门转动要时间,冷却液从干管走到冷板同样要时间。
在这几十秒里,芯片已经产生的热峰由谁接住,决定板卡是继续计算,还是先把自己烫到降频。
算力有队列,显存有窗口,故障有账本。
现在,热量也得入账。
江临切断本地服务包与实验控制网的最后一条连接,开始改造四台服务器。
原有风道保留下来,继续照顾主板、供电、存储和其他没压冷板的器件。
二十七张170hx的GpU与hb域分别覆盖铜冷板,四组节点对应四条并联液冷支路。
三只循环泵负责公共供回水,每条主路旁边再加一段常闭冗余旁路。
正常时,旁路闭着。
主路断流以后,它才有资格开口。
支路末端是一组翅片式液—气换热器,十二台工业风机负责把热空气送出工作间。
入口温度、出口温度、流量和供回水压力都有独立测点。GpU核心、hb域和板上供电区域的测温结果取最高值,统一记作板卡热点温度。
两只废弃压力容器完成清洗和初次探伤后,被拖进工作间。
江临在内部焊入金属翅片,完成封装,再重新进行焊缝探伤、水压与气密性测试,最后灌入水—乙二醇混合液,改作显热缓冲罐。
这两只罐子显然谈不上先进。
它们又大又重,单位体积吸热能力也很普通,和t7的相变缓冲单元摆在一起,大致相当于铁皮水桶参加未来工业品评奖。
可铁皮水桶有铁皮水桶的好处。
材料能买到,焊缝能检查,坏了能拆,拆完还能照着再做一只。
现实世界接得住这样的东西。
管路完工以后,江临仍然没让热织网接管控制权。
他先把二十七张卡留在待机状态,在四组冷板回路上接入可调电阻加热块,一档一档地往冷却液里灌热。
六千瓦。
八千瓦。
十千瓦。
十一千瓦。
十一点八千瓦。
到最后一档,末端换热器的出液温度缓慢上移。两小时后,曲线停住,没再往上爬。
江临在测试页上记下结果。
【末端持续排热能力:11.8kw(当前进风温度、额定风量下)】
这不是一条脱离环境成立的常数。
进风温度、风机转速和液侧流量一并写入标定记录。
【四节点集群预计满载It功率:9.6kw至10.1kw】
换热器够用,泵组的总流量也够用。
这是一条好消息,甚至好得有些可疑。
硬件明明能端走整套集群的热量,四台服务器此前却始终无法同时跑满。
热去了哪里?
第二十四年七月十七日,固定阀位基准测试开始。
四条支路按额定热负荷完成静态水力平衡。
阀门开度写入记录,测试期间全部锁死。
二十七张170hx建立影子窗口,统一任务队列依次进入四组节点。
前二十分钟,曲线很漂亮。
第三十一分钟,NodE-d的板卡热点温度首先越过七十五摄氏度。
这组节点承担的检查点压缩和显存搬运更多,GpU核心尚有余地,hb板上供电区域已经开始积热。
第四支路的回水温度向上抬,第二、第三支路却仍然凉快,NodE-b甚至空着接近一半的冷却余量。
十一点八千瓦的末端能力还在。
只是它平均分在四条管子里,谁也没问今天究竟是哪一组节点发热更多。
第四十六分钟,NodE-d最高板卡热点温度达到七十九点八摄氏度,第一张卡触发降频。
江临继续等待。
单独压低NodE-d没有用。
这批矩阵分块存在同步屏障,它慢下来,另外三组节点就得在检查点前陪它站着。
此时迁走活动显存窗口,还要重新建立映射。
S-Scheduler最终只能把整批任务的并发度一档一档往下砍。
百分之九十。
百分之八十。
百分之七十。
总负载降至百分之六十四,NodE-d的温度曲线终于压平。
其余三条支路仍有余量。
固定阀位模式继续运行六小时,设备完整,过温保护一次也没触发。
代价同样很清楚:按九点八千瓦的满载It功率归一化,固定阀位下,四节点只能释放百分之六十四的安全持续计算负载。
【固定阀位基准】
【测试硬件:27张170hx】
【末端排热能力:11.8kw(同标定工况)】
【四节点集群满载It功率基准:9.8kw】
【安全持续负载上限:64%】
【限制来源:局部支路热量堆积】
【闲置冷却能力:存在】
四条支路加起来明明够用,最热的那一条仍然吃不到别处剩下的冷量。
一座仓库里粮食充足,饿着的人却站在另一扇锁死的门后。
继续往仓库里堆粮毫无意义,得先把门打开。
江临在基准报告首页写下问题定义。
【冷却系统总能力充足,局部冷却能力无法随计算任务转移。】
最省事的补救有两种。
重新调一次静态水力平衡,或者按最热节点的需求提高总流量和风机转速。
前一种方案只认一种稳定负载,任务一换,平衡就得跟着重做。
后一种方案更直截了当,只要肯长期支付电耗、泵组余量和换热冗余,总能把最坏工况压住。
工程上经常这么干,可靠,省脑子,主要缺点是费钱。
成熟算力中心早已配备变频泵、温控阀和热感知调度。
江临此刻推进的也并非给水泵加一只自动开关。
他要把任务即将产生的热峰、管路尚未送到的在途热量、支路恢复时间和检查点迁移资格,全都压进同一套可验证的运行状态。
任务计划、在途热量、阀门响应和检查点迁移,必须进入同一张状态表。
冷却能力要像计算任务一样可测量、可预留、可迁移,也要知道什么时候该拒绝。
第二十四年八月十二日,S热织网第一次接管四条支路。
NodE-A与NodE-b进入计算状态,另外两组待机。
这一轮只验证稳定工况下的联合调流:两组节点进入稳定负载后,板卡热点温度必须维持在七十五摄氏度以下。
任务启动四分二十秒,NodE-A温升斜率超出预测。
第一支路阀门开大。
流量增加,支路压力上升,公共干管压差随之变化,NodE-b获得的流量开始下降。
四十秒后,NodE-b温度抬头。
系统转而打开第二支路阀门。
NodE-b得救,NodE-A又开始升温。
两条支路围着同一组泵打起了拉锯。
电磁阀在百分之三十四与百分之七十一开度之间往返,压力曲线先动,流量曲线随后,温度曲线拖在最后,等温度终于把消息送到控制器,上一轮命令早已把局面改得面目全非。
第十一分钟,NodE-b第一张170hx降频。
第十三分钟,第二张卡逼近保护边界。
江临