AI 训练集群机柜分集液器选型边界
AI 训练集群的机柜功率密度往往 30–60 kW 起步,单柜内几十块冷板并联,任一路流量偏差都会直接变成 CPU 结温差。分集液器在这里不是“分配水的零件”,而是均流的主控点。选型要把边界前置,而不是等上线再调。
一、AI 集群的均流差为什么比普通机房更敏感?
普通机房冷板少、单柜功率低,流量差 12% 结温影响有限;AI 集群冷板密、功率高,同样偏差会让高负载卡结温更早撞墙。我们建议 AI 集群把阀门全开均流差锁在 8% 以内,而非行业通用的 10%。
二、单柜路数怎么和 GPU 冷板数对上?
一块主流 GPU 冷板一路,八卡机柜至少 8 路,高密度机柜可能 16–32 路。分配腔路数要按冷板数向上取整并留冗余。我们建议路数 = 冷板数 + 10–20% 冗余路,冗余路用盲堵,便于后续加卡。
三、最大工作压力按什么定?
AI 集群二次侧供液压力本就不低,分配腔最大工作压力不宜低于 0.35 MPa、整体承压不低于 1.0 MPa。若 CDU 二次侧压力偏高,边界还要上移。我们把压力边界写进需求,避免选到承压刚够的腔体。
四、盲插还是固定快插?
AI 集群维护频繁,盲插(含 UQD 类)支持插拔零排液,维护不排液更友好;固定快插成本低但要排液。我们倾向高密度训练柜用盲插,降低每次维护的停机与补液成本。
五、分配腔要不要带监测接口?
要。均流偏差、漏液都要可追溯,分配腔预留压力/温度/漏液监测接口,能把问题定位到路。我们建议监测内建,而不是等漏了再外挂传感器。
六、材质和介质怎么匹配?
去离子水用 316L + EPDM,含乙二醇用 FKM。介质电导率 ≤10 μS/cm、pH 6–8。来料附牌号与密封证明。材质选错,高功率下密封老化更快。
七、安装空间和维护通道留多少?
训练柜后侧常被线缆占满。分配腔选薄型面板安装,留开盖与锁止操作空间。我们见过因腔体过厚、维护手伸不进去的尴尬,选型时就把外形与通道写进约束。
八、扩容时分配腔怎么不拖后腿?
按终态路数选腔、闲置路盲堵,扩容拔堵接插即通。盲插到位指示确认锁止,避免假插紧。我们把扩容场景写进验收,而不是等扩容时再改分配腔。
九、验收时 AI 集群额外看什么?
除流量偏差和氦检,还要看满负载下的结温梯度:同一机柜各 GPU 结温差应可控。我们建议把结温梯度纳入验收,因为它才是均流的最终裁判。
十、选型结论怎么落到采购清单?
把均流差、路数、压力、盲插形式、监测接口、材质、外形七项写成硬约束发给供应商。边界清楚,AI 集群的均流才有保障。我们更看重约束闭环,而不是单看参数表。
十一、训练柜和推理柜边界一样吗?
训练柜功率高、波动大,边界更严;推理柜功率稳、密度低,可略宽。我们按柜型给不同均流与压力边界,不一套标准套全部,避免训练柜被推理柜标准拖垮。
十二、液冷和风冷混布怎么选分配腔?
混布时液冷柜集中、风冷柜旁挂,分配腔只服务液冷部分,路数按液冷冷板定。我们不建议把风冷柜算进液冷均流,混算会拉低整体目标。
十三、监测数据怎么接进运维?
分配腔预留的压/温/漏接口接到动环或 BMS,阈值告警。我们建议监测内建、数据直连,而不是靠人巡检看表,问题定位到路才快。
十四、盲插备件配多少?
按维护频次与路数配,关键柜冗余盲插现场留件。我们按“高频维护柜多配、低频少配”定比例,不拍脑袋,扩容与换件都不等件。
十五、扩容节奏怎么和选型对齐?
选型按终态路数,扩容按盲堵释放节奏。我们建议把扩容计划表给供应商,分配腔一次到位,后续只拔堵接插,不二次改造。
十六、液冷占比怎么定边界?
按单柜功率密度定液冷覆盖:高密度柜全液冷,低密度柜可风液混合。我们按柜型给液冷边界,不强行全柜液冷,避免低密柜浪费分配腔路数。
十七、监测告警阈值怎么设?
均流偏差超 8%、漏液即告警、温度梯度超阈值升级。我们阈值写进 BMS,分级告警不漏不烦,运维按级响应而不是天天看表。
十八、盲插维护周期多长?
按插拔频次定,高频训练柜季度复检密封,低频柜半年。我们周期写进运维卡,到点就检,不靠漏了再换。
十九、扩容验收额外看什么?
扩容拔堵接插后复测均流与氦检,确认盲堵释放无误、无假插紧。我们把扩容当一次小验收,不是顺手插上就完。
二十、训练集群电源和液冷怎么联判?
单柜功率密度决定液冷边界,电源和液冷要联合看:PDU 相别不平衡会带偏机柜热分布,液冷均流也要跟着校。我们选型时把电源相别和液冷路数放一张表,避免液冷按平均功率定、实际偏相烧冷板。
二十一、多厂商机柜怎么统一分配腔?
不同厂商冷板接口各异,统一分配腔要靠转接与标准快接。我们建接口映射表,分配腔出口标准化,机柜侧转接,扩容混厂商也不乱,维护备件也按标准走。
二十二、液冷告警和工单怎么联动?
均流超差、漏液、结温梯度告警自动生成工单并定位到路。我们告警直连工单系统,不靠人盯屏,问题从发现到派单分钟级,定位到路省排查。
二十三、液冷和供电联判怎么复盘?
单柜功率密度决定液冷边界,电源相别不平衡会偏热分布,液冷均流要跟着校。我们联判复盘成例,偏相早发现早调,不靠平均功率定边界。
二十四、扩容验收清单怎么写?
拔堵接插后复测均流与氦检、确认盲堵释放无误、无假插紧。我们把扩容当小验收,清单化,不是顺手插上就完,扩容质量也可追溯。
某 AI 训练集群 32 柜项目,按终态 48 路选分配腔、闲置路盲堵,训练柜用盲插,满负载各 GPU 结温差控制在 3℃ 内,扩容拔堵即通零停机。