AI 训练集群机柜分集液器选型边界

AI 训练集群单柜功率密度高、流量偏差直接体现为结温差。选型要把最大工作压力、均流差、路数、盲插形式、监控接口五个边界前置锁定。

AI 训练集群的机柜功率密度往往 30–60 kW 起步,单柜内几十块冷板并联,任一路流量偏差都会直接变成 CPU 结温差。分集液器在这里不是“分配水的零件”,而是均流的主控点。选型要把边界前置,而不是等上线再调。

一、AI 集群的均流差为什么比普通机房更敏感?

普通机房冷板少、单柜功率低,流量差 12% 结温影响有限;AI 集群冷板密、功率高,同样偏差会让高负载卡结温更早撞墙。我们建议 AI 集群把阀门全开均流差锁在 8% 以内,而非行业通用的 10%。

二、单柜路数怎么和 GPU 冷板数对上?

一块主流 GPU 冷板一路,八卡机柜至少 8 路,高密度机柜可能 16–32 路。分配腔路数要按冷板数向上取整并留冗余。我们建议路数 = 冷板数 + 10–20% 冗余路,冗余路用盲堵,便于后续加卡。

三、最大工作压力按什么定?

AI 集群二次侧供液压力本就不低,分配腔最大工作压力不宜低于 0.35 MPa、整体承压不低于 1.0 MPa。若 CDU 二次侧压力偏高,边界还要上移。我们把压力边界写进需求,避免选到承压刚够的腔体。

四、盲插还是固定快插?

AI 集群维护频繁,盲插(含 UQD 类)支持插拔零排液,维护不排液更友好;固定快插成本低但要排液。我们倾向高密度训练柜用盲插,降低每次维护的停机与补液成本。

五、分配腔要不要带监测接口?

要。均流偏差、漏液都要可追溯,分配腔预留压力/温度/漏液监测接口,能把问题定位到路。我们建议监测内建,而不是等漏了再外挂传感器。

六、材质和介质怎么匹配?

去离子水用 316L + EPDM,含乙二醇用 FKM。介质电导率 ≤10 μS/cm、pH 6–8。来料附牌号与密封证明。材质选错,高功率下密封老化更快。

七、安装空间和维护通道留多少?

训练柜后侧常被线缆占满。分配腔选薄型面板安装,留开盖与锁止操作空间。我们见过因腔体过厚、维护手伸不进去的尴尬,选型时就把外形与通道写进约束。

八、扩容时分配腔怎么不拖后腿?

按终态路数选腔、闲置路盲堵,扩容拔堵接插即通。盲插到位指示确认锁止,避免假插紧。我们把扩容场景写进验收,而不是等扩容时再改分配腔。

九、验收时 AI 集群额外看什么?

除流量偏差和氦检,还要看满负载下的结温梯度:同一机柜各 GPU 结温差应可控。我们建议把结温梯度纳入验收,因为它才是均流的最终裁判。

十、选型结论怎么落到采购清单?

把均流差、路数、压力、盲插形式、监测接口、材质、外形七项写成硬约束发给供应商。边界清楚,AI 集群的均流才有保障。我们更看重约束闭环,而不是单看参数表。

十一、训练柜和推理柜边界一样吗?

训练柜功率高、波动大,边界更严;推理柜功率稳、密度低,可略宽。我们按柜型给不同均流与压力边界,不一套标准套全部,避免训练柜被推理柜标准拖垮。

十二、液冷和风冷混布怎么选分配腔?

混布时液冷柜集中、风冷柜旁挂,分配腔只服务液冷部分,路数按液冷冷板定。我们不建议把风冷柜算进液冷均流,混算会拉低整体目标。

十三、监测数据怎么接进运维?

分配腔预留的压/温/漏接口接到动环或 BMS,阈值告警。我们建议监测内建、数据直连,而不是靠人巡检看表,问题定位到路才快。

十四、盲插备件配多少?

按维护频次与路数配,关键柜冗余盲插现场留件。我们按“高频维护柜多配、低频少配”定比例,不拍脑袋,扩容与换件都不等件。

十五、扩容节奏怎么和选型对齐?

选型按终态路数,扩容按盲堵释放节奏。我们建议把扩容计划表给供应商,分配腔一次到位,后续只拔堵接插,不二次改造。

十六、液冷占比怎么定边界?

按单柜功率密度定液冷覆盖:高密度柜全液冷,低密度柜可风液混合。我们按柜型给液冷边界,不强行全柜液冷,避免低密柜浪费分配腔路数。

十七、监测告警阈值怎么设?

均流偏差超 8%、漏液即告警、温度梯度超阈值升级。我们阈值写进 BMS,分级告警不漏不烦,运维按级响应而不是天天看表。

十八、盲插维护周期多长?

按插拔频次定,高频训练柜季度复检密封,低频柜半年。我们周期写进运维卡,到点就检,不靠漏了再换。

十九、扩容验收额外看什么?

扩容拔堵接插后复测均流与氦检,确认盲堵释放无误、无假插紧。我们把扩容当一次小验收,不是顺手插上就完。

二十、训练集群电源和液冷怎么联判?

单柜功率密度决定液冷边界,电源和液冷要联合看:PDU 相别不平衡会带偏机柜热分布,液冷均流也要跟着校。我们选型时把电源相别和液冷路数放一张表,避免液冷按平均功率定、实际偏相烧冷板。

二十一、多厂商机柜怎么统一分配腔?

不同厂商冷板接口各异,统一分配腔要靠转接与标准快接。我们建接口映射表,分配腔出口标准化,机柜侧转接,扩容混厂商也不乱,维护备件也按标准走。

二十二、液冷告警和工单怎么联动?

均流超差、漏液、结温梯度告警自动生成工单并定位到路。我们告警直连工单系统,不靠人盯屏,问题从发现到派单分钟级,定位到路省排查。

二十三、液冷和供电联判怎么复盘?

单柜功率密度决定液冷边界,电源相别不平衡会偏热分布,液冷均流要跟着校。我们联判复盘成例,偏相早发现早调,不靠平均功率定边界。

二十四、扩容验收清单怎么写?

拔堵接插后复测均流与氦检、确认盲堵释放无误、无假插紧。我们把扩容当小验收,清单化,不是顺手插上就完,扩容质量也可追溯。

实践经验

某 AI 训练集群 32 柜项目,按终态 48 路选分配腔、闲置路盲堵,训练柜用盲插,满负载各 GPU 结温差控制在 3℃ 内,扩容拔堵即通零停机。

常见问题

AI 集群均流差卡几?
建议阀门全开 ≤8%,比行业通用的 10% 更严,因为高功率下流量偏差直接变成结温差。
路数怎么留冗余?
路数 = 冷板数 + 10–20% 冗余路,冗余路用盲堵封闭,便于后续加卡扩容。
盲插和固定快插怎么选?
高密度训练柜用盲插,插拔零排液、维护不停机;固定快插成本低但维护要排液。
分配腔要带监测吗?
建议监测内建,预留压力/温度/漏液接口,把问题定位到路,而不是等漏了再外挂。
验收为什么看结温梯度?
结温差是均流的最终裁判,满负载下同一机柜各 GPU 结温差应可控才算达标。
介质电导率要求多少?
去离子水电导率 ≤10 μS/cm、pH 6–8,来料附牌号与密封证明,避免材质选错加速老化。