A jednostka dystrybucji chłodzenia (CDU) to element wyposażenia oddzielający pętlę wodną obiektu centrum danych od technologicznej pętli chłodzenia, która bezpośrednio styka się z serwerami, i jest to pojedynczy element najbardziej odpowiedzialny za niezawodne działanie układu chłodzenia cieczą przy gęstości szafy powyżej 40 kW. Krótka odpowiedź dla każdego, kto to ocenia: CDU reguluje przepływ, ciśnienie, temperaturę i filtrację pomiędzy dwiema niezależnymi pętlami cieczy za pomocą wymiennika ciepła, pomp, zaworów i czujników, a wybrane urządzenie powinno być dobrane w oparciu o obciążenie cieplne szafy, temperaturę wody w obiekcie i wymagania dotyczące redundancji, a nie w oparciu o ogólną kartę katalogową.
W tym artykule opisano, jak działa jednostka dystrybucji chłodzenia i jak współdziała ona z: Zasilacz hydrauliczny prądu stałego w szafach chłodzonych cieczą, w których zastosowano pompowane jednofazowe lub dwufazowe płyty chłodnicze, w jaki sposób wybiera się i konserwuje płyn w pętli wtórnej, jak w praktyce podejmowane są decyzje dotyczące rozmiaru i redundancji, jakie zespoły instalacyjne i uruchamiające popełniają najczęściej błędy oraz o co najczęściej pytają kupujący podczas porównywania dostawców na lata 2025 i 2026. Biorąc pod uwagę, ile infrastruktury chłodzenia cieczą jest obecnie instalowanych w celu obsługi stojaków z akceleratorami o dużej gęstości, celem jest przedstawienie pełnego roboczego odniesienia, a nie przeglądu z poziomu powierzchni.
Co właściwie robi jednostka dystrybucji chłodzenia
Każda szafa serwerowa chłodzona cieczą potrzebuje dwóch pętli wodnych, które nigdy się nie mieszają. Pętla obiektu transportuje wodę lub mieszankę wody i glikolu z agregatu chłodniczego, chłodnicy suchej lub wieży chłodniczej do rzędu stojaków. Pętla technologiczna, czasami nazywana pętlą wtórną, krąży znacznie czystszy i ściśle kontrolowany płyn bezpośrednio przez zimne płyty zamontowane na procesorach, kartach graficznych i pamięci. The jednostka dystrybucji chłodzenia znajduje się pomiędzy tymi dwiema pętlami i wykonuje cztery prace jednocześnie.
Po pierwsze, wymienia ciepło z pętli wtórnej do pętli obiektu poprzez płytowy wymiennik ciepła, nigdy nie dopuszczając do fizycznego kontaktu obu płynów. Po drugie, pompuje płyn wtórny przez rozdzielacze serwerów z kontrolowaną szybkością przepływu, zwykle mierzoną w litrach na minutę na szafę. Po trzecie, filtruje cząstki stałe z pętli wtórnej, aby chronić wąskie kanały wewnątrz zimnych płyt, które mogą mieć wielkość zaledwie 0,3 milimetra. Po czwarte, monitoruje i raportuje temperaturę, ciśnienie, przepływ i stan wycieków do systemu zarządzania budynkiem centrum danych.
Ponieważ pętla wtórna jest szczelna i ma mniejszą objętość w porównaniu z pętlą obiektową, może pracować w niższej, bardziej przewidywalnej temperaturze niż surowa woda w budynku, dlatego też chłodzenie płytą zimną może zapewnić projektowane wartości mocy cieplnej chipów, których nie może osiągnąć chłodzenie powietrzem. Szafę, która wymagałaby przepływu powietrza kilku tysięcy stóp sześciennych na minutę, aby utrzymać bezpieczną temperaturę roboczą, można zamiast tego ochłodzić kilkoma dziesiątkami litrów na minutę krążącego płynu, co w dużej mierze wyjaśnia, dlaczego chłodzenie cieczą jest obecnie uważane za praktyczny sposób na przełamanie sufitu w zakresie gęstości akceleratora.
Warto sprecyzować, czym CDU nie jest. Nie jest to agregat chłodniczy, nie generuje niskich temperatur z niczego i nie zastępuje instalacji mechanicznej. Jest to urządzenie przesyłające i sterujące umieszczone pomiędzy instalacją a stojakiem, a jego zadaniem jest upewnienie się, że płyn stykający się z chipami pozostaje w wąskim, stabilnym paśmie, niezależnie od tego, co robi pętla obiektu po drugiej stronie wymiennika ciepła.
Krótka historia tego, jak CDU dotarły do hali danych
Jednostki dystrybucji chłodzenia nie zostały uruchomione w komercyjnych centrach danych. Podstawowy projekt, czyli szczelna pętla wtórna odizolowana od sieci wodociągowej obiektu poprzez płytowy wymiennik ciepła, powstał kilkadziesiąt lat wcześniej w wysokowydajnych laboratoriach obliczeniowych i zastosowaniach związanych z chłodzeniem procesów przemysłowych, gdzie wrażliwy sprzęt potrzebował czystej, kontrolowanej chemicznie wody, a nie wody wypływającej z pionu wody lodowej w budynku. Centra superkomputerowe przyjęły to podejście wcześnie, ponieważ ich procesory pracowały cieplej i miały większą gęstość niż cokolwiek innego w typowej serwerowni korporacyjnej.
W miarę jak obliczenia oparte na procesorach graficznych przeniosły się z niszy badawczej do głównego nurtu infrastruktury chmurowej i korporacyjnej, ta sama zasada izolacji została przeniesiona do kategorii produktów skierowanej do operatorów centrów danych, którzy nigdy wcześniej nie mieli kontaktu z pętlą cieczy. To, co kiedyś było specjalnie zaprojektowaną platformą zbudowaną dla pojedynczej instalacji superkomputera, stało się standardowym produktem do montażu w stojaku lub na podłodze, z określonymi poziomami wydajności, kolektorami typu „plug and play” i wbudowanym fabrycznie zdalnym monitorowaniem. Ta standaryzacja jest głównym powodem, dla którego chłodzenie cieczą stało się opłacalne na skalę komercyjną, zamiast pozostać specjalistycznym narzędziem dla laboratoriów krajowych.
Porównanie typów CDU rzędowych, stojakowych i bocznych
Jednostki dystrybucji chłodzenia są zazwyczaj sprzedawane w trzech formatach fizycznych, a wybór wpływa na wszystko, od powierzchni, przez okablowanie, po planowanie nadmiarowości.
Ogólne porównanie pojemności i zajmowanej powierzchni w popularnych formatach CDU stosowanych w chłodzonych cieczą halach danych. | formacie CDU | Typowa wydajność chłodzenia | Podano stojaki | Wspólne rozmieszczenie |
| CDU do montażu w szafie | 20 do 80 kW | 1 | Dół lub góra pojedynczej szafki |
| CDU w rzędzie | 100 do 400 kW | 4 do 10 | Dedykowane miejsce w rzędzie |
| CDU z wózkiem bocznym lub na poziomie pokoju | 500 kW do 2 MW plus | Jedna pełna kapsuła lub sala | Sąsiednie pomieszczenie mechaniczne lub koniec rzędu |
Jednostki szafowe są atrakcyjne w przypadku modernizacji, ponieważ wymagają najmniejszej powierzchni pętli wtórnej i można je dodać do pojedynczej szafy bez dotykania reszty rzędu, ale zwielokrotniają liczbę pomp, filtrów i wymienników ciepła wymagających okresowego serwisowania w całej hali. Jednostki rzędowe stanowią rozwiązanie preferowane przez wielu dostawców kolokacji, ponieważ awaria pojedynczego urządzenia wpływa tylko na kilka szaf, a nie na całą kapsułę, a jednostkę można zazwyczaj wyciągnąć i serwisować od przodu, nie zakłócając sąsiednich szaf.
Jednostki z wózkiem bocznym i jednostki na poziomie pomieszczenia stają się coraz częstszym wyborem w nowych klastrach szkoleniowych AI, ponieważ centralizacja pompowania i wymiany ciepła zmniejsza liczbę ruchomych części na szafę i upraszcza strefy wykrywania nieszczelności, mimo że wymaga większego odcinka rurociągów z pętlą wtórną i dokładniejszego równoważenia ciśnienia w dłuższej sieci dystrybucyjnej. Operatorzy przechodzący do modułów szkoleniowych o bardzo dużej gęstości, często o mocy w zakresie 100 kW i więcej na szafę, skłaniają się ku temu formatowi, ponieważ pozwala on zespołowi zajmującemu się projektowaniem mechanicznym skoncentrować dostęp do konserwacji, części zamienne i monitorowanie w jednym miejscu, zamiast rozkładać je na dziesiątki jednostek na poziomie szafy.
Architektury CDU ciecz-ciecz kontra ciecz-powietrze
Poza formatem fizycznym CDU różnią się także sposobem odprowadzania ciepła. Jednostka CDU typu ciecz-ciecz, która jest bardziej powszechną konfiguracją w nowych budynkach, wymienia ciepło bezpośrednio z instalacją wody lodowej lub pętlą wody skraplacza poprzez płytowy wymiennik ciepła. Zamiast tego CDU typu ciecz-powietrze odprowadza ciepło do powietrza w pomieszczeniu przez zespół chłodnicy i wentylatora, co oznacza, że w ogóle nie wymaga podłączenia wody do obiektu.
Zalety cieczy w cieczy
Architekturę tę można skalować do znacznie wyższych gęstości, ponieważ woda przenosi znacznie więcej ciepła na jednostkę przepływu niż powietrze i całkowicie oddziela pętlę wtórną od warunków powietrza w pomieszczeniu, co sprawia, że wydajność jest znacznie bardziej przewidywalna. Jest to standardowy wybór w przypadku każdego obiektu, który posiada już instalację wody lodowej lub pętlę chłodnicy suchej dostępną w rzędzie szaf.
Zalety cieczy-powietrza
Architektura ta jest przydatna w sytuacjach modernizacji, w których doprowadzenie nowych rur wody lodowej do rzędu jest niepraktyczne, lub w mniejszych lokalizacjach brzegowych, w których w ogóle nie ma pętli wodnej. Kompromis polega na tym, że ostateczne odprowadzanie ciepła przez jednostki ciecz-powietrze w dalszym ciągu zależy od temperatury powietrza w pomieszczeniu, więc ich wydajność i wydajność nieco spadają w gorących pomieszczeniach i dostarczają z powrotem do pomieszczenia dodatkowe ciepło, które następnie system klimatyzacji w pomieszczeniu musi usunąć.
Miejsce, w którym zasilacz hydrauliczny prądu stałego mieści się w pętli
Niektóre zamieszanie, na jakie napotykają kupujący, wynika z mieszania agregatów hydraulicznych przeznaczonych do maszyn przemysłowych z pakietami pompowymi wewnątrz jednostki dystrybucji chłodzenia. A Zasilacz hydrauliczny prądu stałego w kontekście chłodzenia oznacza kompaktowy zespół pompa-silnik-zbiornik zasilany prądem stałym, najczęściej 24 V lub 48 V, i napędzający obieg płynu w mniejszych lub umieszczonych na krawędziach płozach chłodzących ciecz, w przypadku których pełny trójfazowy zespół pompy prądu przemiennego byłby przewymiarowany lub niedostępny.
Moduły pomp napędzane prądem stałym pojawiają się najczęściej w trzech sytuacjach: szafy brzegowe telekomunikacyjne, w których na miejscu znajdują się wyłącznie elektrownie prądu stałego, kontenerowe lub modułowe centra danych zbudowane z myślą o odległych lokalizacjach bez stabilnego zasilania trójfazowego oraz nadmiarowe zespoły pomp rezerwowych, które muszą utrzymywać cyrkulację płynu podczas chwilowego transferu zasilania prądem przemiennym. W takich przypadkach zasilacz hydrauliczny prądu stałego działa jak mięsień wewnątrz CDU, przemieszczając chłodziwo przez kolektor i zimne płyty, podczas gdy płyta sterująca CDU zarządza położeniem zaworów, mieszaniem obejściowym i nastawami temperatury.
Dobrze zaprojektowana jednostka CDU zbudowana w oparciu o architekturę pompy prądu stałego zawiera zazwyczaj małą baterię lub bufor superkondensatora, więc pompowanie nie zostaje zatrzymane nawet na kilkaset milisekund potrzebnych automatycznemu przełącznikowi zasilania na przełączanie pomiędzy źródłami zasilania, ponieważ nawet krótka przerwa w pracy pompy może spowodować zlokalizowane gorące punkty na w pełni obciążonej płycie zimnej procesora graficznego. W szczególności operatorzy telekomunikacyjni od dawna polegają na instalacjach prądu stałego 48 V dla całego sprzętu w szafie, a przedłużenie tej samej szyny prądu stałego do pompy chłodzącej pozwala uniknąć konieczności stosowania oddzielnego zasilania prądem przemiennym tylko do zasilania sprzętu chłodzącego.
Dobór zasilacza hydraulicznego prądu stałego dla płozy chłodzącej
Dobór odbywa się według tych samych zasad fizyki, co przy wyborze pompy: wymagane natężenie przepływu w stosunku do spadku ciśnienia w systemie określa wymaganą moc silnika, a następnie na podstawie tej wartości mocy wyprowadzane jest napięcie stałe i pobór prądu. Mała rama chłodząca krawędziowa obsługująca pojedynczy stojak może wymagać jedynie pompy prądu stałego pobierającej mniej niż 150 watów, podczas gdy większa jednostka wózka bocznego zbudowana wokół szyny prądu stałego dla pełnego zasobnika może wymagać zespołu pomp i znacznie większego zbiornika. W tym momencie wielu operatorów ocenia, czy architektura prądu stałego ma nadal sens w porównaniu ze standardowym pompowaniem trójfazowym prądem przemiennym.
Zagadnienia dotyczące niezawodności specyficzne dla modułów pomp prądu stałego
Ponieważ zasilacze hydrauliczne prądu stałego są często wdrażane w lokalizacjach brzegowych bez załogi lub z niewielkim personelem, redundancja i zdalna diagnostyka mają jeszcze większe znaczenie niż w hali danych z personelem. Poszukaj podwójnych, nadmiarowych głowic pomp współdzielących jeden zbiornik, systemu monitorowania poboru prądu, który może wykryć awarię łożyska silnika, zanim nastąpi jego całkowita awaria, oraz sterownika, który może raportować stan za pośrednictwem standardowego interfejsu, nawet jeśli na miejscu nie ma personelu IT, który mógłby fizycznie sprawdzić urządzenie.
Podstawowe komponenty wewnątrz nowoczesnej CDU
- Płytowy wymiennik ciepła: przenosi ciepło pomiędzy obiektem a pętlami technologicznymi bez mieszania płynów, zwykle lutowane płyty ze stali nierdzewnej lub tytanu.
- Pompy redundantne: prawie zawsze wdrażane w konfiguracji N 1, więc awaria pojedynczej pompy nie zakłóca chłodzenia.
- Filtry cząstek stałych wyłapują zanieczyszczenia o wielkości od 25 do 50 mikronów, zanim płyn dotrze do kanałów zimnej płyty.
- Trójdrogowe zawory modulacyjne, które mieszają płyn powrotny z płynem zasilającym, aby osiągnąć stałą temperaturę pętli technologicznej niezależnie od wahań wody w obiekcie.
- Przepływomierze i czujniki różnicy ciśnień na każdym odgałęzieniu regału umożliwiają wczesne wykrywanie zatorów.
- Kabel lub czujniki punktowe do wykrywania nieszczelności umieszczone w najniższym punkcie obudowy i pod przyłączami rozdzielacza.
- Zbiornik wyrównawczy lub pęcherz pochłaniający rozszerzalność cieplną uszczelnionej pętli wtórnej.
- Kontroler z możliwością podłączenia do sieci, zwykle Modbus TCP lub SNMP, do integracji ze stosem monitorowania centrum danych.
- Zawory odcinające po stronie obiektu i pętli technologicznej umożliwiają serwisowanie lub wymianę urządzenia bez opróżniania całego rzędu.
- Lokalny panel interfejsu człowiek-maszyna, zwykle mały ekran dotykowy, do regulacji wartości zadanej na miejscu i przeglądu alarmów.
Każdy z tych komponentów odgrywa odrębną rolę w ogólnej niezawodności, a pominięcie któregokolwiek z nich w celu obniżenia kosztów zwykle objawia się później jako problem z konserwacją lub przestojem, a nie jako początkowe oszczędności. Zwłaszcza zawory odcinające są często pomijane w budżetowych projektach, a ich brak sprawia, że rutynowa wymiana pompy staje się zdarzeniem wymagającym opróżnienia i ponownego napełnienia całej pętli wtórnej w rzędzie.
Prawidłowe dobranie jednostki dystrybucji chłodzenia
Niedowymiarowanie jednostki CDU jest najczęstszym i najkosztowniejszym błędem popełnianym przez operatorów, ponieważ jednostka, która wygląda odpowiednio na papierze przy obciążeniu projektowym, często nie jest w stanie poradzić sobie z przejściowymi skokami mocy, które powstają w nowoczesnych klastrach GPU podczas serii treningowych. Przy doborze rozmiaru największe znaczenie mają trzy liczby.
Całkowite obciążenie cieplne w porównaniu z wydajnością znamionową
Zsumuj projektowaną moc cieplną każdego komponentu chłodzonego cieczą w rzędzie, a następnie zastosuj margines bezpieczeństwa wynoszący co najmniej 20 procent na potrzeby przyszłych modernizacji szafy. Jednostka o znamionowym obciążeniu dokładnie dzisiejszym nie pozostawia rezerwy, gdy osiemnaście miesięcy później klient wymieni akcelerator o wyższej mocy na generację wyższej mocy, a modernizacja CDU po fakcie jest znacznie bardziej destrukcyjna niż określanie od początku dodatkowej marży.
Temperatura podejścia
Jest to różnica temperatur pomiędzy wodą obiektową wpływającą do wymiennika ciepła a wypływającą z niego wodą z pętli technologicznej. Niższa temperatura podejścia, zwykle od 2 do 3 stopni Celsjusza w dobrze zaprojektowanych jednostkach, oznacza, że CDU może dostarczać chłodniejszą wodę do chipów nawet wtedy, gdy woda w instalacji jest ciepła, co ma ogromne znaczenie w klimatach lub porach roku, gdzie sucha chłodnica nie jest w stanie wytworzyć bardzo zimnej wody. Z kolei szersza temperatura podejścia wymusza niższą pracę instalacji w obiekcie w celu skompensowania tego, co zwiększa zużycie energii przez agregat chłodniczy w całym budynku.
Natężenie przepływu na stojak
Większość producentów płyt zimnych określa wymagane natężenie przepływu na akcelerator, często w zakresie od 1 do 3 litrów na minutę na procesor graficzny. Pomnóż to przez liczbę akceleratorów w stojaku, a następnie potwierdź, że znamionowa krzywa pompy CDU może utrzymać ten przepływ pomimo spadku ciśnienia w całym kolektorze, rurkach i szybkozłączach, ponieważ same szybkozłącza mogą odpowiadać za znaczący udział w całkowitej utracie ciśnienia w systemie. Często zdarza się, że zespoły dobierają pompy wyłącznie na podstawie spadku ciśnienia w płycie zimnej i zapominają o dodaniu strat w kolektorze i armaturze, które po całkowitym zbudowaniu systemu wykazują przepływ niższy od oczekiwanego.
Zachowanie przy częściowym obciążeniu
Klaster rzadko pracuje z pełną mocą znamionową w sposób ciągły. Okresy bezczynności, luki w harmonogramie zadań wsadowych i okna konserwacyjne powodują częściowe obciążenie, a CDU z pompami o zmiennej prędkości może w tych okresach zmniejszyć przepustnicę, aby oszczędzać energię, zamiast pracować z pełnym przepływem niezależnie od rzeczywistego obciążenia cieplnego. Konstrukcje pomp o stałej prędkości marnują mierzalną ilość energii w porównaniu z konstrukcjami o zmiennej prędkości, po uwzględnieniu rzeczywistych wzorców wykorzystania.
Wymagania dotyczące chemii płynów i filtracji
Płyn z pętli wtórnej nie jest po prostu wodą z kranu. Większość operatorów używa wody dejonizowanej z pakietem inhibitorów korozji lub mieszaniny glikolu propylenowego, gdy wymagana jest ochrona przed zamarzaniem w instalacjach zewnętrznych lub brzegowych. Nieoczyszczony lub źle przefiltrowany płyn jest główną przyczyną przedwczesnej awarii zimnej płyty, ponieważ osadzanie się kamienia i rozwój biologiczny zmniejszają z czasem średnicę kanału wewnętrznego i zwiększają opór cieplny pomiędzy wiórem a chłodziwem.
Operatorzy zazwyczaj testują płyn w pętli wtórnej co kwartał pod kątem pH, przewodności i rozpuszczonego tlenu, a wielu dostawców CDU integruje obecnie wbudowane czujniki przewodności, które sygnalizują, kiedy płyn wymaga wymiany, zanim pogorszy się wydajność chłodzenia. Zgodnie z wytycznymi opublikowanymi przez producentów sprzętu chłodzącego i potwierdzonymi danymi terenowymi udostępnionymi przez operatorów kolokacji korzystających z gęstych modułów graficznych, dobrze utrzymana pętla z ciągłą filtracją może działać od trzech do pięciu lat pomiędzy pełną wymianą płynu.
Typowe typy płynów stosowane w pętlach wtórnych
Porównanie najczęściej wybieranych płynów w pętli wtórnej i miejsc, w których każdy z nich jest zwykle stosowany. | Rodzaj płynu | Ochrona przed zamarzaniem | Względny transfer ciepła | Typowe zastosowanie |
| Woda dejonizowana | Żadne | Najwyższy | Wewnętrzne hale danych o stabilnej temperaturze |
| Mieszanka glikolu propylenowego | Umiarkowane do wysokiego | Lekko obniżony | Zewnętrzne płozy i krawędzie |
| Płyn dielektryczny | Różni się w zależności od preparatu | Niżej niż woda | Zbiorniki chłodzenia zanurzeniowego w połączeniu z CDU |
Najlepsze praktyki w zakresie filtracji
W praktyce najlepiej sprawdza się metoda filtracji warstwowej: gruboziarnisty filtr siatkowy na wlocie CDU do wychwytywania dużych zanieczyszczeń, drobniejszy filtr cząstek stałych o średnicy około 25 do 50 mikronów umieszczony przed dotarciem płynu do kolektora oraz obejściowa pętla filtracyjna, która w sposób ciągły doczyszcza mały boczny strumień płynu nawet podczas pracy głównej pętli. To warstwowe podejście wychwytuje większość zanieczyszczeń, zanim dotrą one do zimnej płyty, gdzie szczelne kanały wewnętrzne sprawiają, że nawet małe cząstki stanowią realne ryzyko zablokowania.
Modele redundancji dla wdrożeń CDU
Typowe konfiguracje redundancji dla jednostek dystrybucji chłodzenia w halach danych produkcyjnych. | Konfiguracja | Opis | Typowy przypadek użycia |
| N | Jedna jednostka CDU w każdym rzędzie, bez jednostki zapasowej | Klastry deweloperskie lub testowe |
| N 1 | Jedna dodatkowa CDU współdzielona w kilku rzędach | Standardowa kolokacja korporacyjna |
| 2N | Całkowicie zduplikowane CDU i orurowanie w każdym rzędzie | Krytyczne sale szkoleniowe AI z rygorystycznymi celami dotyczącymi czasu sprawności |
Redundancja pomp w pojedynczej obudowie CDU jest kwestią odrębną od redundancji na poziomie jednostki w rzędzie, a większość specyfikacji wymaga obecnie zarówno podwójnych pomp wewnętrznych, jak i co najmniej N 1 jednostek zapasowych w przypadku dowolnego wdrożenia obsługującego obliczenia generujące przychody. To rozróżnienie ma znaczenie, ponieważ wewnętrzna redundancja pompy chroni przed awarią pojedynczej pompy, podczas gdy sama jednostka CDU pracuje, podczas gdy redundancja na poziomie jednostki chroni przed awarią całego CDU, w tym jej wymiennika ciepła, sterownika lub mechanizmu zaworowego.
Architektura 2N, w której każdy rząd ma w pełni zduplikowaną jednostkę CDU i niezależną ścieżkę rurociągów, jest najbardziej odporna, ale także w przybliżeniu podwaja koszty inwestycyjne warstwy dystrybucji chłodzenia, dlatego jest zwykle zarezerwowana dla obiektów, w których nawet krótka przerwa w chłodzeniu spowodowałaby niedopuszczalną utratę długotrwałego zadania szkoleniowego lub obciążenia produkcyjnego.
Monitorowanie, sterowanie i integracja z systemami zarządzania budynkiem
Nowoczesna CDU jest w równym stopniu źródłem danych, co urządzeniem mechanicznym. Każde urządzenie, które warto wdrożyć dzisiaj, raportuje natężenie przepływu, temperaturę zasilania i powrotu w obu pętlach, różnicę ciśnień, prędkość pompy i pobór prądu, stan filtra i stan nieszczelności z powrotem do centralnej platformy monitorującej. Dane telemetryczne są przesyłane do oprogramowania do zarządzania infrastrukturą centrum danych obiektu, gdzie operatorzy mogą porównywać wydajność chłodzenia bezpośrednio z obciążeniem IT.
Progi alarmowe, które warto skonfigurować
Oprócz prostych alarmów wysokiej i niskiej temperatury, dobrze zarządzane obiekty konfigurują alarmy szybkości zmian, które wychwytują powolne dążenie do problemu na długo przed przekroczeniem bezwzględnego progu. Na przykład natężenie przepływu, które stopniowo maleje w ciągu kilku tygodni, często sygnalizuje zbliżanie się wydajności filtra na długo przed wyzwoleniem twardego alarmu niskiego przepływu, a wczesne wykrycie tego trendu pozwala uniknąć nieplanowanej wymiany filtra w okresie dużego obciążenia.
Integracja z IT Ładowanie danych
Urządzenia, które łączą telemetrię CDU bezpośrednio z danymi dotyczącymi poboru mocy serwera, mogą tworzyć modele predykcyjne, które przewidują zapotrzebowanie na chłodzenie przed zaplanowanym obciążeniem, a nie tylko reagują po wzroście temperatury. Jest to szczególnie cenne w przypadku klastrów szkoleniowych AI, gdzie pobór mocy może drastycznie zmieniać się w ciągu kilku sekund, gdy zadanie przechodzi z fazy intensywnej obliczeniowo do fazy wymagającej komunikacji, a pętla sterująca CDU, która potrafi przewidywać te wahania, działa wymiernie lepiej niż ta, która reaguje tylko na temperaturę po fakcie.
Efektywność energetyczna i jej wpływ na całkowite zużycie energii w obiekcie
Ponieważ chłodzenie cieczą przenosi ciepło wydajniej niż powietrze, obiekty, które przenoszą znaczne obciążenie IT na szafy obsługiwane przez CDU, na ogół odnotowują wymierną poprawę ogólnej efektywności wykorzystania energii w obiekcie, ponieważ zakład mechaniczny zużywa mniej energii na przenoszenie powietrza, a większa część całkowitego poboru mocy jest przeznaczana bezpośrednio na obliczenia. Pompy o zmiennej prędkości wewnątrz CDU dodatkowo redukują pasożytnicze zużycie energii, pompując tylko taki przepływ, jakiego faktycznie wymaga bieżące obciążenie cieplne, zamiast pracować ze stałą prędkością niezależnie od obciążenia.
Obiekty łączące jednostki CDU z chłodnicą suchą lub pętlą swobodnego chłodzenia mogą również wydłużyć liczbę godzin w roku, podczas których nie jest w ogóle potrzebny mechaniczny agregat chłodniczy, ponieważ ścisła kontrola temperatury podejścia CDU umożliwia użyteczne chłodzenie nawet z umiarkowanie ciepłej wody w obiekcie. Jak wynika z analiz przypadków opublikowanych przez producentów sprzętu chłodniczego i akademickich badaczy wydajności centrów danych, operatorzy w chłodniejszym klimacie zgłaszali znaczące wydłużenie godzin darmowego chłodzenia poprzez połączenie CDU o niskiej temperaturze zbliżenia z dobrze dostrojoną strategią sterowania suchą chłodnicą.
Typowe błędy w instalacji i uruchomieniu
- Pominięcie testu ciśnienia azotu w pętli wtórnej przed napełnieniem jej płynem chłodzącym, co pozwala na wykrycie małych wycieków do czasu uruchomienia pętli.
- Niedokładne przepłukanie nowych rurociągów powoduje pozostawienie resztek produkcyjnych, które później zatykają kanały płyty zimnej.
- Umieszczenie czujników wycieków tylko na poziomie podłogi i brakujące punkty kroplowe na połączeniach kolektora podwieszanego.
- Zbyt mały rozmiar zbiornika wyrównawczego, co powoduje skoki ciśnienia w miarę nagrzewania się pętli przy pełnym obciążeniu obliczeniowym.
- Brak sprawdzania wydajności krzywej pompy w oparciu o spadek ciśnienia powykonawczego, a nie teoretyczny spadek projektowy.
- Podłączanie szybkozłączy w niewłaściwej orientacji, co może ograniczyć przepływ lub uniemożliwić prawidłowe uszczelnienie suchoodcinające.
- Pominięcie wymagań dotyczących klejenia i uziemienia metalowych rurociągów, które z biegiem czasu mogą prowadzić do korozji galwanicznej na złączach różnych metali.
- Brak udokumentowania bazowych odczytów przepływu i ciśnienia podczas uruchamiania, co znacznie utrudnia późniejsze zdiagnozowanie stopniowego odchylenia wydajności.
Bieżący harmonogram konserwacji zapewniający zdrową CDU
Zalecana częstotliwość konserwacji kluczowych podsystemów CDU w oparciu o wspólne wytyczne producenta. | Zadanie | Zalecana częstotliwość |
| Test jakości płynu (pH, przewodność, rozpuszczony tlen) | Kwartalnie |
| Kontrola lub wymiana filtra cząstek stałych | Co 3 do 6 miesięcy |
| Kontrola łożysk i uszczelnień pompy | Rocznie |
| Kontrola zanieczyszczenia wymiennika ciepła | Rocznie |
| Test działania czujnika wycieku | Półrocznie |
| Pełna regeneracja lub wymiana pompy | Co 5 do 7 lat lub co próg godzin pracy |
Rozwiązywanie typowych problemów z wydajnością CDU
Spadek natężenia przepływu w czasie
Stopniowy spadek natężenia przepływu prawie zawsze wskazuje na zbliżanie się wydajności filtra lub na wczesne gromadzenie się kamienia gdzieś w pętli. Sprawdzenie różnicy ciśnień w obudowie filtra jest zazwyczaj najszybszym sposobem potwierdzenia przyczyny przed zaplanowaniem wymiany filtra.
Rosnąca temperatura podejścia
Jeśli różnica między temperaturą zasilania obiektu a temperaturą zasilania pętli technologicznej wzrośnie bardziej niż wartość znamionowa urządzenia, prawdopodobnie zanieczyszczają się płyty wymiennika ciepła po stronie obiektu lub technologii, albo przepływ z obiektu do urządzenia spadł z powodu częściowo zamkniętego zaworu w innym miejscu w rzędzie.
Okresowe alarmy wycieków
Alarmy o uciążliwych wyciekach są często spowodowane kondensacją tworzącą się na zimnych przewodach zasilających w wilgotnym pomieszczeniu, a nie rzeczywistym wyciekiem płynu. Zaizolowanie odsłoniętych zimnych rur i sprawdzenie wilgotności w pomieszczeniu zwykle rozwiązuje ten problem bez konieczności otwierania pętli.
Nieoczekiwana praca pompy
Pompy, które włączają się i wyłączają szybko, zamiast pracować równomiernie z kontrolowaną prędkością, zwykle wskazują na zbyt mały zbiornik wyrównawczy lub kieszeń powietrzną uwięzioną w pętli, która powoduje wahania ciśnienia poza zakresem wartości zadanej sterownika.
CDU i chłodzenie zanurzeniowe współpracują ze sobą
Zanurzeniowe zbiorniki chłodzące, w których całe serwery są zanurzone w płynie dielektrycznym, nadal potrzebują sposobu na odrzucenie ciepła pochłanianego przez płyn, a właśnie w tym celu powszechnie stosuje się jednostkę dystrybucji chłodzenia. W tej konfiguracji pętla wtórna CDU powoduje cyrkulację płynu dielektrycznego przez wymiennik ciepła podłączony do zbiornika, a nie przez zimne płyty, podczas gdy pętla pierwotna nadal jest połączona z instalacją wodną w obiekcie w taki sam sposób, jak w przypadku instalacji zimnej płyty.
Główna różnica konstrukcyjna polega na tym, że płyny dielektryczne mają na ogół niższą przewodność cieplną i wyższą lepkość niż woda, więc pompy i wymienniki ciepła dobrane do pętli zimnej płyty na bazie wody nie są automatycznie odpowiednie dla pętli zanurzeniowej, a sprzedawcy zazwyczaj oferują osobne linie modeli CDU dostrojone specjalnie pod kątem właściwości płynu dielektrycznego.
Czynniki kosztowe wykraczające poza jednostkową cenę zakupu
Cena naklejki na jednostkę dystrybucji chłodzenia stanowi tylko część całkowitego kosztu wdrożenia. Rury, kolektory, szybkozłącza, izolacja, tace zatrzymujące wycieki i prace związane z uruchomieniem często stanowią podobny lub większy udział w całkowitych wydatkach, szczególnie w projektach modernizacyjnych, w których istniejąca podłoga podniesiona lub ścieżki napowietrzne nie zostały zaprojektowane z myślą o rurociągach cieczowych. Koszty bieżące obejmują wymianę płynów, materiały eksploatacyjne do filtrów i energię elektryczną pobieraną przez same pompy, co stanowi niewielki ułamek całkowitej mocy obiektu, ale nadal warto go uwzględnić w długoterminowych budżetach operacyjnych.
Obiekty planujące budowę wielofazową często uważają, że bardziej ekonomiczne jest zainstalowanie większej jednostki CDU z wózkiem bocznym z zapasem na przyszłe fazy niż zainstalowanie kilku mniejszych jednostek sekwencyjnie, ponieważ prace związane z orurowaniem i uruchomieniem są większe w zależności od liczby oddzielnych zdarzeń instalacyjnych niż w przypadku fizycznego rozmiaru pojedynczej jednostki.
Dokąd zmierza rynek
Zastosowanie chłodzenia cieczą szybko przeszło z niszowego, wysokowydajnego narzędzia obliczeniowego do głównego nurtu wymagań w zakresie infrastruktury do szkolenia i wnioskowania AI, napędzanego bezpośrednio przez wartości projektowej mocy cieplnej akceleratorów, które obecnie regularnie przekraczają 700 do 1000 watów na chip. Ta zmiana popchnęła dostawców systemów dystrybucji chłodzenia w stronę większych jednostek z przyczepą boczną i jednostek na poziomie pomieszczenia, niższych temperatur podejścia i architektur pomp, w tym modułów napędzanych prądem stałym, które można łatwiej zintegrować z lokalną infrastrukturą akumulatorów i zasilania, zapewniając ciągłą pracę podczas zmian zasilania.
Obiekty, które jeszcze trzy lata temu wprowadziły standaryzację chłodzenia powietrzem, obecnie modernizują pomieszczenia mechaniczne, aby pomieścić rzędy jednostek CDU rzędy po rzędach, a powierzchnia użytkowa niegdyś zarezerwowana dla central wentylacyjnych do pomieszczeń komputerowych jest coraz częściej przeznaczana na infrastrukturę chłodzenia cieczą. Dostawcy wybierają także bardziej ujednolicone interfejsy z możliwością szybkiego rozłączania, co zmniejsza obciążenie inżynieryjne związane z niestandardowymi rozwiązaniami za każdym razem, gdy wprowadzana jest nowa generacja serwerów i ułatwia operatorom łączenie sprzętu wielu producentów w tym samym rzędzie chłodzonym cieczą.
Często zadawane pytania
Jaka jest różnica między CDU a agregatem chłodniczym
Agregat chłodniczy wytwarza zimną wodę dla całego budynku lub hali danych, usuwając ciepło i odrzucając je na zewnątrz. Jednostka dystrybucji chłodzenia sama w sobie nie zapewnia chłodzenia; przekazuje ciepło z pętli technologicznej na poziomie szafy do wody w obiekcie, która została już schłodzona przez agregat chłodniczy, przy jednoczesnym fizycznym oddzieleniu obu pętli.
Czy jednostka dystrybucji chłodzenia może działać bez pętli wody lodowej?
Tak, niektóre jednostki CDU łączą się z chłodnicą suchą lub pętlą swobodnego chłodzenia zamiast agregatu mechanicznego, szczególnie w chłodniejszym klimacie, gdzie temperatura powietrza na zewnątrz jest wystarczająco niska przez większą część roku, aby odrzucić ciepło bez chłodzenia opartego na sprężarce. Istnieją również CDU typu ciecz-powietrze, które w ogóle nie wymagają podłączenia wody do obiektu.
Jak często należy serwisować pompy CDU
Większość producentów zaleca coroczną kontrolę uszczelek pompy, łożysk i poboru prądu przez silnik, przy czym pełna przebudowa lub wymiana pompy jest zwykle planowana na okres od pięciu do siedmiu lat, w zależności od godzin pracy i jakości płynu.
Jakiego natężenia przepływu potrzebuje typowy stojak na GPU
Różni się to w zależności od konstrukcji zimnej płyty, ale typowy zakres wynosi od 15 do 40 litrów na minutę w przypadku w pełni zapełnionego serwera z ośmioma akceleratorami, co oznacza, że szafa z kilkoma takimi serwerami może wymagać całkowitego przepływu z CDU znacznie ponad 100 litrów na minutę.
Dlaczego centrum danych miałoby używać zasilacza hydraulicznego prądu stałego zamiast standardowej pompy prądu przemiennego?
Moduły pomp napędzane prądem stałym są wybierane, gdy dostępna infrastruktura zasilania obiektu jest już oparta na prądzie stałym, np. obiekty telekomunikacyjne, lub gdy wdrożenie wymaga nieprzerwanego pompowania poprzez krótkie zmiany zasilania prądem przemiennym przy użyciu lokalnego bufora akumulatora zamiast polegania na czasie rozruchu generatora.
Co się stanie, jeśli pompa CDU ulegnie awarii podczas pracy
W prawidłowo zaprojektowanej konfiguracji pompy N 1 wewnątrz CDU, pompa rezerwowa automatycznie przejmuje obowiązki związane z przepływem w ciągu kilku sekund, a system zarządzania budynkiem uruchamia alarm, dzięki czemu personel konserwacyjny może wymienić uszkodzoną pompę bez przestoju.
W jaki sposób zarządza się ryzykiem wycieku w szafie chłodzonej cieczą?
Ryzykiem wycieku zarządzają suchoodcinane szybkozłącza na każdym złączu węża, kablowe czujniki wycieku umieszczone pod rozdzielaczami i u podstawy obudowy oraz dodatkowe tace zabezpieczające, które wychwytują płyn, zanim dotrze on do elektroniki serwera lub podłogi podwyższonej.
Czy jeden CDU może obsłużyć szafy różnych producentów serwerów?
Tak, o ile interfejsy kolektora i szybkozłącza są kompatybilne lub przystosowane do odpowiednich złączy, pojedyncza jednostka CDU może obsługiwać mieszany sprzęt w ramach swoich znamionowych ograniczeń przepływu i wydajności, co jest coraz bardziej powszechne w miarę standaryzacji obiektów w zakresie wspólnych interfejsów pętli wtórnej.
Jak długo zwykle wystarcza płyn w pętli wtórnej przed wymianą
Przy ciągłej filtracji i okresowych testach jakości płyn w pętli wtórnej zwykle wystarcza na trzy do pięciu lat, zanim konieczna będzie pełna wymiana, chociaż wyniki testów przewodności i pH powinny wyznaczać faktyczny harmonogram wymiany, a nie samą stałą datę kalendarzową.
Jaka jest najczęstsza pojedyncza przyczyna przestojów związanych z CDU
Doświadczenie terenowe wielu operatorów konsekwentnie wskazuje na zanieczyszczenie płynów i zaniedbanie filtrów jako główną przyczynę pogorszenia wydajności, a następnie na obecność zbyt małych zbiorników wyrównawczych, które powodują przestoje związane z ciśnieniem w okresach dużego obciążenia termicznego.