Raport special privind răcirea cu lichid în industria centrelor de date

 

--Singularitatea a sosit în mijlocul valului AI, liderii interni și internaționali sunt pregătiți să erupă

 

I Creșterea consumului de energie pentru cip: răcirea cu lichid devine esențială

 

1. Răcirea cu lichid asigură funcționarea normală a componentelor de mare putere

Mai mult de jumătate din defecțiunile componentelor electronice se datorează temperaturilor excesive, temperatura reprezentând 55% dintre defecțiuni. Conform „10-regula de grade”, fiecare creștere cu 10 grade a temperaturii de la temperatura camerei dublează rata de defecțiuni și reduce durata de viață. Ratele de eșec ale GPU-ului cresc, afectând durata de viață a serverului. Consumul de energie al cipurilor individuale crește rapid, ceea ce duce la o generare mai mare de căldură. Cipurile de procesor mainstream, cum ar fi procesoarele, au o putere nominală de aproximativ 200 W, cele mai recente procesoare depășind 350 W și GPU-uri depășind 1000 W. Răcirea cu aer nu mai este suficientă pentru a răci componentele electronice cu densitate mare de căldură, în timp ce răcirea cu lichid oferă o eficiență mult mai mare a schimbului de căldură. Capacitatea termică volumetrică a lichidelor este de 1000-3500 ori mai mare decât aerul, iar conductivitatea lor termică este de 20-30 ori mai mare, oferind răcirii lichide o capacitate de răcire mult superioară în același spațiu.

 

Răcirea cu lichid absoarbe eficient căldura generată de componente, oferind o răcire precisă pentru elementele generatoare de căldură și menținând temperaturile de bază ale procesorului sub 65 de grade (cu aproximativ 25 de grade mai mici decât răcirea cu aer). De asemenea, previne fluctuațiile semnificative de temperatură în timpul operațiunilor bruște de înaltă frecvență, asigurând siguranța și fiabilitatea sistemului. Răcirea cu lichid permite chiar și cipurilor să overclockeze, îmbunătățind performanța cipurilor cu aproximativ 10%-30%.

 

▲ Defecțiuni ale componentelor electronice

 

2. Tehnologiile interne și internaționale de răcire cu cip trec treptat la răcirea cu lichid

Răcirea cu lichid poate maximiza potențialul de cip. De exemplu, la serverele cu performanțe egale, versiunea răcită cu lichid depășește cu aproximativ 10% versiunea răcită cu aer. GB200 adoptă o nouă arhitectură eficientă a cabinetului răcit cu lichid, iar viitoarele produse NVIDIA pot trece complet de la răcirea cu aer la răcirea cu lichid. Pe lângă NVIDIA, cipurile autohtone precum Huawei Ascend au înregistrat și o creștere substanțială a utilizării răcirii lichide.

 

NVIDIA GB200 NVL72 este un sistem de expansiune la nivel de rack cu mai multe noduri, răcit cu lichid, care combină 36 de supercipuri Grace Blackwell, inclusiv 72 de GPU-uri Blackwell și 36 de procesoare Grace conectate prin NVLink de generația a cincea. Tehnologia de răcire cu lichid utilizată în GB200 NVL72 nu numai că îmbunătățește densitatea de calcul și reduce amprenta la sol, dar și reduce semnificativ emisiile de carbon și consumul de energie prin comunicarea GPU cu lățime de bandă mare și cu latență redusă. În comparație cu infrastructurile tradiționale NVIDIA H100 răcite cu aer, GB200 oferă performanțe de 25 de ori mai mari la același consum de energie, reducând în același timp consumul de apă. Potrivit TrendForce, arhitectura inițială GB200 NVL36 poate prezenta atât soluții de răcire cu aer, cât și cu lichid, dar din cauza cerințelor mai mari de răcire, NVL72 va acorda prioritate răcirii cu lichid. Lanțul de aprovizionare cu răcire cu lichid al sistemului de dulap GB200 este împărțit în cinci componente principale: plăci reci, unități de distribuție a lichidului de răcire (CDU), colectoare, deconectare rapidă (QD) și schimbătoare de căldură pentru ușa din spate (RDHx). CDU, un sistem cheie, reglează fluxul de lichid de răcire în întregul sistem pentru a se asigura că temperatura cabinetului este controlată într-un interval TDP prestabilit. Pentru soluțiile NVIDIA AI, Vertiv este principalul furnizor CDU, în timp ce Chicony, Auras, Delta și CoolIT își continuă eforturile de testare și validare.

 

▲ Răcire cu lichid

 

3. Producătorii concurează în servere răcite cu lichid; Volumul de expedieri crește rapid

Potrivit IDC, industria chineză de răcire cu lichid este încă în faza incipientă, dar țara a eliminat deja decalajul tehnologic cu omologii străini. De fapt, lanțul industrial relevant din China deține un avantaj în aplicațiile comerciale la scară largă. În 2023, piața de servere răcite cu lichid din China a atins 1,42 miliarde USD, în creștere cu 48% de la an la an, cu livrările atingând 161,000 unități, o creștere de 57,3%. IDC prognozează o rată de creștere anuală compusă (CAGR) de 45,8% pentru piața de servere răcite cu lichid din China din 2023 până în 2028, piața fiind așteptată să atingă 10,2 miliarde de dolari până în 2028.

Producătorii de servere mainstream se extind agresiv pe piața de răcire cu lichid. În ceea ce privește cota de piață, Inspur, HyperFusion și NingChang s-au clasat ca primii trei furnizori în 2023, deținând împreună peste 70% din piață.

 

Deși piața este relativ concentrată, creșterea rapidă și cererea diversificată a industriei reduc treptat decalajele de cotă de piață în rândul furnizorilor principali. Inspur continuă să-și urmărească strategia „All in Liquid Cooling”, având ca scop obținerea parității de preț între răcirea cu aer și lichid. Serverele sale răcite cu lichid se adresează clienților din industrii precum internetul, finanțele, serviciile, producția și utilitățile publice. Compania a implementat cu succes servere răcite cu lichid la scară în companii de internet de top și în sectoarele finanțelor, educației și cercetării, stabilind un nou punct de referință global cu primul server fără ventilator, complet cu placă rece.

 

▲ Cota de piață a producătorilor de servere răcite cu lichid

 

Potrivit IDC, în 2023, industria internetului a rămas cel mai mare cumpărător de servere răcite cu lichid din China, reprezentând 46,3% din piață, cu așteptări privind o cerere puternică în continuare. În plus, operatorii de telecomunicații și utilizatorii legați de guvern se confruntă, de asemenea, cu o creștere rapidă a cererii de centre de date răcite cu lichid. Alte industrii precum finanțele, serviciile, producția și utilitățile publice explorează în mod activ soluții adecvate de răcire cu lichid.

 

 

II Răcirea cu lichid crește valoarea controlului temperaturii, punctul de cotitură în industrie

 

1. Penetrația de răcire cu lichid crește odată cu creșterea puterii serverului și a obiectivelor de neutralitate carbon

Centrele de date sunt consumatori majori de energie electrică, reprezentând aproximativ 2%-3% din consumul național de energie electrică. Politicile sunt din ce în ce mai stricte privind consumul de energie în centrele de date. În 2021, consumul de energie electrică din centrul de date din China a ajuns la 216,6 miliarde kWh, reprezentând 2,6% din consumul total de energie electrică național, cu emisii de carbon de 135 milioane de tone sau 1,14% din totalul emisiilor naționale. Cu obiectivele duble ale carbonului, centrele de date se confruntă cu un consum de energie fără precedent și provocări de răcire. După construcție, costurile cu electricitatea reprezintă 60%-70% din costurile totale de operare și întreținere ale centrelor de date tradiționale răcite cu aer.

 

PUE (Power Usage Effectiveness) este indicatorul utilizat pentru a evalua eficiența energetică în centrele de date, care este raportul dintre energia totală consumată de un centru de date și energia consumată de echipamentele sale IT. Înainte de 2013, PUE mediu pentru centrele mari de date din China a depășit 1,7, dar până la sfârșitul lui 2019, acesta a scăzut la 1,46. „Planul de acțiune trienal pentru dezvoltarea noilor centre de date (2021-2023)” urmărește să reducă PUE al noilor centre de date la scară mare la sub 1,3 până la sfârșitul anului 2023, cu ținte sub 1,25 pentru frig și sever. regiuni reci. Politica „Eastern Data, Western Computing” prevede că nodurile din Inner Mongolia, Gansu, Ningxia și Guizhou reduc PUE la sub 1,2.

 

Consumul de energie al sistemelor de aer condiționat din centrele de date este cheia pentru reducerea PUE la niveluri rezonabile. Potrivit estimărilor, atunci când consumul de energie al sistemului de aer condiționat reprezintă 38%, 26% și 17,5% din total, valorile PUE corespunzătoare sunt 1,92, 1,5 și, respectiv, 1,3.

 

Densitatea de putere a serverelor de calcul inteligente a crescut semnificativ, atingând niveluri pe care sistemele de răcire cu aer nu le pot suporta. Anterior, sistemele de răcire cu aer se adaptau la densități mai mari de căldură prin apropierea sursei de răcire de sursa de căldură sau prin etanșarea culoarelor reci și calde, care funcționau pentru dulapuri care necesitau răcire sub 12 kW. Cu toate acestea, deoarece densitatea rack-ului depășește 20 kW, aceste metode devin mai puțin eficiente. Vertiv consideră că instalarea instalațiilor cu rafturi de densitate ultra-înaltă (30 kW sau mai mult) nu lasă de ales decât să folosească răcirea cu lichid. Indiferent de modul în care este configurat sau optimizat sistemul, răcirea cu aer nu poate oferi capacitatea de răcire necesară pentru a menține fiabilitatea sistemelor IT.

 

Prin urmare, pentru a reduce PUE al centrului de date și pentru a satisface nevoile de răcire ale dulapurilor de mare putere, tehnologiile de răcire au avansat după cum urmează:

 

• Faza 1 (1998-2004):Sunt utilizate în principal sisteme de răcire cu aer cu expansiune directă, inclusiv compresoare, evaporatoare, supape de expansiune și condensatoare, cu agenți frigorifici de obicei freon.
• Faza 2 (2005-2009):Sistemele de răcire cu apă utilizate în principal, inclusiv răcitoare, turnuri de răcire, pompe de apă și unități terminale pentru apă răcită.
• Faza 3 (2010-2023):Tehnologia de răcire prin evaporare adoptată, care produce aer rece sau apă folosind aer uscat. Această tehnologie poate furniza aer de răcire sau apă în funcție de nevoi. Deoarece nu necesită compresoare tradiționale, consumă mai puțină energie și este utilizat în centrele de date care necesită răcire pe tot parcursul anului. Răcirea evaporativă indirectă, cea mai eficientă soluție pentru utilizarea surselor naturale de răcire, poate reduce consumul de energie de răcire cu 30% în comparație cu sistemele tradiționale de apă răcită.
• Faza 4 (2024-prezentă):Tehnologia de răcire cu lichid îmbunătățește fundamental modul în care echipamentul principal disipă căldura. Îndeplinește mai bine nevoile precise de răcire ale rafturilor și cipurilor de înaltă densitate și oferă avantaje precum consum mai mic de energie, disipare mai mare a căldurii, zgomot mai scăzut și cost total de proprietate (TCO) mai mic. Răcirea cu lichid se referă la utilizarea lichidului ca mediu de răcire pentru a schimba căldură cu componentele generatoare de căldură din server, transportând căldura pentru a se asigura că serverul funcționează într-un interval de temperatură sigur. Este potrivit pentru scenarii care necesită o putere de calcul crescută, eficiență energetică și densitate de implementare.

 

2. Răcirea cu lichid pe placă rece este foarte matură și utilizată pe scară largă

Pe baza modului în care mediul de răcire contactează serverul, răcirea cu lichid poate fi clasificată în răcire indirectă și răcire directă. Răcirea indirectă implică în primul rând răcirea cu lichid pe placă rece, care este împărțită în continuare în răcire cu placă rece monofazată și bifazată, în funcție de faptul dacă mediul de răcire suferă o schimbare de fază. Răcirea directă include răcirea prin imersie și prin pulverizare, în care lichidul intră în contact direct cu cip sau rack și este împărțit în răcire cu imersie monofazată și în două faze, în funcție de faptul dacă mediul de răcire suferă o schimbare de fază.

 

Răcirea cu lichid cu plăci reci este în prezent cea mai utilizată în industria centrelor de date, iar aplicația sa principală în industria răcirii cu lichid este în scenariile de calcul de înaltă densitate. Răcirea cu lichid pe placă rece se referă la instalarea unei plăci reci direct pe un cip pentru schimbul de căldură, cu un lichid acţionat de pompă care circulă pentru a elimina căldura printr-un schimbător de căldură. Principiul de funcționare al răcirii cu lichid cu plăci reci implică încorporarea radiatoarelor cu microcanale deasupra sursei de căldură, disipând căldura prin lichidul care curge prin aceste microcanale și apoi transferându-l într-un schimbător de căldură, care disipează și mai mult căldura în mediu.

 

Răcirea cu lichid pe placă rece, cu tehnologia sa matură, avantajele în ceea ce privește costurile și stabilitatea operațională, este în prezent soluția principală pentru calculul de înaltă performanță și calculul AI în centrele de date. Răcirea cu lichid pe placă rece are ca rezultat, de obicei, un PUE de 1,2 sau mai mic, ajungând chiar și la 1,05 în unele cazuri. Tehnologiile de răcire directă cu lichid, cum ar fi răcirea prin imersie, oferă în general performanțe mai bune, dar sunt mai puțin utilizate pe scară largă din cauza riscurilor tehnice și a costurilor mai mari. Răcirea cu lichid pe placă rece are mai multe avantaje față de alte tehnologii de răcire cu lichid, inclusiv instalare simplă, cost redus, scalabilitate, întreținere ușoară și timpi scurti de construcție. De exemplu, Meixin propune că răcirea cu lichid pe placă rece ar putea reduce consumul de energie de calcul cu până la 30%.

 

În practică, 75% din sistemele globale de răcire cu lichid pentru centrele de date utilizează tehnologia de răcire cu lichid cu placă rece, iar răcirea cu lichid cu placă rece a devenit, de asemenea, soluția principală pentru centrele de calcul AI din China. Răcirea lichidă cu plăci reci este de așteptat să își continue creșterea ridicată. Rata de creștere compusă a serverelor răcite cu lichid din China va depăși 50% în următorii cinci ani, sistemele de răcire cu lichid cu placă rece dominând piața.

 

3. Răcirea cu lichid este mai eficientă și este promovată pe scară largă de către operatori

În prezent, creșterea rapidă a densității căldurii din cabinet datorită construcției de centre de date pentru calculul AI a crescut cererea pentru soluții răcite cu lichid. Cota de piață a serverelor răcite cu lichid continuă să crească, în timp ce proporția serverelor tradiționale răcite cu aer scade rapid.

 

▲ Venitul anual din răcirea lichidă în comparație cu răcirea cu aer

 

În 2022, cinci standarde ale industriei de răcire cu lichid conduse de Academia Chinei de Tehnologia Informației și Comunicațiilor au fost implementate oficial. Cei trei mari operatori de telecomunicații intenționează să piloteze tehnologia de răcire cu lichid în 10% din noile proiecte de centre de date în 2024, peste 50% dintre proiectele de centre de date care vor aplica tehnologia de răcire cu lichid până în 2025. China Telecom a planificat și construit deja un cluster de centre de calcul inteligente în Shanghai, capabilă să sprijine formarea modelelor la scară largă cu trilioane de parametri. Clusterul, alimentat de capabilități de calcul interne, va avea 10 carduri000 într-un singur grup, ceea ce îl face primul cluster de calcul la scară mare, răcit cu lichid, produs la scară largă, care acceptă un singur grup de 10,{{11} } carduri.

 

Ritmul operatorilor de a promova răcirea cu lichid depășește așteptările pieței, ceea ce va conduce la optimizarea costurilor și la îmbunătățirea standardelor. Pentru a spori competitivitatea dulapurilor centrelor de date și a reduce consumul de energie în controlul temperaturii, furnizorii terți de centre de date pot accelera aplicarea răcirii cu lichid, ceea ce duce la o distribuție regională mai largă a centrelor de date răcite cu lichid în China. Pe măsură ce tehnologia centrului de date cu răcire lichidă se maturizează și costurile de implementare scad, mai mulți furnizori de servicii IDC (Internet Data Center) explorează adoptarea răcirii lichide. În est, utilizatorii care au aplicat deja centre de date cu răcire cu lichid văd o cerere crescută pentru soluții de răcire cu lichid pentru a satisface cerințe mai stricte de consum de energie, extinzând și mai mult dezvoltarea centrelor de date răcite cu lichid în regiunile centrale și de vest.

 

4. Creștere de mare viteză pe piața de răcire cu lichid

Lanțul industriei de răcire cu lichid include furnizori din amonte de componente ale produsului, furnizori de servere și infrastructură de răcire cu lichid din fluxul mediu și utilizatori cu putere de calcul din aval. Amonte include în principal furnizori de componente de produs și echipamente de răcire cu lichid, cum ar fi plăci reci, CDU-uri (Unități de distribuție a lichidului de răcire), deconectare rapidă, supape solenoide, rezervoare de răcire cu lichid de imersie, colectoare și produse de răcire. Fluxul mediu include producători de servere de răcire cu lichid, producători de cipuri, precum și facilități de integrare, module și dulapuri de răcire cu lichid. În aval include operatorii de telecomunicații, companiile de internet și clienții din industrii precum telecomunicațiile, internetul, guvernele, finanțele, transporturile și energia.

 

În partea din amonte a lanțului industrial, schimbul de căldură în sistemele de răcire cu lichid cu plăci reci este împărțit în două părți: sistemul primar de schimb de căldură și sistemul secundar de schimb de căldură. Sistemul secundar dobândește căldură de la surse de căldură, cum ar fi serverele, prin schimb de căldură direct/indirect și o transferă în sistemul primar. Sistemul primar de schimb de căldură utilizează echipamente de răcire în aer liber pentru a disipa căldura din exterior, completând procesul general de răcire. Cele două sisteme schimbă căldură prin unitatea de distribuție a lichidului de răcire (CDU).

 

Defecțiuni specifice ale componentelor: o deconectare rapidă este o componentă de tip fișă și priză cu funcții de întrerupere a fluidului atât pe priză, cât și pe priză, permițând întreținerea rapidă plug-and-play a sistemelor de răcire cu lichid. Când ștecherul și priza sunt conectate, fluidul curge pentru a furniza lichid plăcii rece; atunci când este deconectat, fluidul se oprește, prevenind scurgerile în afara sistemului. Un colector este un dispozitiv care conectează CDU-ul la placa rece din serverele de răcire cu lichid, instalate de obicei într-un dulap. Funcția sa este de a distribui uniform lichidul de răcire pe fiecare placă rece și de a colecta lichidul de răcire încălzit, trimițându-l înapoi la CDU prin conductele conectate.

 

O unitate de distribuție a lichidului de răcire (CDU) este un modul utilizat pentru a face schimb de căldură între lichidul de răcire la temperatură înaltă din sistemul secundar și sursa de răcire primară. Oferă distribuția lichidului de răcire și gestionează monitorizarea temperaturii, presiunii și debitului pentru echipamentele IT răcite cu lichid. CDU constă în principal din schimbătoare de căldură/condensatoare, pompe de circulație, filtre, rezervoare de stocare a lichidului de răcire și accesorii (supape, conducte, conectori, senzori etc.) și are funcții precum schimbul de căldură, circulația, purificarea și stocarea lichidului de răcire.

 

Între 2020 și 2022, tehnologia de răcire cu lichid s-a maturizat rapid, iar validarea modelelor de aplicații a obținut un succes semnificativ, ceea ce a condus la o reducere a costurilor de răcire pe unitate de putere. Potrivit datelor CCID Consulting, abordarea cu placă rece a menținut peste 90% cotă de piață, în timp ce răcirea prin imersie și prin pulverizare au reprezentat împreună aproximativ 10%. După o medie ponderată a celor trei metode, costul de răcire de 1 kW în centrele de date răcite cu lichid a fost de aproximativ 6.500 RMB în 2022, cu o scădere estimată la 5,000 RMB pe 1kW până în 2023.

 

Recent, CEO-ul Supermicro, Charles Liang, a prezis că, în următoarele 12 luni, 15% din noile implementări globale ale centrelor de date vor folosi tehnologia sa directă de răcire cu lichid, iar această proporție va ajunge la 30% în anul următor, o creștere substanțială de la doar 1% față de ultimii 30 de ani, creând o altă curbă majoră de creștere a bețelor de hochei. În comparație cu răcirea tradițională cu aer, răcirea directă cu lichid este mai economică și mai ecologică. Presupunând că rata de penetrare a răcirii lichide în noile centre de date din China ajunge la 22% până în 2026, spațiul de piață pentru răcirea lichidă va fi de 11,1 miliarde RMB.