Teadmised

Andmekeskuse jaotamine eraldab arvutamise, mälu, salvestusruumi ja võrgud sõltumatuteks ühendatud ressurssideks, selle asemel et lukustada need kindlatesse serveripiiridesse. See eraldamine loob uue arhitektuurilise sõltuvuse: nende basseinide vaheline ühenduskiht peab tagama piisava ribalaiuse, piisavalt madala latentsuse ja piisava ulatuse, et kogu süsteem käituks ühe koordineeritud kangana. Optiline ühendus on transporditehnoloogia, mis täidab seda rolli üha enam -, eriti kui vaskühendused tabavad kauguse, võimsuse ja signaali terviklikkuse füüsilisi piire.

Selles artiklis selgitatakse, kuidas optiline ühendus toetab hajutatud arhitektuure, kus see ületab vasest, kuidas see on seotud CXL-i ja kaas{0}}pakendatud optikaga ning millal on selle kasutuselevõtt praktiline.

Mis on andmekeskuse jaotamine?

Traditsioonilises serveri{0}}keskse mudeli korral on protsessor, mälu, salvestusruum ja võrgundus ühendatud ühte šassiisse. Ostate serveri ja saate fikseeritud suhte kõigist neljast - olenemata sellest, kas teie töökoormus vajab seda suhet või mitte. Andmekeskuse jaotamine katkestab selle kimbu. Iga ressursitüüp on korraldatud oma basseiniks ja töökoormused ammutavad jagatud kanga kaudu igast kogumist ainult seda, mida nad vajavad.

See on oluline, sest tänapäevased töökoormused on harva tasakaalustatud. Suur keelemudeli väljaõppetöö võib küllastada GPU-mälu ja ida-läänesuunalise ribalaiuse, puudutades sealjuures vaevu kohalikku salvestusruumi. Reaalajas-analüütika konveier võib vajada tohutut mälumahtu, kuid ainult mõõdukat arvutust. Serveri{5}}keskse kujunduse korral põhjustab see ebakõla ressursi katkemiseni: tühikäigul töötava protsessori tsüklid on tühjenenud mälu või salvestusmahuga, mida ükski töökoormus ei kasuta.

TheOpen Compute Project (OCP)on alates 2010. aastate keskpaigast kasutanud liigendatud riiulikujundusi ning hüperskaalajad, nagu Meta ja Microsoft, on kasutusele võtnud mastaapselt liigendatud salvestusruumi ja võrgu. TekkimineExpress Link (CXL) arvutamineon laiendanud seda nägemust mälu tükeldamisele, muutes arhitektuuri üha praktilisemaks paljudes keskkondades.

Miks traditsioonilised serveri{0}}kesksed kujundused seina tabavad?

Kaks jõudu sunnivad infrastruktuuri meeskondi tükeldamise poole: kasutussurve ja ribalaiuse surve.

Kasutamise poolel tekitavad fikseeritud serverikomplektid mastaapseid jäätmeid. Tööstusuuringud näitavad, et ligikaudu 25% tavaliste serverite DRAM-i mahust jääb keskmiselt kasutamata, isegi kui mälu moodustab peaaegu poole serveri kogukuludest. Tuhandete sõlmede vahel korrutatuna kujutab see luhtunud võimsus märkimisväärset kapitali- ja elektrikoormust.

Ribalaiuse poolel loovad tehisintellekti koolitusklastrid ja suure{0}}jõudlusega analüüs liiklusmustreid, mis erinevad järsult traditsioonilisest põhja{1}}lõuna{2}}veebi{2}}teeninduskoormusest. Need töökoormused tekitavad sadade või tuhandete lõpp-punktide vahel tihedat ida-läänesuunalist liiklust - GPU---GPU, kiirendi---mälu ja sõlme---sõlme -. Traditsioonilised serveri{14}}kesksed topoloogiad, millel on fikseeritud kastide vahel lühikesed vasest jooksud, ei olnud selle mustri jaoks loodud. Kuna ühenduskiirused tõusevad 400 G-lt 800 G-le ja üle selle, muutub vase elektrilisi piiranguid raskemaks kohandada.

Kuidas optiline ühendamine liigendatud andmekeskuses töötab?

Kui arvutus-, mälu- ja kiirendiressursid asuvad eraldi kogumites, saab neid kogumeid ühendavast struktuurist jõudlus{0}}kriitilise tähtsusega kiht. Optiline ühendus teenindab seda kihti, muundades elektrilised signaalid valguseks, edastades andmeidühe-režiimivõimitmemoodiline kiudja vastuvõtvas otsas tagasi elektriliseks muutmine.

Optilise transpordi füüsika annab sellele selle töö jaoks struktuursed eelised. Kiudude valgussignaalid nõrgenevad meetri kohta palju vähem kui vase elektrilised signaalid, mis tähendab, et optilised lingid suudavad säilitada signaali kvaliteedi pikema vahemaa jooksul ilma toitenäljase signaali konditsioneerimiseta (retaimerid, DSP-d, ekvalaiserid), mida vask nõuab suurematel kiirustel. 800 Gbps juures on passiivne vask praktiline kuni 3–5 meetrini. Aktiivsed elektrikaablid ulatuvad selle ehk 7 meetrini. Optilised lingid ulatuvad tavaliselt 100 meetrit kuni 2 kilomeetrini sama andmeedastuskiirusega ja koherentne optika võib ulatuda kümnete kilomeetriteni.

Jaotatud arhitektuuris ei ole see ulatuse eelis abstraktne. See määrab otseselt, kui kaugele ressursikogumid võivad asuda, käitudes samal ajal nagu ühtne süsteem. Täpsemalt:

• Riiuli sees:Vask domineerib endiselt väga lühikeste ühenduste puhul -serveri-to-to{3}}reki ülaosa-lüliti, GPU-to-GPU vahel salves. Alla 2–3 meetri kaugusel on vask lihtsam, odavam ja väiksem{10}}latentsusaeg.
• Riiul-restini-(2–100 m):See on koht, kus optiline ühendus muutub praktiliseks vaikesageduseks 400G ja kõrgemal. Arvutuskasti ühendamine külgneva riiuli mälukogumiga või GPU-salvede ühendamine rea vahel nõuab tavaliselt kiu pakutavat ribalaiuse tihedust ja ulatust.Kiudoptiliste kaablite komplektidjaMPO/MTP ühenduvuson nende radade jaoks standardsed.
• Toast-tuppa-ja hoonest-hoonesse-(100 m–10+ km):Nendel vahemaadel ja kiirustel on elujõuline ainult optiline transport. See ulatus on oluline ülikoolilinnaku-skaala jaotamisel, kus salvestuskogumid, varuarvutus- või katastroofi{2}}taasteressursid asuvad eraldi hoonetes.

Optiline ühendus vs vask liigendatud andmekeskustes

Valik optilise ja vase vahel ei ole binaarne -, vaid ulatus-sõltub. Siin on, kuidas neid kahte võrreldakse eristatud kujunduses kõige olulisemate tegurite vahel.

Praktiline lahendus: kasutage vaske seal, kus lühikese vahemaa{0}}lihtsus võidab ikkagi. Kasutage optilist seadet, kus haardeulatus, ribalaiuse tihedus, energiatõhusus või kaablihaldus muutuvad siduvaks piiranguks. Jaotatud keskkonnas kasvab kogu vastastikuse ühenduse optiline osakaal, kuna arhitektuur ise loob pikemad ja suuremad{3}}ribalaiused eraldatud ressursikogumite vahel. Meediatüüpide põhjalikumaks võrdluseks vtfiiberoptilised vs vaskkaablid: mis sobib teie kasutuselevõtuks.

Optilise sidumise peamised eelised eraldamiseks

Eraldatud ressursikogumite suurem ribalaiuse tihedus

Jaotamine suurendab ühenduskihti läbiva liikluse mahtu, kuna kunagi koos{0}}asutatud ressursid suhtlevad nüüd kanga kaudu. Optiline kiud toetab seda nõudlust suurema -kiu ribalaiusega ja rohkemate kiududega kaabli kohta. Üksiklintkiudkaabelsuudab kanda kompaktses ristlõikes{0}}sada kiude, võimaldades sellist porditihedust, mida vajavad liigendatud GPU klastrid ja mälukogumid.

Madalam võimsus ja soojuskoormus mastaabis

Energiatõhusus on liigendatud konstruktsiooni puhul olulisem, kuna ühenduskiht kannab suuremat osa kogu süsteemi liiklusest. 800G ja kõrgemal sagedusel vajavad mõõdukatel vahemaadel olevad vaseühendused mõlemas otsas intensiivset DSP-töötlust. Samaväärsete kiiruste ja vahemaadega optilised lingid tarbivad biti kohta vähem energiat. NVIDIA tehniline dokumentatsioon koos{5}}pakendatud optika vahetamise platvormi aruannetega a3,5-kordne elektritarbimise väheneminevõrreldes traditsiooniliste ühendatavate transiiveritega. Andmekeskuse mastaabis väljendub see erinevus otseselt madalamates elektriarvetes ja jahutustaristu vähenemises.

Modulaarne, sõltumatu skaleerimine

Üks liigendamise peamisi lubadusi on see, et arvutus, mälu ja salvestusruum võivad skaleerida erinevatel kiirustel. Optiline ühendamine toetab seda lubadust, sest ühe ressursikogumi võimsuse lisamine ei nõua kogu kanga ümberkujundamist.Ühendatavad optilised moodulidsaab täiendada või lisada järk-järgult - 400 G-lt 800 G-le 1,6 T-le - ilma kiu aluseks olevat tehast muutmata.

Paindlikkus heterogeensete töökoormuste jaoks

Kui ressursid on koondatud ja ühendatud suure jõudlusega{0}}optilise struktuuri kaudu, saavad infrastruktuuri meeskonnad määrata töökoormustele ressursse dünaamiliselt, selle asemel, et töökoormust fikseeritud serverikonfiguratsioonide järgi kujundada. See paindlikkus on eriti väärtuslik keskkondades, kus tehisintellekti koolitustööd, reaalajas tehtud järeldused, analüütikakonveierid ja salvestus-mahukad rakendused eksisteerivad ja konkureerivad erinevate ressursitüüpide pärast.

Optiline ühendamine on seotud CXL-i ja Co{0}}pakendatud optikaga

CXL: protokollikiht mälu ja ressursside jagamiseks

CXL (Compute Express Link) ja optiline ühendus lahendavad tükeldamise probleemi erinevad osad. CXL on avatud standardprotokoll -, mis on ehitatud PCIe füüsilisele kihile -, mis võimaldab vahemälu-sidusat suhtlust protsessorite, mäluseadmete ja kiirendite vahel. See määratleb, kuidas eraldatud ressursse saab tarkvara ja protokolli tasemel tõhusalt koondada ja jagada.

CXL-i konsortsium, mille liikmete hulka kuuluvad Intel, AMD, NVIDIA, Samsung, Microsoft, Google ja Meta, andis 2023. aasta novembris välja CXL 3.1, millel on selgesõnaline tugimitmel-tasemel vahetamine ja kanga-põhine liigendamineriiulist kaugemale. CXL 3.0 tutvustas kuni 4096 sõlme tuge ühtses koes, võimaldades rack-skaala ja potentsiaalselt klastri{5}}skaala mälu koondamist.

Optiline ühendus on füüsiline transport, mis suudab edastada CXL-liiklust (ja muid protokolle) nende hajutatud sõlmede vahel. CXL-põhist mälukogumist hindav meeskond ja optilist ühendust hindav meeskond töötavad sageli sama jaotamisalgatuse kallal erinevatest vaatenurkadest, - üks käsitleb protokolli ja ressursside-jagamise loogikat ning teine ​​füüsilist transporti.

Kaas{0}}pakendatud optika: lükkab optika kiibile lähemale

Kaas{0}}pakendatud optika (CPO) läheb kaugemale, integreerides optilised mootorid otse samale paketi põhimikule nagu lüliti ASIC või GPU, selle asemel, et tugineda eraldi ühendatavatele transiiveridele, mis on ühendatud esipaneelil olevate elektrijälgede kaudu. See välistab süsteemi pikimad ja{2}}energianäljasemad elektriteed.

GTC 2025 raames teatas NVIDIA oma esimesestkaas-pakendatud ränifotoonika lülitusplatvormid(Quantum-X Photonics ja Spectrum-X Photonics), pakkudes kuni 409,6 Tb/s ribalaiust 512 pordiga kiirusel 800 Gb/s. NVIDIA tegevjuht Jensen Huang märkis, et tavapäraste ühendatavate transiiveride abil miljonile GPU-le skaleerimine tarbiks ainuüksi transiiveri võimsust ligikaudu 180 MW - see on jätkusuutmatu näitaja, millega CPO on mõeldud tegelema.

CPO ei ole midagi, mida iga liigendamist hindav meeskond peaks täna kasutama. Ühendatavad optilised moodulid jäävad enamiku jaoks domineerivaks vormiteguriksandmekeskuse fiiberoptikakasutuselevõttu ja jätkub vähemalt 2020. aastate lõpus. Kuid CPO esindab optilise tegevuskava suunda ja suuri tehisintellektiklastreid või järgmise -põlvkonna liigendatud kangaid kavandavad meeskonnad peaksid selle küpsust tähelepanelikult jälgima.

Millal on optiline ühendamine kõige mõttekam?

AI ja kiirendi{0}}rasked keskkonnad

Tehisintellekti koolitusklastrid on ühed tugevaimad optilise vastastikuse ühendamise kasutusjuhised jaotatud kontekstis. Need süsteemid genereerivad tohutut ida-läänesuunalist liiklust GPU-–-GPU ja GPU-–-mäluteede kaudu. Kuna klastrite suurus kasvab sadadelt tuhandetele GPU-dele, ületavad katvuse ja ribalaiuse nõuded kiiresti selle, mida vask suudab toetada. Näiteks NVIDIA GB200 NVL72 arhitektuuris moodustavad võrgukulud (sealhulgas optilised transiiverid) 15–18% klastri kogukuludest ja optilised transiiverid moodustavad sellest võrgukulust ligikaudu 60%. Optilise kihi optimeerimise majanduslik ja jõudlus on oluline.

Mälu koondamine ja komponeeritav infrastruktuur

Kui teie meeskond hindab CXL{0}}põhist mälu koondamist, peab füüsiline transpordikiht seda eraldamist toetama, lisamata vastuvõetamatut latentsusaega või mastaapi piiramist. CXL 3.1 sihib selgesõnaliselt kanga-skaala jaotamist väljaspool racki, mis tähendab, et ühendusteed hõlmavad pikemaid vahemaid kui traditsioonilised serverisisesed-mälusiinid. Optilised lingid sobivad nende radade jaoks loomulikult.

Suuremahulised{0}}keskkonnad ebaühtlase skaleerimisvajadusega

Optiline ühendus on mõttekam ka siis, kui arvutus, mälu ja salvestusruum peavad skaleerima erinevatel kiirustel. Kui teie arvutusvõimsus kasvab 3 korda aastas, kuid salvestusruum 1,5 korda, võimaldab liigendatud arhitektuur teil iga basseini eraldi laiendada - ja optiline ühendus teeb selle füüsiliselt võimalikuks ilma kaabeldusjaama iga kord ümber kujundamata.

Kui sellel EI ole mõtet

Optiline ühendus ei ole iga keskkonna jaoks õige lähtepunkt. Kui teie andmekeskus töötab tavalistes serverites peamiselt tasakaalustatud -üldotstarbelise töökoormusega ja teie riiulite{2}}liiklus-liiklus on tagasihoidlik ja olemasolev vasktaristu teenindab- hästi, ei pruugi optilise-esimese kanga maksumus ja keerukus olla õigustatud. Samamoodi, kui töötate mastaabis, kus teie vajadustele vastavad mõnikümmend serverit, võib jaotamine ise muuta töö keerukamaks kui säästa. Arhitektuur tasub end ära, kui ulatus, heterogeensus ja ressursside tasakaalustamatus on reaalsed ja mõõdetavad - mitte hüpoteetilised.

Mida hinnata enne kasutuselevõttu

1. Kaardistage oma tegelik kitsaskoht

Alustage selgest küsimusest: mis on siduv piirang? Kas see ulatub (vasest teed liiga lühikesed teie riiuli paigutuse jaoks)? Ribalaiuse tihedus (ebapiisav läbilaskevõime kaabli kohta teie GPU klastri toitmiseks)? Võimsus (elektriühendused tarbivad liiga palju võimsust 400 G+ juures)? Ressursikasutus (serverid on ühel teljel ülevarustatud ja teisel näljas)? Optiline ühendus on kõige väärtuslikum siis, kui kitsaskoht on füüsiline ja mõõdetav, mitte siis, kui seda kasutatakse üldise moderniseerimise žestina.

2. Hinnake süsteemi kogumaksumust, mitte kaabli maksumust

Levinud viga on vaskkaabli hinna võrdlemine kaabli hinnagaoptiline kaabelisolatsioonis. See võrdlus on eksitav. Mõttekas võrdlus hõlmab energiatarbimist, soojuslikku üldkulusid (ja sellest tekkivaid jahutuskulusid), porditihedust riiuliüksuse kohta, kasutatavat ulatust, versiooniuuenduse paindlikkust ja luhtunud ressursside maksumust laiemas arhitektuuris. Paljudes jaotatud keskkondades 400 G ja üle selle on kiu kogu omamiskulu madalam kui vase puhul, kui arvestada kogu süsteemiga.

3. Kontrollige ühilduvust ja töövalmidust

Hindafiiberoptiliste kaablite testiminenõuded, moodulite koostalitlusvõime, seiretööriistad ja teie meeskonna kiudoptilised teadmised. Ühendatavad optilised moodulid (OSFP, QSFP-DD) on hästi-standardiseeritud ja laialdaselt toetatud, kuid teie operatiivmeeskond peaks enne ulatuslikku kasutuselevõttu olema kiudoptilise käsitsemise, puhastamise ja tõrkeotsinguga rahul. Kaaluge pilootdomeeni alustamist, kus saate neid toimivaid tegureid kinnitada.

4. Planeerige kiudtaime pikaealisus

Kiudoptilise infrastruktuuri üheks oluliseks eeliseks on see, et passiivne kiudjaam - kaablid, vahepaneelid ja rajad - võivad toetada mitut põlvkonda transiivertehnoloogiat. Hästi-disainitudandmekeskuse ühenduvusTänapäeval 400G jaoks paigaldatud kiudjaam toetab transiivereid vahetades 800G ja 1,6T versiooniuuendusi ilma uusi kaableid tõmbamata. See muudab esialgse investeeringu kiudoptisse 10-aastase planeerimisperioodi jooksul paremini kaitstud.

Praktiline lapsendamise tee

1. samm: tuvastage üks piiratud domeen.Otsige üles kohta, kus vase ulatus, võimsus, ribalaiuse tihedus või ressursi luhtumine tekitavad juba mõõdetavat valu. See võib olla graafikaprotsessorite klastri laiendamine, analüütilise keskkonna kitsaskoht-to{2}}rack või mälu koondamise piloot.

2. samm: katsetage ja kinnitage.Kasutage selles domeenis optilist ühendust. Mõõtke latentsuskäitumist, energiatarbimist, töö keerukust ja laienemise ökonoomsust olemasoleva baastasemega.

3. samm: laiendage tõendite põhjal.Kasutage pilootandmeid, et luua äri- ja tehniline lahendus laiemaks kasutuselevõtuks. Jaotamist ja optilist migratsiooni saab harva kõige paremini käsitleda ühe suure-paugu projektina. Etapiviisiline levitamine võimaldab teil õppida, kohandada ja luua organisatsiooni usaldust.

Otsuste kontroll-loend: kas optiline ühendus on teie jaotusalgatuse jaoks õige?

• Kas teie riiuli-to- või ruumi-to-vahemaad ületavad teie sihtkiirusel vase praktilist ulatust?
• Kas kavatsete lähiajal kasutusele võtta 400G või suurema lingikiiruse?
• Kas elektriühenduse elektritarbimisest on saamas teie andmekeskuse energiaeelarve oluline osa?
• Kas hindate CXL{0}}põhist mälu koondamist, komponeeritavat infrastruktuuri või GPU-klastri laiendamist?
• Kas ressursside luhtumine (jõudeolekus olev arvutus, mälu või salvestusruum on fikseeritud serverites lukustatud) on mõõdetav kuluprobleem?
• Kas teie keskkond peab arvutusi, mälu ja salvestusruumi erineva kiirusega skaleerima?

Kui nendest kehtib kolm või enam, väärib optiline ühendus teie jaotamise tegevuskava osana tõsist hindamist.

KKK

Mis on andmekeskuse optiline ühendus?

Optiline ühendus on transporditehnoloogia, mis kasutab valgussignaalekiudoptilised kaablidandmete edastamiseks võrguseadmete, serverite, kommutaatorite, salvestussüsteemide ja ressursikogumite vahel andmekeskustes ja nende vahel. Võrreldes vasega samaväärsetel kiirustel - pakub see suuremat ribalaiust, pikemat ulatust ja väiksemat võimsust biti kohta, muutes selle eriti oluliseks liigendatud ja tehisintellektile-orienteeritud arhitektuuride jaoks.

Mille poolest optiline ühendus erineb CXL-ist?

Nad töötavad erinevatel kihtidel. Optiline ühendus on füüsiline transporditehnoloogia - see liigutab bitte punktist A punkti B valguse abil. CXL on protokollistandard, mis määrab, kuidas protsessorid, mälu ja kiirendid omavahel sidusalt suhtlevad. Optiline ühendus võib edastada CXL-liiklust, kuid CXL töötab ka elektriliste linkide kaudu lühikese ulatusega ühenduste jaoks. Meeskonnad hindavad sageli mõlemat üheaegselt, sest lahterdamine tekitab nõudluse nii paremate protokollide (CXL) kui ka parema füüsilise transpordi (optika) järele.

Kas vask ja optika võivad eraldatud andmekeskuses koos eksisteerida?

Jah, ja tavaliselt teevad seda. Enamikus lahterdatud keskkondades kasutatakse vaske väga lühikeste siseste-rack ühenduste jaoks (alla 3–5 meetrit), kus see jääb lihtsamaks ja odavamaks, ning optilist kiudu riiulist-redani, reast-reast- ja pikemateks teedeks, kus vase ulatus, võimsus ja sidumistihedus muutuvad piiranguteks. Otsus sõltub ulatusest-, mitte kõigest-või-mitte millestki.

Mis on ka{0}}pakendatud optika ja kas mul on seda kohe vaja?

Kaas{0}}pakendatud optika (CPO) integreerib optilised mootorid otse samasse paketti nagu lüliti ASIC või protsessor, välistades vajaduse eraldi ühendatavate transiiverite järele ning vähendades energiatarbimist ja latentsust. NVIDIA ja Broadcom juurutavad CPO-d järgmise-põlvkonna tehisintellekti võrguplatvormidele. Enamik andmekeskusi ei vaja täna CPO-d -ühendatavad optilised moodulidjääma standardiks -, kuid CPO on 2026.–2028. aasta suuremahulise-AI infrastruktuuri kavas.

Millal ma EI TOHI optilise ühendusega eraldada?

Kui teie töökoormus on{0}}arvutamise, mälu ja salvestusruumi vahel hästi tasakaalustatud; teie mastaap on tagasihoidlik (paar tosinat serverit); ja teie olemasolev vasktaristu rahuldab teie praeguseid ja lähiajalisi -ajalisi ribalaiuse vajadusi ilma koormuseta -, jaotamise ja optilise migratsiooni keerukus ei pruugi olla investeeringut väärt. Alusta kitsaskohast, mitte moesõnast.

Mis tüüpi kiude kasutatakse andmekeskuse optilises ühenduses?

Ühemoodi{0}}kiudkasutatakse pikema-vahemaa, suurema-kiirusega linkide jaoks (tavaliselt rack-to-rack ja kaugemalgi).Mitmemoodiline kiudon tavaline lühemate, kuni mõnesaja meetri pikkuste{0}}andmekeskuse-siseste ühenduste puhul. Valik sõltub iga lingi nõutavast ulatusest, kiirusest ja kuluprofiilist.