400G optické moduly v moderných sieťach

 

Vojny form Factor, ktoré nikto nevyhral

 

QSFP-DD a OSFP vzišli zo štandardného procesu ako dvaja súrodenci, ktorí sa nedokázali dohodnúť na ničom okrem toho, že obaja chceli 400G. Priemysel potreboval osem elektrických pruhov s rýchlosťou 50 Gbps a dve rôzne konzorciá sa rozhodli vyriešiť tento problém dvoma rôznymi spôsobmi.

QSFP-DD vyhral argument o kompatibilite. Hodí sa do existujúcich klietok QSFP28, ak dostatočne silno prižmúrite a nevadí vám druhý rad kolíkov. Spätná kompatibilita je dôležitá, keď máte desiatky tisíc nasadených portov a finančného riaditeľa, ktorý kladie konkrétne otázky o uviaznutých aktívach.

OSFP vyhral tepelný argument. O niečo väčší kryt a integrovaný chladič znamenajú, že 15-20 wattov, ktoré tieto moduly spotrebúvajú, môžete skutočne rozptýliť bez varenia priľahlých portov. Videl som linkové karty, kde rohové porty QSFP-DD neustále bežia o 8 stupňov teplejšie ako stredné, pretože dizajn prúdenia vzduchu predpokladal obálky napájania 100 G.

Ani jeden skutočne nevyhral. Väčšina hyperškálovačov prešla QSFP-DD kvôli jednoduchosti inventára. Väčšina telekomunikačných nasadení prešla OSFP, pretože ich koherentné moduly potrebovali tepelnú rezervu. Všetci ostatní si vybrali čokoľvek, čo ich dodávateľ prepínačov dodal, a pokračovali ďalej.

Variant QSFP112 si zaslúži zmienku, pretože každého mätie. Štyri pruhy po 100G-rovnaký agregát 400G, menej pruhov, novšie SerDes. Pre pripojenie NIC záleží na tom, kde chcete, aby server-prepojil-TOR prepojenie bez zložitosti DSP prevodovky. Záleží na tom menej, ako tvrdia predajcovia inde.

 

PAM4 zmenil všetko (a rozbil pár vecí)

 

Tu je to, čo nikto dostatočne nevysvetlí, keď vám predáva 400G: Signalizácia PAM4 vymieňa odolnosť proti šumu za efektivitu šírky pásma a tento kompromis nie je zadarmo.

Kódovanie NRZ využívalo dve úrovne signálu. Vysoká alebo nízka. Jedna alebo nula. Váš prijímač len potreboval rozlíšiť medzi týmito dvoma stavmi a diagram oka vám poskytol pohodlné okraje. PAM4 používa štyri úrovne-00, 01, 10, 11-, čo znamená, že váš prijímač teraz musí rozlišovať medzi tromi prekročeniami prahu s tretinovým oddelením napätia. Teoretická pokuta 9,54 dB SNR nie je vôbec teoretická. Zobrazuje sa na vašich počítadlách BER pred FEC každý deň.

DSP vo vnútri modulu 400G robí hrdinskú prácu, ktorá to kompenzuje. Dopredné vyrovnávanie-dopredu, vyrovnávanie spätnej väzby pri rozhodovaní, hodiny a obnova dát-všetko beží rýchlosťou 53,125 GBaud na jazdný pruh. Keď to funguje, je to neviditeľné. Keď to nefunguje, dostanete návaly opraviteľných chýb prerušovaných občasnými neopraviteľnými chybami a veľa šťastia pri zisťovaní, či je problémom váš modul, vaše vlákno, váš hostiteľ alebo žiarenie z kozmického pozadia.

 

 

Varianty vlnovej dĺžky: Viac než len dosah

 

Špecifikácie dosahu rozprávajú len časť príbehu.

400G-SR8 používa 850nm VCSEL na ôsmich paralelných vláknach so zameraním na 100 metrov cez OM4. Je to lacné. Je to multimode. Vyžaduje konektor MPO-16 s ôsmimi TX a ôsmimi RX vláknami. V rámci stojana alebo medzi susednými stojanmi to funguje dobre. V momente, keď sa niekto opýta, či to má spustiť „len trochu ďalej“, pripomeňte im, že modálna disperzia pri 850 nm nezjednáva.

400G-DR4 pracuje pri 1310nm cez štyri paralelné jednorežimové-vlákna, dimenzované na 500 metrov. Konektor MPO-12 využíva vonkajších osem vlákien a ponecháva štyri nevyužité,{11}}čo je skutočnosť, ktorá zmätie inštalatérov káblov približne raz za každé nasadenie. DR4 sa stal ťažným koňom pre konektivitu listovej{12}}chrbtice v jednorežimových závodoch, pretože 500 metrov pokrýva väčšinu geometrií dátových centier s priestorom nazvyš.

400G-FR4 využíva vlnové dĺžky CWDM4 (1271, 1291, 1311, 1331nm) multiplexované na jeden pár vlákien prostredníctvom duplexného LC. Dosah dva kilometre. Tu začína byť 400G ekonomicky výhodné pre prepojenie kampusov, pretože medzi budovami neťaháte osem{11}}vláknových MPO káblov.

400G-LR4 rozširuje rovnaký prístup CWDM4 na 10 kilometrov s vyšším štartovacím výkonom a lepšími prijímačmi. Nárast ceny z FR4 na LR4 stále prekvapuje oddelenia obstarávania, ktoré neaktualizovali svoj mentálny model z ceny 100G-LR4.

 

Súdržný slon

 

400G-ZR si zaslúži svoju vlastnú sekciu, pretože predstavuje zásadne odlišnú technológiu v rovnakom prevedení.

Všetko, čo som doteraz opísal, používa optiku priameho{0}}detekovania. Svetlo ide dovnútra, fotodióda ho premení, DSP ho vyčistí. Koherentná optika kóduje informácie v amplitúde aj vo fáze v dvoch polarizáciách súčasne, potom používa lokálny oscilátor a sofistikované digitálne spracovanie signálu na obnovenie všetkého v prijímači. Výsledok: 400 Gbps viac ako 120+ kilometrov nezosilneného vlákna v zásuvnom module.

Štandard OIF 400ZR špecifikuje moduláciu 16QAM pri 60 GBaud s duálnou polarizáciou. Zreťazené FEC (mäkké-rozhodovacie vnútorné Hammingovo, tvrdé{5}}rozhodovacie vonkajšie schodisko) poskytuje približne 10,8 dB čistého zisku kódovania. Celé to spotrebúva 15-20 wattov a generuje teplo, ktoré by modul QSFP-DD rozplakalo.

Videl som moduly ZR inštalované v prepínačoch, ktoré neboli navrhnuté pre túto tepelnú záťaž. Šasi spínača hlásilo normálne teploty, pretože jeho snímače nasávania merali studený vzduch. Modul hlásil 73 stupňov, pretože bol vložený medzi dva ďalšie moduly ZR s nedostatočným prietokom vzduchu. Prepojenie fungovalo-sotva-so zvýšenými korekciami FEC, ktoré si nikto nevšimol, kým sa pred-FEC BER neprekročilo hranicu a pakety nezačali klesať.

Varianty ZR+ a MZR posúvajú dosah ďalej za cenu interoperability. Vylepšenia špecifické pre dodávateľa týkajúce sa výkonu, citlivosti prijímača a algoritmov FEC môžu predĺžiť spojenia na vzdialenosť viac ako 400 km, ale kupujete si riešenie a nie tovar.

 

 

Otázka tretej strany-

 

Tento rozhovor som mal asi šesťstokrát.

„Môžeme použiť 400G optiku- tretej strany?“

Technicky áno. Špecifikácie MSA existujú práve preto, aby umožnili interoperabilitu viacerých{1}dodávateľov. Vyhovujúci QSFP-DD od výrobcu X by sa mal správať rovnako ako od výrobcu Y. Normy IEEE definujú optické a elektrické parametre. CMIS (Common Management Interface Specification) štandardizuje spôsob, akým hostiteľ hovorí s modulom.

Prakticky to závisí.

Mechanizmy autentifikácie spoločnosti Cisco sa vyvinuli z neostrého prístupu starších platforiem typu „chyba-zakázať port“ k sofistikovanejšiemu overovaniu dodávateľov, ktoré zaznamenáva upozornenia, ale nevyhnutne nevypína funkcie. Príkaz vysielača a prijímača-nepodporovaná služba zostáva únikovým poklopom. Arista má tendenciu byť tolerantnejší, ale odmietne podporovať problémy, ktoré môžu pochádzať z modulov-tretích strán. Postoj spoločnosti Juniper sa líši podľa platformy a verzie softvéru spôsobmi, ktoré si vyžadujú konzultáciu ich matíc kompatibility.

Bez váhania používam-optiku tretích strán v laboratórnych prostrediach. Pre výrobné cesty s výnosmi o 2:00, keď niečo zlyhá? Chcem mať možnosť zavolať TAC a nechať ich skutočne pomôcť namiesto toho, aby som sa okamžite odchýlil a „nahradil podporovanými vysielačmi a prijímačmi“.

Nákladová matematika mení tento výpočet pre hyperscalerov, ktorí nakupujú moduly po desiatkach tisíc a zamestnávajú inžinierov optiky, ktorí dokážu nezávisle charakterizovať a kvalifikovať dodávateľov. Je to iná matematika pre podniky, ktoré nakupujú stovky modulov prostredníctvom distribučných kanálov s obmedzenými technickými zdrojmi.

 

Tepelná realita

 

Modul 400G QSFP-DD spotrebúva niekde medzi 10 a 15 wattmi v závislosti od variantu a dodávateľa. 400G koherentný modul ZR spotrebuje 15-20 wattov. 800G QSFP-modul DD800-už nasadený v klastroch AI – spotrebuje 18 – 25 wattov.

Vložte 64 z nich do prepínača 2RU a máte 640 wattov len z optiky pred započítaním prepínača ASIC, pamäte, ventilátorov a napájacích zdrojov. Problém tepelného dizajnu sa za jednu generáciu posunul z „adekvátneho“ na „kritický“.

Sledoval som, ako termovízna kamera počas kvalifikačného testu prešla-nabitým 400G chrbticovým spínačom. Najhorúcejšie moduly neboli tie, ktoré by ste očakávali. Rohové pozície, po vetre od výfuku ASIC, boli horúcejšie ako stredové moduly čelnej{4}}dosky, ktoré dostali čerstvý vzduch. Štandardné hodnoty teploty DDM ukázali 17 stupňový rozptyl medzi portami, ktoré boli údajne identické.

Špecifikácie modulu sľubujú prevádzku od 0 stupňov do 70 stupňov, ale krivky výkonu nevyzerajú rovnako pri 70 stupňoch ako pri 25 stupňoch. Zvyšuje sa prahový prúd lasera. Účinnosť svahu klesá. Posun vlnovej dĺžky-a pre systémy CWDM4 a DWDM posun vlnovej dĺžky znamená presluchy so susednými kanálmi.

Vzduchom-chladené systémy sa blížia k svojim limitom. Kvapalné chladenie pre prepínače zostáva exotické, ale čoraz viac potrebné pre klastre AI/ML, kde GPU a optika súťažia o rovnaký tepelný rozpočet.

 

 

Testovanie reality

 

Normy IEEE definujú body zhody. Nezaručujú, že váš konkrétny odkaz bude fungovať.

TDECQ (Transmitter and Dispersion Eye Closure Quaternary) je ekvivalentom PAM4 k OMA (amplitúda optickej modulácie), ale je komplikovanejší. Pokúša sa charakterizovať kvalitu vysielača spôsobom, ktorý predpovedá výkon prijímača. Meranie vyžaduje referenčné prijímače a matematické transformácie, ktoré sa medzi predajcami testovacích zariadení líšia spôsobmi, ktoré spôsobujú nekonečné debaty výborov pre normy.

Pred-testovanie FEC BER je dôležitejšie ako kedykoľvek predtým. „Odtlačok“ vašich bitových chýb-náhodné verzus nárazové, rovnomerne rozložené verzus sústredené v konkrétnych symboloch PAM4-určuje, či ich váš FEC dokáže skutočne opraviť. Skutočné náhodné chyby sa dobre hrajú s kódmi Reed{6}}Solomon. Nárazové chyby spôsobené problémami s obnovou hodín alebo nesprávnym správaním DSP môžu premôcť FEC, aj keď sa zdá, že surové BER je prijateľné.

Naučil som sa vyžadovať predbežné{0}}štatistiky FEC z každého 400G odkazu, nielen z post-FEC. Odkaz zobrazujúci 0,00 post-FEC BER pri spustení pred-FEC BER pri 2×10⁻⁴ vyzerá skvele, kým si neuvedomíte, že nezostáva takmer žiadna rezerva. Pridajte mierne špinavý konektor alebo starnúci laser a tento spoj sa bez varovania prevráti cez útes FEC.

 

Znečistenie konektora

 

Pri 400G sa problém s kontamináciou stáva akútnym. Modulované oko má menší okraj. Častice, ktoré by boli pri nižších rýchlostiach neviditeľné, teraz zoslabujú natoľko, že na nich záleží.

Jedno{0}}režimové jadrá vlákna majú priemer 9 mikrometrov. Konektor MTP/MPO-12 prenáša osem aktívnych optických trás (štyri TX, štyri RX) plus štyri nepoužité. Každý cyklus párenia riskuje kontamináciu. Každá kontaminovaná koncová strana riskuje stratu vloženia, ktorá pohltí váš rozpočet na prepojenie.

O požadovanej disciplíne pri upratovaní sa nedá-vyjednávať, ale len zriedka sa dôsledne dodržiava. Čistiace prostriedky-na jedno kliknutie, suché utierky so statickou elektrinou, mokré čistenie pomocou izopropylalkoholu, ktorý je potrebné okamžite utrieť do sucha, než nechať vypariť-každá metóda má svojich prívržencov a kritikov. Na čom sa všetci zhodnú: pred pripojením skontrolujte optickým spektrom a ak je znečistený, vyčistite ho a znova skontrolujte.

Sledoval som, ako tím nasadenia celé popoludnie napaľuje riešenie problémov s prerušovaným 400G-odkazom DR4. Výmena viacerých modulov. Kontroly konfigurácie. Nakoniec prelomili inšpekčný rozsah a našli stavebné úlomky na adaptéri prepážky, ktoré nikoho nenapadlo skontrolovať. Dvadsať sekúnd s čistiacim nástrojom vyriešilo to, čo štyri hodiny riešenia problémov nedokázali.

 

 

Čo to všetko znamená pre plánovanie

 

Ak dnes nasadzujete novú štruktúru dátového centra, 400G je základnou líniou pre chrbticovú vrstvu a čoraz viac aj pre listové-spine uplinky. Cena za bit klesla tam, kde 4×100G breakout z 400G modulu je často lacnejší ako jednotlivé 100G moduly. DR4 pre čokoľvek nad 30 metrov vo vnútri budovy. FR4 pre prepojenie kampusov. LR4 alebo ZR, ak sa pohybujete medzi lokalitami.

Ak ste podnik a uvažujete o svojom prvom nasadení 400G, prepínacie platformy dozreli, dodávateľský reťazec modulov sa stabilizoval a stanovovanie cien už nevyžaduje podpis-riaditeľa pri každej nákupnej objednávke. Začnite s obnovením chrbtice-, dokážte, že vaša káblová infraštruktúra dokáže zvládnuť prísnejšiu toleranciu kontaminácie, a pochopte, že vaše nástroje na správu musia začať zhromažďovať štatistiky FEC skôr, ako ich skutočne potrebujete.

Ak ste hyperscaler a čítate toto, ste už za hranicou 400 G pre klastre GPU a zaujíma vás, ako sa 1,6T skutočne nasadí. Veľa šťastia s tepelnými problémami; O dva roky si prečítam vaše noviny.

Samotné moduly sa stali pozoruhodne spoľahlivými. Problémy sa vyskytujú všade inde: kontaminované konektory, nesprávne nakonfigurované režimy FEC, tepelné návrhy, ktoré predpokladali včerajšie energetické obálky, a podporné organizácie, ktoré sa stále učia, ako riešiť problémy s integritou signálu PAM4. Neokúzľujúce základy-vyčistia vaše konektory, zmerajú teploty, pochopia váš rozpočet FEC-dôležitejšie, než kedy budú diskusie o technických špecifikáciách.