Karta sieťového rozhrania (NIC)

Váš server má 100G porty, ale vaša sieťová karta podporuje iba 10G. Gratulujeme, - práve ste zaplatili za šírku pásma, ktorú nikdy nevyužijete. Karta sieťového rozhrania je najviac prehliadanou prekážkou v modernom dizajne siete. Zatiaľ čo inžinieri sú posadnutí prepínačmi a špecifikáciami transceivera, NIC ticho určuje skutočnú priepustnosť, ktorú môže každý server presadiť. Táto príručka presahuje základné definície a vysvetľuje, ako sieťové karty fungujú, aké typy existujú a - čo je najdôležitejšie, - ako priradiť sieťové karty správnetransceiver, DAC kábel, aleboAOCpre maximálny výkon.

 

 

Čo je karta sieťového rozhrania?

Sieťová karta (NIC), tiež nazývaná sieťový adaptér alebo radič sieťového rozhrania, je hardvér, ktorý pripája server, pracovnú stanicu alebo úložné zariadenie k sieti. Zaoberá sa konverziou medzi údajmi v hostiteľskom systéme a signálmi na drôte alebo vlákne - a riadi všetko od zapuzdrenia rámca a overenia kontrolného súčtu až po spracovanie prerušenia a prenosy DMA.

Každá sieťová karta má vo svojom firmvéri vypálenú jedinečnú adresu MAC, ktorá slúži ako identita zariadenia v sieti vrstvy 2. Prvé NIC sa dodávali ako samostatné rozširujúce karty PCI. Väčšina osobných počítačov dnes používa čip LAN-na{4}}základnej doske (LOM) na základné pripojenie 1G. Ale v dátových centrách a podnikových prostrediach zostávajú vyhradené NIC karty nevyhnutné, pretože integrované radiče jednoducho nedokážu zabezpečiť priepustnosť, schopnosť vykladania alebo hustotu portov, ktoré si vyžadujú moderné pracovné zaťaženia.

 

 

Ako NIC v skutočnosti funguje: nad rámec „Odoslať a prijať“

Učebnicové vysvetlenie - „Sieťové karty zapuzdrujú údaje do rámcov a odosielajú ich“ - je technicky správne, ale chýba mu to, čo robí sieťovú kartu cennou. Tu je to, čo sa deje pod kapotou moderného servera NIC:

 

Spracovanie rámu

Na strane prenosu NIC preberá dáta zo sieťového zásobníka OS, pridáva ethernetové hlavičky a kontrolné súčty CRC a potom ich serializuje do elektrických alebo optických signálov. Na strane príjmu obráti proces, overí CRC a odstráni hlavičky pred odovzdaním užitočného zaťaženia hostiteľovi.

 

Vykladacie motory

Toto je miesto, kde si NIC zarábajú na živobytie. Moderné NIC úlohy znižovania záťaže, ktoré by inak spotrebovali cykly CPU: výpočet kontrolného súčtu TCP/UDP, znižovanie záťaže segmentácie TCP (TSO), znižovanie záťaže veľkého príjmu (LRO) a škálovanie prijímanej strany (RSS), ktoré distribuuje prichádzajúcu prevádzku medzi viaceré jadrá CPU. Bez týchto znížení by 25G NIC mohla nasýtiť jadro CPU, ktoré práve spracováva pakety.

 

Obídenie jadra s DPDK

Dokonca aj pri zníženej záťaži hardvéru, sieťový zásobník jadra operačného systému predstavuje réžiu pri extrémnych paketových rýchlostiach. NIC, ktoré podporujú DPDK (Data Plane Development Kit), umožňujú aplikáciám čítať a zapisovať pakety priamo z užívateľského priestoru, pričom úplne obchádzajú jadro. Toto klesá na-latenciu paketu z milisekúnd na jedno-ciferné mikrosekundy -, čo je požiadavka pre vysoko-obchodovanie s vysokou frekvenciou, používateľské{7}}funkcie 5G a rýchlosť šírenia čiary NFV-na linkách 100G.

 

DMA a Interrupt Coalescing

Namiesto toho, aby CPU kopíroval každý paket, NIC používa Direct Memory Access na zapisovanie snímok priamo do systémovej RAM. Zlúčenie prerušení zoskupuje viaceré paketové udalosti do jedného prerušenia CPU, čím sa dramaticky znižuje réžia pri vysokých paketových rýchlostiach.

 

Podpora virtualizácie

Vo virtualizovaných prostrediach umožňuje SR{0}}IOV (Single Root I/O Virtualization) jedinej fyzickej sieťovej karte prezentovať viacero virtuálnych funkcií, z ktorých každá je priradená priamo virtuálnemu počítaču. Tým sa úplne obchádza virtuálny prepínač hypervízora a virtuálnym počítačom poskytuje výkon takmer{2}}holej{3}}metalickej siete.

 

 

Typy NIC: Praktická klasifikácia

 

Podľa typu rozhrania - Toto určuje vašu kabeláž

Typ portu NIC	Konektor	Médiá	Typická rýchlosť	Maximálna vzdialenosť
RJ45 (základňa-T)	RJ45	Cat5e/Cat6/Cat6a meď	1G / 2.5G / 5G / 10G	100m
SFP+	LC duplex	10G SFP+ transceiveryalebo 10GDAC káble	10G	80 km (vlákno) / 7 m (DAC)
SFP28	LC duplex	25G SFP28 transceiveryalebo 25G DAC	25G	40 km (vlákno) / 5 m (DAC)
QSFP+	MPO alebo LC	40G QSFP+ transceivery	40G	40 km (vlákno) / 7 m (DAC)
QSFP28	MPO alebo LC	100G QSFP28 transceiveryalebo 100GDAC káble	100G	80 km (vlákno) / 5 m (DAC)
QSFP-DD	MPO alebo LC	Vysielače a prijímače 400G QSFP-DD	400G	10 km+ (vlákno)

Prečo je to dôležité:Typ portu NIC určuje, ktoré transceivery a káble môžete použiť. Ak si vyberiete duálny-port SFP28 NIC, uzamknete vás v ekosystéme SFP28 -Optické moduly 25G SFP28, SFP28DAC káblealebo SFP28káble AOC. Vyberte si zle a budete kupovať adaptéry alebo vymieňať karty.

 

Poznámka ku konektorom MPO vs. LC:Porty QSFP+ a QSFP28 označené „SR4“ používajú paralelnú optiku - štyri pruhy 10G alebo 25G prenášané súčasne. To si vyžadujePatchcordy MPO/MTP-12s 8 alebo 12 vláknovými jadrami, nie štandardný duplexLC káblepoužívané modulmi SFP+ alebo SFP28. Ak nasadzujete optiku 40G alebo 100G SR4 prvýkrát, váš existujúci plán dvoch-prepojovacích panelov s optickými vláknami nebude fungovať- pre káblové rozvody a kazety MPO.

 

Podľa zbernicového rozhrania - Na generácii PCIe záleží

Všetky moderné serverové NIC používajú PCIe. Ale generácia PCIe a šírka jazdného pruhu stanovili tvrdý strop v priepustnosti:

• PCIe 3.0 x8:~64 Gbps - postačujúce pre duálny-port 25G alebo jeden{4}}port 40G
• PCIe 3.0 x16:~128 Gbps - postačuje pre jeden-port 100G
• PCIe 4.0 x16:~256 Gbps - sa vyžaduje pre duálny-port 100G alebo jeden{4}}port 200G
• PCIe 5.0 x16:~512 Gbps - umožňuje 400G sieťové karty

100G NIC zapojená do PCIe 3.0 x8 slotu fyzicky nedokáže dodať 100G. Pred nákupom si vždy overte generáciu a šírku slotu PCIe vášho servera.

 

Podľa Form Factor - OCP NIC 3.0 je nové predvolené nastavenie

Tradičné prídavné karty PCIe{0}} stále dominujú na podnikových serveroch, ale dátové centrá s hyperškálovaním sa vo veľkej miere presunuli na štandard OCP NIC 3.0 (Small Form Factor aj Large Form Factor). OCP NIC sa zapájajú do vyhradeného medziposchodového slotu na základnej doske servera namiesto toho, aby zaberali štandardný rozširujúci slot PCIe. Výhody sú významné: možnosť hot{4}}swap bez vypnutia servera, vylepšený tepelný dizajn s priamym prúdením vzduchu cez NIC a kratšia elektrická cesta k CPU, ktorá znižuje problémy s integritou signálu pri rýchlostiach 100G+. Ak vaša serverová platforma podporuje OCP 3.0 - a väčšina moderných návrhov od veľkých ODM podporuje -, mala by to byť vaša prvá voľba pre nasadenia 100G a 200G NIC.

 

Podľa úrovne inteligencie

Štandardné NICzvládnuť základné spracovanie paketov s hardvérovým znížením zaťaženia. Vhodné pre väčšinu podnikových aplikácií a aplikácií dátových centier.

SmartNICpridajte programovateľnú jednotku na spracovanie údajov (DPU), ktorá dokáže vykonávať pravidlá brány firewall, šifrovanie, vyrovnávanie záťaže a telemetriu priamo na NIC, čím uvoľňuje jadrá hostiteľského CPU pre pracovné zaťaženie aplikácií. V cloudovej infraštruktúre, kde je speňažené každé jadro CPU, sa SmartNIC zaplatia tým, že získajú jadrá, na ktorých by inak fungovali OVS alebo IPsec.

RDMA NIC (RNIC)podporuje protokoly Remote Direct Memory Access, ako je RoCEv2 alebo iWARP, čo umožňuje serverom{1}}na{2}}serverové prenosy pamäte s jednocifernou mikrosekundovou latenciou. V tréningových klastroch GPU postavených na akcelerátoroch NVIDIA H100 alebo A100 nie sú RDMA NIC voliteľné -, sú chrbticou. Každý uzol GPU potrebuje 200G alebo 400G RDMA konektivitu, aby sa zabránilo{11}}znižovaniu synchronizácie gradientu, aby sa stalo prekážkou pri tréningu. Okrem AI sú sieťové karty RDMA rovnako dôležité pre pracovné zaťaženie HPC a úložné systémy so systémom NVMe-oF, kde jadro{14}}obchádza dátové cesty 10× skrátenie latencie prístupu k úložisku.

 

 

Ako si vybrať správnu NIC: Rozhodovací rámec

Krok 1 - Definujte svoju požiadavku na rýchlosť.Prispôsobte ho kapacite prepínača uplink, nie vašej maximálnej teoretickej potrebe. Ak má váš prepínač ToR porty smerujúce k serveru-25G, 25G NIC je správna voľba - nie 10G (príliš pomalé) alebo 100G (plytvanie).

Krok 2 - Vyberte typ rozhrania.V prípade pripojení v stojane- do 5 metrov spárujte sieťovú kartu s aDAC kábelpre najnižšie náklady a latenciu. Pre medzi-rackové prepojenia do 100 metrov použiteKábel AOCalebo vysielač s krátkym{0}}dosahomPatchcord z LC vlákna. Na vytváranie odkazov-k-budove alebo kampusu použite dlhý{3}}dosahoptický transceiver-, ako napríklad aModul 100G QSFP28 LR4s jednorežimovým-vláknom aPatchcordy MPO/MTP.

Krok 3 - Overte kompatibilitu PCIe.Skontrolujte dostupné generovanie slotov PCIe vášho servera a šírku pruhu podľa požiadaviek NIC.

Krok 4 - Vyhodnoťte potreby zníženia záťaže.Spúšťate virtualizáciu s desiatkami virtuálnych počítačov? Uprednostnite podporu SR-IOV. Tréningový klaster AI? O schopnosti RDMA sa nedá-vyjednávať. Cloudové-natívne mikroslužby? SmartNIC s programovateľným potrubím šetrí jadrá CPU.

Krok 5 - Naplánujte si redundanciu s dvomi-portmi.Produkčné servery by mali mať vždy aspoň dva porty NIC na agregáciu liniek (LACP) alebo aktívne{0}}prepnutie v pohotovostnom režime. Sieťové karty s dvoma-portmi sú priestorovo-úspornejšie ako dve karty s jedným-portom.

 

 

Bežné chyby NIC (a ako sa im vyhnúť)

Nákup 10G RJ45 NIC na použitie v dátovom centre.10GBASE-T NIC spotrebúvajú o 2 – 5 W viac energie na port ako SFP+ NIC a generujú podstatne viac tepla. V racku so 40 servermi je to 80 – 200 W zbytočnej tepelnej záťaže. Použite10G SFP+ transceiverys SFP+ NIC namiesto toho.

Ignorovanie aktualizácií firmvéru a ovládačov.Chyby firmvéru NIC spôsobujú tiché výpadky paketov, chyby CRC a zníženie výkonu. Dodávatelia vydávajú kritické opravy firmvéru, ktoré sa často neaplikujú, pretože NIC „zdá sa, že funguje dobre“.

Nezhoda rýchlosti NIC a rýchlosti portu prepínača.Sieťová karta 25G pripojená k portu prepínača 10G sa automaticky-dohodne na 10G -, ale niektoré sieťové karty to zvládajú zle, čo vedie k prehýbaniu odkazov alebo chybám CRC. Vždy overte kompatibilitu rýchlosti alebo použite zodpovedajúce vybavenie.

 

 

často kladené otázky

Aký je rozdiel medzi NIC a LOM?

LOM (LAN na základnej doske) je základný sieťový radič integrovaný do základnej dosky servera, ktorý zvyčajne ponúka pripojenie 1G alebo 10G Base{2}}T. Vyhradená karta NIC poskytuje vyššie rýchlosti (25G–400G), pokročilé funkcie zníženia záťaže, ako je SR-IOV, a možnosti optického rozhrania na použitie s optickými vláknamitransceiveryaDAC/káble AOC.

Môžem vo svojom sieťovom adaptéri použiť-vysielače a prijímače tretích strán?

áno. Väčšina sieťových adaptérov od spoločností Intel, Mellanox/NVIDIA a Broadcom akceptuje MSA-tretie{2}}strany kompatibilné s MSAoptické transceivery. Niektoré firmvéry NIC však môžu zobrazovať upozornenia na kompatibilitu. Renomovaní dodávatelia poskytujú transceivery kódované pre konkrétne značky NIC, aby sa zabezpečila čistá prevádzka.

Akú rýchlosť sieťovej karty potrebujem na úlohy AI a strojového učenia?

Pre tréningové klastre GPU (NVIDIA H100, A100 alebo podobné) každý uzol zvyčajne vyžaduje200Galebo 400G RDMA-sieťové karty NIC (RoCEv2), aby sa predišlo prekážkam siete vo všetkých-obmedzeniach synchronizácie gradientu. Pracovné zaťaženia inferencie sú menej náročné a často môžu fungovať na 25G – 100G v závislosti od veľkosti modelu a priepustnosti požiadaviek. Spárujte tréningové NIC s400G QSFP-DD modulyna spojenie chrbtice, alebo použiť100G QSFP28 transceiverypre prepojenie listov-na{1}}server v menších klastroch.

Stojí SmartNIC za dodatočné náklady?

Pre poskytovateľov cloudu a veľké podniky s náročnou virtualizáciou siete áno - SmartNIC môžu získať späť 4 – 8 jadier CPU na server odstránením záťaže funkcií virtuálneho prepínania, zabezpečenia a telemetrie. Pre štandardné lokálne-nasadenie s miernou virtualizáciou zvyčajne postačuje štandardná sieťová karta s podporou SR-IOV.

Ako pripojím sieťovú kartu k optickému káblu?

NIC s SFP+, SFP28, QSFP28 alebo QSFP-porty DD vyžadujú zodpovedajúcemodul optického vysielača a prijímačana rozhranie s vláknom. Vložte transceiver do NIC portu a potom pripojte príslušnývláknový patchcord - LC duplexpre porty typu SFP-,MPO/MTPpre paralelnú optiku typu QSFP-. Pre odkazy na krátke{2}}vzdialenosti v rámci stojanov, aDAC kábeleliminuje potrebu transceivera aj vlákna.