NVIDIA 400G NDR Link ned efter genopretting? Tjek MPO-12/APC

Hvis enNVIDIA NDR-linket er nede efter genopretting, læs dens fysiske og logiske tilstande, før du udskifter et andet kabel. Physical Down kræver kontrol af den ændrede MPO-12/APC-sti, kabelkort og forstyrrede grænseflader. Fysisk LinkUp med InfiniBand stadig i INIT kræver kontrol af undernet-manager. Et rent stik og et link-up lys løser hver kun en del af problemet.

Denne vejledning dækker 400G NDR-grene på MMA4Z00-NS twin-port multimode OSFP, inklusive MFP7E10 punkt-til-punkt og MFP7E20 splitterarrangementer. For anden optik, start med deres egne grænsefladespecifikationer; voresgenerel MPO link-down fejlfindingsvejledningforklarer den bredere udvælgelsesproces.

1. NDR Link Down eller INIT? Start med InfiniBand Status

På en Linux-vært med RDMA-diagnosticeringsværktøjerne installeret skal du identificere HCA'en og inspicere den berørte port. Disse er forespørgselseksempler; erstatte mlx5_0, portnumre og pladsholdernavne med store bogstaver med de faktiske identifikatorer. MFT-enhedsnavne, der bruges senere, er et andet navneområde.

ibstat -libstat mlx5_0 1sminfo -C mlx5_0 -P 1iblinkinfo -C HEALTHY_HCA -P HEALTHY_PORT --downperfquery -C HEALTHY_HCA -P HEALTHY_PORT SWITCH_LID SWITCH_PORT

ibstat rapporterer den lokale tilstand, fysiske tilstand, rate, basislåg og SM-låg. sminfo forespørger undernetadministratoren; bruge det uden tilstand eller prioritetssættere. Fabric discovery og remote perfquery kræver en tilgængelig administrationssti og passende tilladelser, så brug en Active Management HCA, hvis den berørte port ikke kan nå stoffet. Værktøjssyntaks er dokumenteret ikilde 7.

For eksempel, Tilstand: Initialiserer, Fysisk tilstand: LinkUp og Basislåg: 0 leder dig mod SM-opdagelse og adressetildeling. En mislykket sminfo-forespørgsel kan også afspejle et problem med tilgængelighed eller tilladelse. Hvis en aktiv administrationsport når master SM, men denne port forbliver i INIT, skal du inspicere stoffets opdagelses-, isolerings- og aktiveringslogfiler. Hold optikken under undersøgelse, hvis den fysiske tilstand også klapper.

2. Find, hvad der er ændret under genreparationen

Spor den berørte gren fra dens switch-MPO-stik til den fjerneste HCA. Angiv udstyrsledninger, adaptere, kufferter og kassetter, der faktisk er på den rute. Et nyt panel kan ændre pinning, kortlægning og tab, selv når begge udstyrsledninger forblev på plads. Brugpanel, kabinet og kassetteguidefor at skelne hardwaren.

En mislykket gren efter en kabeludskiftning peger først på den ændrede vej. To fejl efter en delt modulhændelse kræver også modulgenkendelse og tilstandstjek. Se efter snævre bøjninger, fastklemte støvler og belastning, der opstår, når skuffen lukkede; fejlen kan kun optræde i sin endelige position.

3. Tilpas MPO-kablet til NDR-topologien

Læs den optiske PID, kabelmærkat og tilslutningstegningen sammen. For MMA4Z00-NS tjener hvert MPO-stik en separat fire-sporet 400G-port.

NVIDIA kræver, at begge dobbeltports-stik bruger den samme kabelform: punkt-til-punkt eller splitter. Udtrykketlige kabeli denne topologi refererer diskussionen til punkt-til-punkt-formen; dens fiberkortlægning er stadig crossover Type-B. De to kabler kan have forskellige længder. Sekilde 3, kilde 4ogkilde 5.

4. Tjek APC, Pinning og det komplette fiberkort

Bekræft parringsparret ved hvert kryds

Brug MPO-12/APC på denne optiske grænseflade. En MPO-12/UPC-ledning fra en ældre 100G- eller 200G-implementering er inkompatibel med den angivne APC-parringsoverflade. Forbindelsesfarve hjælper med at lokalisere dele, men etiketten og tegningen etablerer poleringen. Kontroller en mellemadapter fra begge sider.

Transceiveren har justeringsstifter; kabelenden, der passer til den, skal justeres. Hvert mellemliggende MPO-par skal også have en gyldig pind/unpinned parring. To ikke-fastspændte udstyrsledninger har brug for et passende sammenkoblingsarrangement, når de forbindes. Et stik, der modstår normal siddeplads, skal undersøges, før der påføres kraft.

Spor de aktive positioner fra sender til modtager

MFP7E10-kortet forbinder 1→12, 2→11, 3→10 og 4→9 med kanalerne i modsat retning på positionerne 9-12. Position 5–8 er markeret Ikke tilsluttet. Det beskriver arbejdskanalallokering; en ubrugt position behøver ikke være synligt tom. Læs begge stikflader i tegningens angivne visningsretning.

Type-A er direkte kortlægning; Type-B vender arrayet om. Et direkte MFP7E10-link har brug for crossover. For en rute, der udelukkende er bygget ud fra konventionelle A/B-kortlægningselementer, giver et ulige antal B-vendinger en nettoovergang. Kassetter eller omgrupperingsseler kræver deres faktiske kort. VoresMPO patch-ledning og kanal-polaritet guideforklarer denne kontrol på kanalniveau. NVIDIA-kabelkortet er indekilde 2.

5. Efterse og rengør MPO-grænsefladerne efter genmontering

For at få et fysisk link ned efter genpatchning, skal du inspicere de grænseflader, der blev eksponeret eller forstyrret, når kabelidentiteten og kortet er korrekte. En partikel kan blokere en optisk vej eller forstyrre ferrulkontakten. Gentagen parring kan overføre det til den modsatte flade, så kun rengøring af den løse lapsnor efterlader en del af fejlstien ukontrolleret.

Start med symptomet og den berørte bane

Inden afbrydelsen skal du gemme den berørte filials modulidentitet, linktilstand og tilgængelige aflæsninger af modtagestrøm pr. bane. En lav eller manglende modtagebane hjælper med at indsnævre søgningen til dens sender, fibervej og modtager. Lignende symptomer kan komme fra kortlægning, en beskadiget fiber eller en optisk motor, så brug inspektion til at teste forureningshypotesen.

Hvis koblingen kommer op, når skuffen er åben og svigter, når den lukker, skal du kontrollere føring og belastning samt renlighed. En uforstyrret søskendegren giver en direkte sammenligning uden at åbne endnu et par stik.

Efterse kablet og den forsænkede stikkontakt

Isoler den berørte optiske vej, før du åbner den. Brug en videoinspektionssonde og den korrekte MPO/APC-spids til kablet og det forsænkede modulinterface. Følg lasersikkerheds- og ESD-procedurer; et stikmikroskop skal være egnet til inspektionsopgaven.

Kontroller alle arbejdsfiberpositioner og den rektangulære ferruls kontaktflade. Alene et billede af de midterste fibre savner de ydre arbejdsstillinger. Se efter løst affald, film, partikler omkring styrehuller eller stifter og vedvarende ridser eller skår. For automatisk bestået/ikke-bestået analyse skal du vælge den relevante konnektor og multimode inspektionsprofil.

Match en svag telemetribane til forbindelsestegningen, før du vælger fiberen, der skal testes. Enhedsbaneindekser og ferrulepositioner bruger forskellige nummereringskonventioner. Inkluder sende-/modtageretning og konnektorvisningsretning; en diagnostisk etiket såsom bane 0 identificerer ikke i sig selv MPO position 1.

IEC 61300-3-35:2022 omfatter hele kontaktfladen ved inspektion af rektangulære hylstre for kontaminering. Visuel inspektion supplerer dæmpnings- og afkast-tabsmålinger. Sekilde 10.

Brug en kemisk rensning, eftersyn, parringssekvens

1. Inspicer begge parringsoverflader og identificer den forurenede del. Hold nærliggende afbrudte ender beskyttet.
2. Brug en tør optisk stikrens beregnet til det specifikke MPO/APC-interface. Kontroller, at dens spids når kontaktfladen, og brug værktøjsproducentens slag- eller kliksekvens.
3. Inspicer igen med de samme sondeindstillinger. Hvis snavs forbliver eller flytter sig, skal du fortsætte med den godkendte rensemetode; sæt ikke den snavsede ende sammen med en ren beholder.
4. Når begge overflader opfylder de gældende inspektionskriterier, skal beskyttelsen kun fjernes efter behov og parres omgående. Hold bøsningen fri for fingre, løse servietter og omgivende overflader.
5. Gendan den berørte gren og sammenlign dens tilstand, aflæsninger pr. bane og tællerdeltaer under de samme testbetingelser.

NVIDIAs instruktioner til dette modul forbyder påføring af væsker; dens kabelhåndteringsvejledning holder også samlingen væk fra væsker. Brug denne produktbegrænsning, når du vælger rengøringsmetoden. Sekilde 1, kilde 3og voresstik inspektion og rengøring guide.

Brug svaret til at vælge den næste test

Hvis inspektionen passerer, og den samme bane forbliver svag, skal du måle den passive vej eller erstatte en kendt korrekt, inspiceret enhed. Et problem, der følger efter den fjernede ledning, peger mod den ledning eller dens parringshistorie. Et problem, der forbliver med porten, forlader stikket, den lokale optiske motor, fjerntransmitteren og konfigurationen i omfanget.

Ved et patchpanel skal den bagerste bagagerumsforbindelse inkluderes i inspektionsomfanget, når den blev forstyrret. Rengøring af den forreste udstyrsledning kan ikke fjerne forurening på en bagside, der passer til overfladen. Et kendt korrekt direkte kabel kan hjælpe med at isolere panelruten, forudsat at dets kortlægning og topologi passer til begge endepunkter.

En ridse, der varer ved efter rengøring, skal vurderes i forhold til de gældende defektkriterier og optiske resultater. Identificer, om det hører til kablet eller modulet, før du vælger en erstatning. Hvis forurening ikke kan fjernes med den understøttede metode, skal du stoppe sammenkoblingen af ​​denne grænseflade og henvise den til yderligere rengøring eller reparation.

Efter gendannelse skal du kontrollere den endelige ruteposition. Stabil LinkUp, InfiniBand Active og et stille fejlinterval giver stærkere beviser end en enkelt link-up overgang.

6. Link ned eller ustabilt? Læs mlxlink og fejltællere

Brug MFT til fysiske lag- og modulforespørgsler ved begge endepunkter. Vælg den berørte logiske port, især på et dobbeltportmodul. Quantum-2 bruger bur/port-adressering, for eksempel -p 15/2; en konfigureret opdelt port kan kræve et andet suffiks. Disse kommandoer forespørger om status; option support afhænger af den installerede MFT, firmware og platform.Kilde 6dokumenterer forespørgslerne.

mlxlink --helpmlxlink -d MFT_DEVICE -p PORTmlxlink -d MFT_DEVICE -p PORT --show_modulemlxlink -d MFT_DEVICE -p PORT --show_counters

Den følgende reducerede visning er ensyntetisk læsning eksempelfor en 400G-gren, ikke en feltoptagelse. Outputnavne og formatering varierer efter version.

Operationel InfoState : ActiveFysisk tilstand : LinkUpSpeed ​​: IB-NDRWidth : 4xFysiske tællere og BER InfoTime Siden sidst rydning [Min] : 15.0Effektive fysiske fejl : 0Raw Physical BER : 1E-7

Active, LinkUp og IB-NDR/4x identificerer den forventede 400G-gren i dette eksempel. En rå BER, der ikke er nul, kan eksistere side om side med FEC-korrigeret drift. Dens værdi kræver platformens BER-kriterier og trend; eksemplets 1E-7 er ikke en universel acceptgrænse.

Som en indledende skærm skal du tage to snapshots med 60 sekunders mellemrum, efter at porten er stabiliseret, med repræsentativ trafik, hvor den er tilgængelig. Brug UFM eller understøttet overvågning til længere observation; NVIDIA beskriver mlxlink som et diagnostisk værktøj snarere end en kontinuerlig polling-tjeneste. En 60-sekunders skærm etablerer ikke en langsigtet BER-garanti.

Brug perfquery to gange til IB port-tæller deltaer. Dens grundlæggende og udvidede tællersæt er forskellige; -x tilføjer ikke blot hver fejltæller. Sæt ikke lighedstegn mellem en grundlæggende SymbolErrorCounter med UFM's SymbolErrorsExt uden at kontrollere tællerdefinitionen. Hvis fysisk LinkUp forbliver stabil, men INIT fortsætter, skal du vende tilbage til SM-kontrollerne i afsnit 1.

7. Numeriske referencer: Tab, Afkasttab, BER og Skew

Anvend hvert tal på den komponent eller test, den beskriver. En konnektorspecifikation, en moduloverensstemmelsestest og en live-servicetællertærskel svarer på forskellige spørgsmål.

Beregn tabet af installeret sti separat

For hver fungerende fiber skal du summere de specificerede tab af de sammenkoblede sammenføjninger, fiber og eventuelle splejsninger, og derefter sammenligne denne total med den understøttede kanaltillæg. NVIDIAs 50 m applikation forudsætter to patchpaneler og fire optiske stikforbindelser. Yderligere forbindelser kræver et nyt budget.

For eksempel, hvis et projekt tildeler 0,35 dB til hvert af fire kryds og 0,18 dB til fiberen, er dets estimerede vejtab4 × 0.35 + 0.18=1.58 dBfør enhver reserveret margen. Disse er angivne planlægningsinput, ikke målinger eller en NVIDIA-kanalgrænse. Den resterende margin er det validerede kanaltillæg minus 1,58 dB. Gør ikke de informative lancerings-/modtag-gennemsnitseffektendepunkter til et garanteret tabsbudget.

Mål den afbrudte sti med egnet multimode MPO/APC-udstyr ved 850 nm ved hjælp af en dokumenteret referenceopsætning og definerede endepunkter. Et fabrikskabelresultat udelukker forbindelser tilføjet senere. Glory'srækkevidde af datacenterkablerbeskriver de passive komponenter, for hvilke der kan rekvireres montagetestrapporter.

Brug et tidsvindue til NDR-fejlvalidering

NVIDIAs UFM PDR deterministiske procedure giver et operationelt NDR eksempel: SymbolErrorsExt deltas sammenlignes med2,88 over 12 minutterog3 over 125 minutterved 400 Gb/s, svarende til dens 10⁻¹⁴og 10⁻¹⁵satsberegninger. Sammenligningerne er strengt taget større end, så heltalsdeltaer på henholdsvis 3 og 4 krydser disse grænser. Denne procedure bruger sine egne telemetri- og samplingsregler; sekilde 8. Anvend den implementerede UFM-versions procedure i stedet for at erstatte mlxlink Raw Physical BER i disse formler.

Adskil 4,5 ns/m udbredelsesforsinkelse fra baneskævhed

NVIDIA bruger ca4,5 ns/mfor fiberudbredelsesforsinkelse: 50 m bidrager med ca. 225 ns en vej. Baneskævhed er ankomsttidsforskellen inden for en bundet vognbanegruppe, max(t_i) − min(t_i). En 1 m bane-længde mismatch ville bidrage med ca. 4,5 ns differentiel forsinkelse; det er en beregning, ikke en tilladt skævhedsgrænse.

Den offentlige MFP7E10-tabel, der er citeret her, offentliggør ikke et acceptloft for skævt vognbane. Få denne værdi for den installerede optik/kabelkvalifikation, hvis der er mistanke om vognbanejustering. De to uafhængige 400G-grene kan have forskellige længder; deres forskel er ikke automatisk intra-port skævhed. Udbredelsesreferencen erkilde 9.

8. Angiv en erstatnings-MPO-12/APC-samling

Anmod om den nøjagtige kabelform, fiberkvalitet og -længde, polering og pinning af APC i begge ender, konnektorvisningsorientering, arbejdskanalkort, tabsspecifikation og testrapport. Inkluder både optiske PID'er og den fulde rute. En erstatning for en direkte 400G-gren skal bevare sin crossover- og endepunktsarrangement.

Ofte stillede spørgsmål

NDR-link ned efter genpatch: hvad skal jeg tjekke først?

Læs de fysiske og logiske porttilstande. Physical Down leder dig til den ændrede kabelsti, grænseflader og renlighed. Physical LinkUp med INIT leder dig til subnet-manager-opdagelse og aktivering. Brug ibstat og afsnit 1 beslutningstabellen, før du bytter en anden del.

Kan jeg bruge MPO-12/UPC i stedet for MPO-12/APC?

Det angivne NVIDIA-interface kræver APC. En UPC-ledning er inkompatibel med den parringsoverflade, selvom huset ser ud til at passe. Bekræft polering fra delspecifikationen, og kontroller begge sider af enhver mellemforbindelse.

Hvorfor er InfiniBand i INIT, når det fysiske link er oppe?

Den fysiske vej er trænet, men logisk stofaktivering er ufuldstændig. Tjek basislåg og SM-låg, forespørg undernetadministratoren fra en tilgængelig administrationsport, og gennemse registrerings- eller isolationslogfiler. Stabil fysisk LinkUp med INIT alene identificerer ikke et snavset MPO-stik.

Kan de to stik bruge et punkt-til-punkt-kabel og en splitter sammen?

NVIDIA kræver den samme kabelform på begge dobbeltports-stik: begge punkt-til-punkt eller begge splittere. MFP7E10 og MFP7E20 tjener forskellige slutpunktsarrangementer. De to grene kan have forskellige længder inden for deres specificerede rækkevidde.

Skal jeg rense patchledningen eller transceiverstikket?

Efterse begge sammenkoblingsflader på den forstyrrede forbindelse. Rens forurening med et værktøj, der passer til MPO/APC-grænsefladen, og inspicér derefter igen før parring. Følg NVIDIAs ingen-væske-begrænsning for dette modul og lad en sund, uforstyrret søskendegren være tilsluttet.

Betyder en rå BER, der ikke er nul, at linket er mislykket?

Rå fejl kan rettes af FEC. Sammenlign tendensen, effektive fejl, linkovergange og forventet rate under de samme forhold. 2,4 × 10−4 stressede modtagertestbetingelser er ikke en universel feltacceptgrænse for rå fysisk BER.

Er 4,5 ns/m den tilladte MPO-baneskævhed?

Det er en omtrentlig udbredelsesforsinkelsesværdi. Skævhed er forskellen i ankomsttid mellem baner inden for en bundet gruppe. Brug det installerede produkts kvalifikationsgrænse; Behandl ikke udbredelsesforsinkelse pr. meter som en skæv pass/ikke-bestået tærskel.

Kan et forbigående insertion-tab-resultat bevise, at linket fungerer?

Den fastslår tabet af den testede sti under dens angivne metode og grænse. Det etablerer ikke det nødvendige fiberkort, APC-kompatibilitet, portkonfiguration eller stabil service. Sammenlign testendepunkterne med den komplette installerede rute.

Betyder NVIDIAs "lige kabel" Type-A polaritet?

I punkt-til-punkt versus splitter-beskrivelsen navngiver lige kabelformen. MFP7E10 bruger Type-B crossover mapping. Angiv fysisk form og ende-til-ende-fiberkortet som separate felter.

Hvad hvis linket forbliver nede efter rengøring og kortlægningstjek?

Udskift en kendt korrekt, inspiceret samling eller mål den passive vej. Hvis fejlen forbliver med porten, skal du undersøge den lokale optiske motor, fjernoptik og værtskonfiguration. En substitution med delt modul påvirker begge afdelinger og har brug for et passende udfald.

Tekniske kilder

1. NVIDIA MMA4Z00-NS specifikationer: rækkevidde, optisk effekt, modtagertesttilstand og håndtering.
2. NVIDIA MFP7E10 specifikationer: IL/RL værdier og fiberpositionskort.
3. NVIDIA MFP7E10 applikationsvejledning: APC, pinning, parret kabelform og panelforudsætninger.
4. NVIDIA MFP7E20 bestillingsoplysninger: splitterform og endepunkter.
5. Oversigt over NVIDIA-tilslutningsmuligheder med to porte: punkt-til-punkt og splitter drift.
6. NVIDIA MFT v4.35.0 mlxlink-værktøj: modul- og fysiske tællerforespørgsler.
7. Linux RDMA-projektets diagnostiske manualer: ibstat, sminfo, iblinkinfo og perfquery syntaks.
8. NVIDIA UFM PDR deterministisk plugin: NDR-tællerdefinitioner og tidsvindueprocedure.
9. NVIDIA 100G-PAM4 transceiver og fiberdetaljer: 4,5 ns/m udbredelsesreference.
10. IEC 61300-3-35:2022 officielt resumé: inspektion af kontaktområde og optisk ydeevne.