Zamonaviy tarmoqlarda 400G optik modullar

 

Form faktorli urushlarda hech kim g'alaba qozonmadi

 

QSFP-DD va OSFP standartlar jarayonidan ikki aka-uka kabi paydo bo'ldi, ular ikkalasi ham 400Gni xohlashlaridan boshqa hech narsada kelisha olmadilar. Sanoat har biri 50 Gbit / s tezlikda sakkizta elektr tarmog'iga muhtoj edi va ikki xil konsorsium bu muammoni ikki xil usulda hal qilishga qaror qildi.

QSFP-DD moslik argumentida g‘olib chiqdi. Agar siz etarlicha qattiq qisib qo'ysangiz va ikkinchi qator pinlarga qarshi bo'lmasangiz, u mavjud QSFP28 kataklariga mos keladi. Agar sizda o'n minglab o'rnatilgan portlar va yopilgan aktivlar haqida aniq savollar beradigan CFO bo'lsa, orqaga qarab muvofiqlik muhim ahamiyatga ega.

OSFP termal bahsda g'alaba qozondi. Biroz kattaroq korpus va o‘rnatilgan sovutgich, bu modullar oladigan 15-20 vatt quvvatni qo‘shni portlarni pishirmasdan ham yo‘qotishingiz mumkinligini anglatadi. Men burchakli QSFP-DD portlari doimiy ravishda o'rtasiga qaraganda 8 daraja issiqroq ishlaydigan chiziqli kartalarni ko'rdim, chunki havo oqimi dizayni 100G quvvat konvertlarini nazarda tutgan.

Ikkalasi ham haqiqatan ham g'alaba qozonmadi. Aksariyat giperskalyatorlar inventarizatsiya soddaligi uchun QSFP-DD dan o‘tdi. Ko'pgina telekommunikatsiyalarni joylashtirish OSFPga o'tdi, chunki ularning izchil modullari termal bo'shliqqa muhtoj edi. Hamma o'z sotuvchisi jo'natgan narsani tanladi va davom etdi.

QSFP112 variantini eslatib o'tish kerak, chunki u hammani chalg'itadi. Har biri 100G to'rtta yo'l-bir xil 400G agregat, kamroq qatorlar, yangiroq SerDes. NIC ulanishi uchun DSP vites qutisi murakkabligisiz server{6}}tor-ulanishlarini xohlagan joyingiz uchun muhim ahamiyatga ega. Bu boshqa joylarda sotuvchilar da'vo qilganidan kamroq ahamiyatga ega.

 

PAM4 hamma narsani o'zgartirdi (va ba'zi narsalarni buzdi)

 

Hech kim sizni 400G-da sotayotganini etarli darajada tushuntira olmaydi: PAM4 signalizatsiyasi tarmoqli kengligi samaradorligi uchun shovqin immunitetini sotadi va bu kelishuv bepul emas.

NRZ kodlash ikkita signal darajasidan foydalangan. Yuqori yoki past. Bir yoki nol. Sizning qabul qiluvchingiz bu ikki holatni farqlashi kerak edi va ko'z diagrammasi sizga qulay chegaralarni berdi. PAM4 to‘rt darajadan foydalanadi-00, 01, 10, 11-bu sizning qabul qiluvchingiz endi kuchlanishning uchdan bir qismiga teng bo‘lgan uchta chegara kesishuvini farqlashi kerakligini anglatadi. Nazariy 9.54dB SNR jazosi umuman nazariy emas. U har kuni FEC BER dan oldingi hisoblagichlaringizda ko'rinadi.

400G moduli ichidagi DSP buning o'rnini bosuvchi qahramonona ishni bajaradi. Tasmani-oldinga tenglashtirish, qarorlar haqida fikr-mulohazalarni tenglashtirish, soat va maʼlumotlarni qayta tiklash-barchasi har bir yoʻlda 53,125 GBaud tezlikda ishlaydi. U ishlaganda, u ko'rinmas bo'ladi. Agar u ishlamasa, siz vaqti-vaqti bilan tuzatib bo'lmaydigan xatolar bilan to'g'rilanadigan ko'plab xatolarga duch kelasiz va muammo modulingizdami, tolangizdami, xostingizdami yoki kosmik fon nurlanishidamiligini aniqlashda omad tilaymiz.

 

 

To'lqin uzunligi variantlari: erishishdan ko'ra ko'proq

 

Rivojlanish xususiyatlari hikoyaning faqat bir qismini aytib beradi.

400G-SR8 sakkizta parallel tolalar boʻylab 850nm VCSEL’lardan foydalanadi va OM4 orqali 100 metrga moʻljallangan. Bu arzon. Bu multimodli. Buning uchun sakkizta TX va sakkizta RX tolali MPO-16 ulagichi kerak. Raf ichida yoki qo'shni tokchalar orasida bu yaxshi ishlaydi. Kimdir uni "biroz uzoqroqda" ishga tushirish haqida so'raganda, ularga 850nm da modal dispersiya muzokaralar olib bormasligini eslatib qo'ying.

400G-DR4 500 metrga moʻljallangan toʻrtta parallel-bir rejimli tolalar orqali 1310nm chastotada ishlaydi. MPO{8}}12 ulagichi tashqi sakkizta toladan foydalanadi va to'rttasini ishlatilmay qoldiradi-bu kabel o'rnatuvchilarni har bir joylashtirishda taxminan bir marta chalkashtirib yuboradi. DR4 bir rejimli oʻsimliklarda barg{12}}umurtqa pogʻonasini ulash uchun ish kuchiga aylandi, chunki 500 metr maʼlumotlar markazining koʻpgina geometriyalarini boʻsh joy bilan qamrab oladi.

400G-FR4 dupleks LC orqali bitta tolali juftlikka multiplekslangan CWDM4 to‘lqin uzunliklaridan (1271, 1291, 1311, 1331nm) foydalanadi. Ikki kilometr yetib boradi. Bu yerda 400G kampus o‘zaro ulanishlari uchun tejamkor bo‘la boshlaydi, chunki siz binolar orasidan sakkizta tolali MPO magistralini-tormaysiz.

400G-LR4 yuqori ishga tushirish quvvati va yaxshi qabul qiluvchilar bilan bir xil CWDM4 yondashuvini 10 kilometrgacha cho‘zadi. Narxning FR4 dan LR4 ga ko'tarilishi hali ham o'zlarining aqliy modelini 100G-LR4 narxidan yangilamagan xaridlar bo'limlarini hayratda qoldiradi.

 

Muvofiq fil

 

400G-ZR oʻziga xos boʻlimga loyiq, chunki u bir xil shakl faktorida kiyingan tubdan boshqa texnologiyani ifodalaydi.

Men hozirgacha tasvirlagan hamma narsa toʻgʻridan-toʻgʻri aniqlash optikasidan-foydalanadi. Nur kiradi, fotodiod uni o'zgartiradi, DSP uni tozalaydi. Kogerent optika ma'lumotni bir vaqtning o'zida ikkita polarizatsiya bo'ylab amplituda va fazada kodlaydi, so'ngra qabul qiluvchidagi hamma narsani tiklash uchun mahalliy osilator va murakkab raqamli signalni qayta ishlashdan foydalaning. Natija: ulanadigan modulda 120+ kilometrdan ortiq 400Gbps kuchaytirilmagan tola.

OIF 400ZR standarti ikki polarizatsiya bilan 60 GBaudda 16QAM modulyatsiyasini belgilaydi. Birlashtirilgan FEC (yumshoq-qarorning ichki Hamming, qattiq{5}}qaror tashqi zinapoyasi) taxminan 10,8 dB aniq kodlash daromadini ta'minlaydi. Hamma narsa 15{9}}20 vatt quvvat sarflaydi va QSFP-DD modulini yig‘lab yuboradigan issiqlik hosil qiladi.

Men ushbu termal yuk uchun mo'ljallanmagan kalitlarga o'rnatilgan ZR modullarini ko'rdim. Kommutator shassisi normal harorat haqida xabar berdi, chunki uning qabul qilish datchiklari salqin havoni o'lchagan. Modul 73 daraja haqida xabar berdi, chunki u havo oqimi etarli bo'lmagan ikkita boshqa ZR modullari orasiga qo'yilgan edi. Havola -oʻta yuqori FEC tuzatishlari bilan-arang ishladi, uni-FEC BER oldingi trend chegarasidan oʻtib ketguncha va paketlar tushib ketguncha hech kim sezmagan.

ZR+ ​​va MZR variantlari o'zaro muvofiqlik evaziga yanada ko'proq imkoniyatlarni kengaytiradi. Quvvat, qabul qiluvchining sezgirligi va FEC algoritmlarini ishga tushirish uchun-sotuvchiga xos yaxshilanishlar havolalarni 400 km dan oshib ketishi mumkin, ammo siz tovar emas, balki yechimni xarid qilyapsiz.

 

 

Uchinchi tomon-Savol

 

Men bu suhbatni taxminan olti yuz marta qilganman.

"Biz uchinchi tomon{0}}400G optikasidan foydalana olamizmi?"

Texnik jihatdan ha. MSA spetsifikatsiyalari ko'p-sotuvchining o'zaro ishlashini ta'minlash uchun mavjud. X ishlab chiqaruvchisidan mos keluvchi QSFP-DD Y ishlab chiqaruvchisi bilan bir xil ishlashi kerak. IEEE standartlari optik va elektr parametrlarini belgilaydi. CMIS (Umumiy boshqaruv interfeysi spetsifikatsiyasi) xostning modul bilan qanday gaplashishini standartlashtiradi.

Amalda, bu bog'liq.

Cisco’ning autentifikatsiya mexanizmlari eski platformalardagi aniq “xato-portni o‘chirish” usulidan ogohlantirishlarni qayd qiluvchi, lekin funksionallikni o‘chirib qo‘ymaydigan yanada murakkab sotuvchi tekshiruviga aylandi. Xizmatni qo‘llab-quvvatlamaydigan{2}}transceiver buyrug‘i escape lyuk bo‘lib qoladi. Arista ko'proq ruxsat beradi, lekin uchinchi tomon modullari bilan bog'liq muammolarni-qo'llab-quvvatlashdan bosh tortadi. Juniperning pozitsiyasi platforma va dasturiy ta'minot versiyasiga qarab, ularning muvofiqlik matritsalari bilan maslahatlashishni talab qiladigan tarzda farq qiladi.

Men hech ikkilanmasdan laboratoriya muhitida uchinchi tomon optikasini ishlataman. Nimadir ishlamay qolganda soat 2 da daromad trafigini olib boruvchi ishlab chiqarish yo'llari uchunmi? Men TACga qo'ng'iroq qilishni va darhol "qo'llab-quvvatlanadigan qabul qiluvchilar bilan almashtirish" o'rniga ularga yordam berishni xohlayman.

Xarajatlar matematikasi modullarni o'n minglab sotib oladigan va etkazib beruvchilarni mustaqil ravishda tavsiflashi va malakasini oshirishi mumkin bo'lgan optik muhandislarni ishga oladigan giperskalerlar uchun bu hisobni o'zgartiradi. Cheklangan texnik resurslarga ega bo'lgan tarqatish kanallari orqali yuzlab modullarni sotib oladigan korxonalar uchun bu boshqa matematika.

 

Termal haqiqat

 

400G QSFP{1}}DD moduli variant va sotuvchiga qarab 10 dan 15 vattgacha quvvat oladi. 400G kogerent ZR moduli 15-20 vatt quvvat oladi. 800G QSFP-DD800 moduli-allaqachon AI klasterlarida o‘rnatilgan - 18-25 vatt quvvat oladi.

Ulardan 64 tasini 2RU kalitiga soling va ASIC kaliti, xotira, fanatlar va quvvat manbalarini hisobga olishdan oldin faqat optikadan 640 vattga ega bo'lasiz. Issiqlik dizayni muammosi bir avlodda "adekvat" dan "tanqidiy" ga o'tdi.

Men malaka imtihonida termal tasvir kamerasi toʻliq yuklangan 400G{0}}umurtqa pogʻonasi kalitini supurayotganini koʻrdim. Eng issiq modullar siz kutgan modullar emas edi. ASIC egzozining shamol ostidagi burchak pozitsiyalari toza havoga-plastinka markazi modullariga qaraganda issiqroq ishladi. Standart DDM harorat ko'rsatkichlari bir xil bo'lgan portlar bo'ylab 17 daraja tarqalishini ko'rsatdi.

Modul spetsifikatsiyalari 0 darajadan 70 darajagacha ishlashni va'da qiladi, ammo ishlash egri 70 darajada 25 darajadagi kabi ko'rinmaydi. Lazer chegara oqimi ortadi. Nishab samaradorligi pasayadi. To'lqin uzunligining siljishi-va CWDM4 va DWDM tizimlari uchun to'lqin uzunligi drifti qo'shni kanallar bilan o'zaro aloqani anglatadi.

Havo{0}}sovutuvchi tizimlar chegarasiga yaqinlashmoqda. Kalitlar uchun suyuqlik sovutish ekzotik bo'lib qolmoqda, ammo GPU va optika bir xil termal byudjet uchun raqobatlashadigan AI/ML klasterlari uchun tobora zarur bo'lib qolmoqda.

 

 

Haqiqatlarni sinab ko'rish

 

IEEE standartlari muvofiqlik nuqtalarini belgilaydi. Ular sizning maxsus havolangiz ishlashiga kafolat bermaydi.

TDECQ (Transmitter va Dispersion Eye Closure Quaternary) OMA (Optik Modulyatsiya Amplitudasi) ning PAM4 ekvivalenti, ammo ancha murakkab. U uzatuvchi sifatini qabul qiluvchining ishlashini bashorat qiladigan tarzda tavsiflashga harakat qiladi. O'lchov sinov uskunalari sotuvchilari o'rtasida cheksiz standartlar bo'yicha qo'mita munozaralariga sabab bo'ladigan tarzda farq qiluvchi mos yozuvlar qabul qiluvchilarni va matematik transformatsiyalarni talab qiladi.

-FEC BERdan oldingi test har qachongidan ham muhimroq. Bit xatolaringizning “barmoq izi”-tasodifiy va aniq PAM4 belgilarida to‘plangan va bir tekis taqsimlangan-FEC ularni to‘g‘rilay olishini aniqlaydi. Haqiqiy tasodifiy xatolar Reed-Solomon kodlari bilan yaxshi o'ynaydi. Soatni tiklash bilan bog'liq muammolar yoki DSP noto'g'ri xatti-harakatlaridan kelib chiqadigan portlash xatolar, hatto xom BER maqbul ko'rinsa ham, FECni ag'darib yuborishi mumkin.

Men faqat post-FEC emas, har bir 400G havolasidan-FEC oldingi statistikasini talab qilishni o‘rgandim. 2×10⁻⁴da-FEC BERgacha ishlayotganda 0,00 post-FEC BERni ko‘rsatadigan havola deyarli hech qanday chegara qolmaganini tushunmaguningizcha ajoyib ko‘rinadi. Bir oz iflos ulagich yoki eskirgan lazer qo'shing va bu havola FEC jarligidan ogohlantirmasdan ag'dariladi.

 

Ulagichning ifloslanishi

 

400G da ifloslanish muammosi keskinlashadi. Modulyatsiyalangan ko'z kamroq chegaraga ega. Pastroq tezlikda ko'rinmas bo'lgan zarralar endi materiya uchun etarli darajada zaiflashadi.

Bitta{0}}rejimli tolali yadrolar diametri 9 mikrometrga teng. MTP/MPO-12 konnektori sakkizta faol tolali yo‘lni (to‘rtta TX, to‘rtta RX) hamda to‘rtta ishlatilmagan holda o‘tkazadi. Har bir juftlashish davri ifloslanish xavfini tug'diradi. Har bir ifloslangan so'nggi yuz sizning havola budjetingizga tushadigan kiritishni yo'qotish xavfini tug'diradi.

Talab qilinadigan tozalash tartib-intizomini-kelishtirib bo'lmaydi, lekin kamdan-kam hollarda doimiy ravishda rioya qilinadi. Bir marta bosish{2}}tozalash vositalari, statik xavotirli quruq salfetkalar, izopropil spirti bilan nam tozalash, bugʻlanishiga yoʻl qoʻymasdan, darhol quritilishi kerak-har bir usulning tarafdorlari va tanqidchilari bor. Hamma rozi bo'lgan narsa: ulanishdan oldin tolali ko'lam bilan tekshiring va agar u iflos bo'lsa, tozalang va yana tekshiring.

Men o‘rnatish guruhining 400G-DR4 uzluksiz havolasi bilan bog‘liq nosozliklarni bartaraf etish uchun kun bo‘yi yonib ketishini kuzatdim. Bir nechta modul almashinuvi. Konfiguratsiya sharhlari. Nihoyat, tekshiruv doirasini yorib chiqdi va hech kim tekshirishni xayoliga ham keltirmagan korpus adapterida qurilish qoldiqlarini topdi. To'rt soatlik muammolarni bartaraf eta olmagan narsalarni tozalash vositasi bilan yigirma soniya tuzatdi.

 

 

Bularning barchasi rejalashtirish uchun nimani anglatadi

 

Agar siz bugun yangi maʼlumotlar markazi toʻplamini oʻrnatayotgan boʻlsangiz, 400G umurtqa pogʻonasi qatlami uchun asos boʻlib, barg-umurtqa pogʻonasini yuqoriga koʻtarish uchun esa tobora ortib bormoqda. Bit uchun xarajat 400G modulidan 4×100G uzilishi ko'pincha individual 100G modullariga qaraganda arzonroq bo'lgan joyga tushdi. Bino ichida 30 metrdan oshiq har qanday narsa uchun DR4. Kampus o'zaro ulanishlari uchun FR4. LR4 yoki ZR, agar siz saytlar o'rtasida bo'lsangiz.

Agar siz 400G tarmog‘ini birinchi marta o‘rnatishni o‘ylayotgan korxona bo‘lsangiz, kommutatsiya platformalari yetuk bo‘ldi, modul ta’minot zanjiri barqarorlashdi va narxlash endi har bir xarid buyurtmasida boshqaruvchining -o‘chirilishini talab qilmaydi. Barg{3}}umurtqa pogʻonasini yangilashdan boshlang, kabel infratuzilmangiz ifloslanishga chidamliligini isbotlang va boshqaruv vositalari sizga kerak boʻlgunga qadar FEC statistikasini yigʻishni boshlashi kerakligini tushuning.

Agar siz buni o'qiyotgan giperskaler bo'lsangiz, siz allaqachon GPU klasterlari uchun 400G dan oshgansiz va 1.6T aslida qanday o'rnatilishini qiziqtirgansiz. Issiqlik muammolari bilan omad tilaymiz; Ikki yildan keyin qog‘ozlaringizni o‘qib chiqaman.

Modullarning o'zi sezilarli darajada ishonchli bo'ldi. Muammolar hamma joyda mavjud: ifloslangan ulagichlar, noto'g'ri sozlangan FEC rejimlari, kechagi quvvat konvertlarini qabul qilgan termal dizaynlar va PAM4 signalining yaxlitligi bilan bog'liq muammolarni hal qilishni o'rganayotgan yordam tashkilotlari. Noto'g'ri asoslar-ulagichlaringizni tozalaydi, haroratni o'lchaydi, FEC byudjetingizni tushunadi-xususiy varaqlar muhokamasidan ham muhimroqdir.