400g 광학 모듈 이해

 

왜 400G가 일어났는가?

 

업계 베테랑들이 기대하는 대역폭 발전에는 어느 정도 불가피성이 있습니다. 당시에는 10G에서 40G로의 점프가 중요하게 느껴졌습니다. 그러다가 100G가 등장했고 갑자기 모든 사람들이 스파인-리프 아키텍처와 동-트래픽 패턴에 대해 이야기했습니다. 그런데 400G? 그 전환은 달랐습니다.

1G부터 25G까지 우리에게 도움이 되었던 NRZ 변조 방식은 경제적으로 100G 이상으로 확장할 수 없었습니다. 물리학은 비싸졌습니다. 신호 무결성은 악몽이 되었습니다. 기술적으로 NRZ를 더 강하게 추진할 수는 있지만-물론 대량 배포에는 비용 곡선이 적합하지 않습니다. 그래서 업계는 PAM4로 전환했습니다.

PAM4가 수행하는 작업은-인프라를 지정하는 경우{2}}기호당 1비트가 아닌 2비트를 인코딩하는 것이므로 이해해 둘 가치가 있습니다. 2개가 아닌 4개의 진폭 레벨. 전송 속도를 두 배로 늘리지 않고도 데이터 처리량을 두 배로 늘릴 수 있습니다. 절충안? 신호-대-잡음 비율은 NRZ에 비해 약 10dB 적중합니다. 그것은 사소한 것이 아닙니다. 이것이 모든 400G 모듈에 순방향 오류 수정 기능이 내장되어 배송되고 DSP(디지털 신호 프로세서)가 이러한 트랜시버에서 중요한 구성 요소가 된 이유입니다.

 

 

폼 팩터 전쟁

 

저는 수년간 무역 박람회와 조달 회의에서 QSFP-DD 대 OSFP 논쟁이 진행되는 것을 지켜보았습니다. 양측 모두 타당한 주장을 갖고 있습니다. 둘 다 확실히 승리한 적이 없습니다.

QSFP-DD는 이전 버전과의 호환성을 킬러 기능으로 하는 QSFP-DD MSA 동맹에서 나왔습니다. 교체할 준비가 되지 않은 QSFP28 모듈이 많이 있습니까? QSFP-DD 케이지에 바로 장착됩니다. 크기는-폭 18.35mm, 길이 89.4mm로 폼 팩터를 친숙하게 유지합니다. 1U 전면 패널에 36개의 포트를 장착할 수 있습니다. 모든 슬롯을 채울 경우 총 처리량은 14.4Tbps입니다. 점진적으로 업그레이드하는 운영자의 경우 이는 매우 중요합니다.

OSFP는 다른 접근 방식을 취했습니다. Octal Small Form{1}}Pluggable 그룹은 이전 버전과의 호환성은 잊어버리고 열 관리와 향후 확장성을 위해 최적화하자고 말했습니다. 폭 22.58mm, 길이 107.8mm의 OSFP 모듈은 열 방출을 위한 표면적이 더 넓습니다. QSFP-DD의 최대 12~15W에 비해 최대 15-20와트의 전력 봉투를 지원합니다. 코히어런트 옵틱을 실행하거나 800G를 계획하는 경우 해당 여유 공간이 중요해집니다.

NVIDIA는{0}}Quantum-2 InfiniBand 플랫폼을 위해 OSFP에 올인했습니다. 그건 아무것도 아닙니다. 그러나 Cisco와 Arista의 엔터프라이즈 스위치는 여전히 주로 QSFP-DD 포트를 제공합니다.

 

문자가 실제로 의미하는 것

 

사양 시트를 보고 DR4가 "400G 모듈"임에도 불구하고 왜 FR4보다 가격이 저렴한지 궁금해하신 적이 있으신가요? 명명법은 패턴을 따르지만 이러한 패턴에는 예외가 있으며 예외에는 고유한 논리가 있습니다.

• SR(단거리): 다중 모드 광섬유, 850nm 파장. 400G-SR8은 MPO{15}}16 커넥터를 통해 50G PAM4의 8개 병렬 레인을 사용합니다. 범위는 OM4 광섬유에서 약 100미터,{19}}OM3에서 70미터입니다. 고속 VCSEL을 사용하여 4개 레인 각각에 100G를 압축하는 SR4도 있습니다. 동일한 도달 범위, 더 적은 섬유. 400G-SR4.2 변형(BIDI라고도 함)은 양방향 전송을 통해 각 방향으로 2개의 파장을 실행하여 단 4개의 광섬유를 통해 400G를 달성합니다.
• DR4: 단일-모드 광섬유, 1310nm, 500미터. 이는 SR이 처리할 수 있는 것보다 긴 내부-데이터 센터 연결을 위한 주력 장치입니다. 4개의 광학 레인 각각은 전용 광섬유 쌍을 통해 100G PAM4를 전달합니다. MPO-12 커넥터. 여기서 브레이크아웃 기능은 매우 중요합니다.{14}}하나의 DR4가 4개의 독립적인 100G-DR 링크로 분할될 수 있어 기존 100G 장비를 연결할 때 도움이 됩니다.
• FR4: 2km, 싱글-모드. 기어박스 아키텍처가 유지되는 곳이 바로 여기입니다. 모듈은 8개의 50G 전기 레인을 가져와 DSP를 통해 4개의 100G 광학 레인으로 변환한 다음 파장{5}}4개 모두 CWDM4 간격(1271, 1291, 1311, 1331nm)을 사용하여 단일 광섬유 쌍으로 다중화합니다. 이중 LC 커넥터. DR4의 병렬 접근 방식보다 훨씬 깔끔한 케이블링입니다.
• LR4 이상: FR4와 동일한 파장 방식이지만 10km 도달 거리에 최적화되어 있습니다. ER4는 40km까지 추진합니다. ZR4는 80km에 도달하지만 일관된 감지-완전히 다른 기술, 다른 가격대, 다른 사용 사례가 필요합니다. OIF의 400ZR 표준은 특히 스위치 전면판에 플러그형 코히어런트 광학 장치가 필요한 메트로 DCI 애플리케이션을 대상으로 합니다.

 

 

DSP 질문

 

모든 400G 트랜시버에는 디지털 신호 프로세서가 포함되어 있습니다. 하나하나. 이것은 선택사항이 아닙니다.-PAM4 변조는 정교한 신호 조정 없이는 작동하지 않습니다.

DSP는 실제로 무엇을 합니까? 채널 손실을 보상하기 위한 피드-균등화. 기호간 간섭에 대한 결정 피드백 균등화- 수신된 신호에서 타이밍을 추출하기 위한 클록 및 데이터 복구. 전송 시 FEC 인코딩, 수신 시 FEC 디코딩 및 오류 수정. 일관된 모듈에서는 해당 목록에 색분산 보상 및 편광 모드 분산 관리를 추가합니다.

DSP는 전력을 소모합니다. 많이. 많은 400G 모듈에서 DSP는 전체 전력 소비의 절반 이상을 차지합니다. Marvell, Broadcom 및 Inphi(현재 Marvell의 일부)는 프로세스 노드를 축소하고 효율성을 높이기 위해 경쟁을 벌이고 있습니다. 7nm에서 5nm DSP로의 도약은 동등한 기능에 대해 약 20% 정도의 의미 있는{7}}전력 절감 효과를 가져왔습니다.

DSP가 스위치 ASIC 자체(일부에서는 "선형 플러그형 광학 장치" 또는 LPO라고 함)로 이동해야 하는지 여부에 대한 논쟁이 진행 중입니다. 논쟁은 다음과 같습니다: 스위치에서 이미 신호 처리를 수행하고 있다면 왜 모든 트랜시버에서 이를 복제합니까? 반론은-모듈 상호 운용성과 다양한 스위치 플랫폼 전반에 걸쳐 광학 장치를 검증하는 실질적인 과제와 관련이 있습니다. 이것은 앞으로 몇 년에 걸쳐 진행될 것입니다.

 

Silicon Photonics의 등장

 

모두가 InP(인듐 인화물) 레이저가 400G를 지배할 것이라고 생각했던 때를 기억하십니까? 내러티브가 바뀌 었습니다.

Intel과 Cisco는 표준 CMOS 제조 공정을 사용하여 실리콘 기판에 광학 부품을 통합하는{0}}실리콘 포토닉스에 일찍부터 투자했습니다. 약속은 항상 규모에 따른 비용에 관한 것이었습니다. 기존의 개별 광학 장치에서는 각각 다른 재료로 만들어진 레이저 칩, 변조기, 광검출기를 수동으로 조립해야 합니다. 실리콘 포토닉스를 사용하면 단일 다이에 광학 엔진의 대부분을 구축할 수 있습니다.

오늘 출시되는 400G-DR4 실리콘 포토닉스 모듈은 대규모 배포에 탁월한 경제성을 제공합니다. EML-기반 대안-아직-보다 보편적으로 저렴하지는 않지만 팹 수율이 향상됨에 따라 비용 궤도는 실리콘을 선호합니다. 특히 변조기 섹션에서 전력 소비 이점도 있습니다.

즉, 실리콘은 평범한 레이저를 만듭니다. 간접 밴드갭 문제는 아직 해결되지 않았습니다. 따라서 실리콘 포토닉스 모듈도 일반적으로 실리콘 플랫폼에 통합된 하이브리드- 외부 InP 또는 GaAs 이득 칩을 사용합니다. 그것은 우아한 엔지니어링이지만 "실리콘 포토닉스"는 다소 열망적인 용어로 남아 있습니다.

 

전력 및 열 현실

 

공기 냉각은 이러한 밀도에 대한 실질적인 한계에 도달하고 있습니다. 스위치 ASIC의 액체 냉각-냉각판, 전체 랙의 침수 가능성은-더 이상 이상하지 않습니다. 시설 조직이 아직 지정하고 유지하는 방법을 배우고 있는 것은 값비싼 인프라일 뿐입니다.

 

브레이크아웃 시나리오

 

충분히 주목받지 못하는 기능 중 하나: 400G 모듈은 종종 브레이크아웃 작업용으로 구성되어 호스트 시스템에 여러 개의 저속{1}}인터페이스로 제공될 수 있습니다.

400G-SR8은 2개의 200G-SR4 링크 또는 절반 속도로 실행되는 2개의 100G-SR4 링크 또는 8개의 독립 50G 채널('채널화' 또는 SR8-C 변형)이 될 수 있습니다. 400G{16}}DR4는 4개의 100G-DR 연결로 나눌 수 있습니다. 이는 400G 스위치 포트를 4개의 개별 100G 서버에 연결해야 할 때 유용합니다.

여기서 케이블링이 흥미로워집니다. MPO-12 - 4xLC 이중 브레이크아웃 하네스는 단일 DR4 포트를 가져와 이를 4개의 독립 SMF 쌍으로 팬 아웃합니다. 네트워크 설계자는 이러한 유연성을 좋아하지만 케이블 관리에 미치는 영향은 현실입니다. 구조화된 케이블 연결 계획은 첫날부터 브레이크아웃 시나리오를 고려해야 합니다. 그렇지 않으면 배포 후 6개월 동안 임시 패치 케이블을 실행하게 됩니다.

 

400G에 대한 800G의 의미

 

업계는 빠르게 변화하고 있습니다.{0}}현재 G 트랜시버가 출시되고 있습니다.-대부분 AI 클러스터 상호 연결을 위한 SR8 및 DR8 변형입니다. 그러면 400G가 쓸모없게 되나요? 가깝지도 않아요.

400G 생태계는 성숙해졌습니다. 모듈 비용이 크게 감소했습니다. 공급업체 간 상호 운용성은 잘 확립되어 있습니다-. 대부분의 기업 및 클라우드 네트워킹 요구 사항에 대해 400G는 성능, 비용 및 운영 친숙성의 최적 지점을 나타냅니다. 이는 리프-스파인 패브릭과 범용-목적의 데이터 센터 연결에 대한 대량 재생으로 수년간 유지될 것입니다.

GPU가 훈련 데이터를 터무니없는 속도로 이동해야 하는 AI/ML 환경에서는 800G와 결국 1.6T가 지배하게 될 것입니다. 다양한 시장, 다양한 요구사항, 다양한 예산 관련 대화. 대부분의 네트워크는 해당 곡선을 추적할 필요가 없습니다.

 

 

아무도 쓰지 않는 실용적인 고려 사항

 

어려운 방법으로 배운 몇 가지 사항은 다음과 같습니다.

모듈 EEPROM 호환성은 공급업체가 인정하는 것보다 더 중요합니다. 한 스위치 모델에서 제대로 작동하는 "호환 가능" 트랜시버는 ASIC은 동일하지만 펌웨어가 다른 다른 스위치 모델에서는 오류가 발생할 수 있습니다. 타사 광학 장치를 검증할 때 테스트 시간을 단축하세요.-

FR4 및 LR4 모듈의 LC 커넥터는 이중-총 2개의 광섬유-이지만 DR4 및 SR8의 MPO 커넥터는 APC(각진 물리적 접촉) 광택을 사용합니다. APC와 UPC 커넥터를 혼합하면 20dB 이상의 반사 손실과 간헐적인 오류가 발생합니다. 색상 코딩에는 이유가 있습니다.

다양한 제조업체의 PAM4 모듈은 미묘하게 다른 FEC 구현을 가질 수 있습니다. 표준은 해석의 여지를 남겨둔다. 링크에서 설명할 수 없을 정도로 높은 수정 오류 수가 표시되는 경우 광케이블 공장을 비난하기 전에 한쪽 끝을 동일한-공급업체 모듈로 교체해 보세요.

온도가 중요합니다. 이러한 모듈은 일반적으로 케이스 온도가 최대 70도까지 정격이지만 해당 온도에 도달하기 전에 성능이 저하됩니다. 일관된 행동을 원한다면 시원하게 유지하세요.

 

앞으로의 길

 

400G 광학 모듈은 최첨단 인프라에서 주류 인프라로 전환되었습니다. 기술 결정-QSFP-DD 대 OSFP, 병렬 대 WDM, 실리콘 대 개별 광학-은 더 이상 3년 전과 같은 위험을 수반하지 않습니다. 강력한 공급망이 존재합니다. 여러 자격을 갖춘 공급업체가 가격과 기능을 놓고 경쟁합니다. 표준 기관은 대부분의 상호 운용성 엣지 케이스를 해결했습니다.

현재 배포를 계획하고 있는 네트워크 설계자의 선택 프레임워크는 간단합니다. 즉, 폼 팩터를 스위치 플랫폼 전략에 맞추고, 실제 도달 요구 사항에 따라 트랜시버 유형(SR/DR/FR/LR)을 선택하고, 사양을 초과하지 않는 것입니다-. 400G-LR4의 비용은 400G-DR4보다 훨씬 더 비쌉니다. 최장 거리가 300미터라면 운영상의 이점 없이 예산만 낭비하게 됩니다.

향후 몇 년 동안에는 저전력 DSP, 향상된 실리콘 포토닉스 수율, 선형 플러그형 아키텍처에 대한 표준화 등 점진적인 개선이 이루어질 것입니다. 하지만 근본적인 기술 플랫폼은 안정화되었습니다.. 400G는 더 이상 등장하지 않습니다. 이제는-자신있게 계획할 수 있는 인프라입니다.

그리고 솔직히? 100G 시대 초반의 혼란 이후 이러한 예측 가능성은 높이 평가할 가치가 있습니다.