적합한 400g 광학 모듈 선택

 

사라지지 않는 폼 팩터 문제

 

QSFP-DD 또는 OSFP. 누구나 의견이 있습니다. OFC 컨퍼런스의 논쟁은 업계에 새로 입문한 사람들을 놀라게 할 만큼 뜨거워졌습니다.

실제 현실은 다음과 같습니다. QSFP-DD가 볼륨 게임에서 승리했습니다. 기존 QSFP28 인프라와의 하위 호환성은 이미 100G 케이블링 및 스위치 섀시에 막대한 투자를 한 조달 팀에게 거부할 수 없는 것으로 입증되었습니다. 문자 그대로 QSFP28 모듈을 QSFP-DD 포트에 넣으면 작동합니다. 그 마이그레이션 이야기는 많은 하드웨어를 판매했습니다.

OSFP 지지자들은 자신의 폼 팩터가 열을 더 잘 처리한다고 -정확하게-말할 것입니다. 추가 물리적 볼륨(QSFP-DD보다 약 50% 더 큼)을 통해 QSFP-DD 모듈이 어려움을 겪고 있는 엄격한 12~14W 한도 대신 15-20W 전력 예산을 허용합니다. 메트로 DCI 애플리케이션을 위해 일관된 ZR 광학을 추진할 때 헤드룸은 매우 중요합니다.

그러나 마케팅 자료에서 아무도 언급하지 않은 내용은 다음과 같습니다. 대부분의 기업 배포에는 ZR이 필요하지 않습니다. 500-미터 리프-척추 주행에는 DR4가 필요하고, 건물-간-링크에는 2km 길이의 FR4가 필요할 수 있습니다. 이러한 전력 수준에서는 QSFP-DD가 제대로 작동합니다. OSFP의 열적 이점은 학술적입니다.

 

변형과 알파벳 수프 문제에 도달

 

SR4, DR4, FR4, LR4, ER4, ZR-명명 규칙은 일단 외우면 기술적으로 이해가 되지만, 하급 엔지니어가 처음으로 BOM을 사양하려고 하는 것을 지켜보는 것은 고통스럽습니다.

SR4는 멀티모드를 통해 100미터를 제공합니다. 850nm VCSEL, MPO-12 커넥터를 사용하고 이미 이중 바닥에 있는 OM3/OM4 광섬유와 작동합니다. 지금까지 가장 저렴한 옵션. 이는 랙 간 거리가 100미터 미만으로 유지되는 경우 단일 데이터 센터 건물 내부에 배포하는 것입니다.

DR4는 1310nm에서 각각 100Gbps를 전달하는 병렬 광학-4개의 개별 광섬유를 사용하여 단일{2}}모드에서 500미터까지 확장됩니다. 여전히 MPO-12를 사용하지만 이제는 단일{10}}모드 플랜트가 필요합니다. 대규모 시설에서 리프--척추 연결을 위한 최적의 장소입니다.

FR4와 LR4는 모두 파장 다중화를 사용하여 4개의 채널을 모두 단일 광섬유 쌍으로 압축합니다. FR4는 2km에 도달하고, LR4는 10km까지 밀어냅니다. 이중 LC 커넥터. CWDM4 광학 및 다중화/역다중화로 인해 복잡성이 추가되므로 비용이 더 많이 듭니다.

내가 가장 자주 보는 혼란은? 누군가는 섬유 가닥을 잘못 계산했기 때문에 실제로 FR4가 필요할 때 DR4를 지정합니다. DR4에는 8개의 파이버(TX 4개, RX 4개)가 필요합니다. FR4에는 2개의 광섬유(TX 1개, RX 1개)가 필요합니다. 건물 간 도관에 12가닥 트렁크만 있고 여러 400G 링크를 계획 중인 경우 DR4에서는 계산이 작동하지 않습니다.

그리고 나서 브레이크아웃 질문이 있습니다.

 

브레이크아웃 모드: 유용하지 않을 때까지 유용함

 

400G-DR4 모듈은 4x100G-DR 연결로 나눌 수 있습니다. 이론적으로 이는 마이그레이션 유연성을 제공합니다.{7}}지금 400G 인프라를 구입하고 트래픽 수요가 전체 400G 작업을 정당화할 때까지 4x100G 모드에서 사용하세요.

마케팅 홍보가 훌륭해 보입니다. 현실은 점점 더 지저분해진다.

브레이크아웃에는 특정 광섬유 구성이 필요합니다. DR4-에서 4x100G-DR로의 브레이크아웃에는 400G 측에 8개의 파이버가 필요하며 100G 측에 있는 4개의 이중 쌍으로 확장됩니다. 그것은 케이블 서랍 속에 있는 패치 코드가 아닙니다. 이는 종종 MPO-12에서 4xLC 브레이크아웃이 포함된 맞춤형 어셈블리이므로 올바른 극성을 주문하는 것이 더 나을 것입니다. 그렇지 않으면 파이버 트레이서와 함께 많은 좌절감을 느끼며 저녁을 보내게 될 것입니다.

 

 

PAM4는 모든 것을 변화시켰습니다. (항상 더 나은 방향으로 발전한 것은 아닙니다)

 

400G 이전 광학은 NRZ 변조를 사용했습니다. 두 가지 신호 레벨. 단순한. 믿을 수 있는. 레이저는 켜져 있거나 꺼져 있고, 높거나 낮습니다. 아이 다이어그램이 깨끗해 보였습니다.

400G는 PAM4를 가져왔습니다. 즉, 기호당 2비트를 인코딩하는 4개의 신호 레벨입니다. 기호 속도를 두 배로 늘리지 않고도 데이터 속도를 두 배로 늘릴 수 있습니다. 물리학 문제에 대한 훌륭한 솔루션입니다.

PAM4를 제외하면 광링크의 오류 특성이 근본적으로 바뀌었습니다.

NRZ를 사용하면 신호 레벨 간에 약 9.5dB의 잡음 여유가 있었습니다. PAM4를 사용하면 약 4.8dB로 떨어집니다. 정확한 계산을 원한다면 이론적 SNR 페널티는 대략 10dB-20×log₁₀(1/3)로 계산됩니다. 그것은 미묘한 차이가 아닙니다. 이는 소음 내성이 크게 감소하는 것입니다.

이것이 바로 400G에 Forward Error Correction이 필수가 된 이유입니다. 선택 사항이 아닙니다. "장거리에는 권장되지 않습니다." 필수적인.

FEC 오버헤드는 지연 시간을 추가하고-802.3 사양에서 약 100나노초를 목표로 함-실제 회선 속도를 깨끗한 400Gbps가 아닌 425Gbps로 높이는 추가 대역폭을 소비합니다. 더 중요한 것은 400G 링크가 항상 0이 아닌 사전- FEC 비트 오류율로 실행되어 사실상 사후 FEC가 0이 되도록 수정된다는 의미입니다.

약 2.4×10⁻⁴의 사전-FEC BER은 DR4에 허용되는 것으로 간주됩니다. 100G 링크의 경우 이는 재앙이었을 것입니다. Reed-Solomon FEC를 사용하는 400G의 경우 괜찮습니다. FEC 이후의-프레임 손실률은 여전히 ​​10⁻² 목표에 도달했습니다.

하지만 사람들이 주목하는 점은 다음과 같습니다. FEC가 따라잡을 수 없는 경우-사전 FEC 오류가 수정 알고리즘이 처리할 수 있는 수준을 초과하는 경우-실패는 우아하지 않습니다. 링크가 천천히 저하되지 않습니다. 절벽에서 떨어집니다. 어느 순간에는 모니터링 대시보드에서 모든 것이 괜찮아 보이다가 다음 순간에는 수정할 수 없는 프레임 오류와 패킷 손실이 표시됩니다.

100G 링크가 허용할 수 있는 더티 커넥터가 있습니까? 그들은 400G 링크를 죽일 것입니다. 약간 높은 감쇠를 갖는 한계 섬유? 같은 이야기. 오류 수정은 갑자기 문제가 발생하지 않을 때까지 문제를 가립니다.

 

열악한 악몽

 

FR4 모듈로 완전히 채워진 32포트 400G 스위치는 트랜시버에서만 320~384W의 열을 생성합니다. 이는 스위치 ASIC, 전원 공급 장치, 팬을 계산하기 전입니다. 총 시스템 전력은 1RU 섀시에서 1500-2000W에 도달할 수 있습니다.

100G 배포에 적용되었던 랙 밀도 계산에는 완전한 수정이 필요합니다.

모듈 자체의 작동 온도 범위는-상업용 등급의 ​​경우 일반적으로 0~70도입니다. "모듈 온도"가 케이스에서 측정되고 케이스가 스위치가 제공하는 공기 흐름에 위치한다는 사실을 깨닫기 전까지는 합리적으로 들립니다. 위와 아래의 포트가 비슷하게 뜨거운 모듈로 채워져 있는 완전히 채워진 섀시에서는 공기 흐름이 좋지 않습니다.

페이스플레이트 중앙에 있는 모듈이 가장자리에 있는 모듈보다 8~10도 더 뜨겁게 실행되는 배포를 본 적이 있습니다. 동일한 주변 환경, 동일한 교통 부하, 순전히 물리적 위치에 따라 극적으로 다른 열 조건.

OSFP의 핀형 방열판 설계가 여기에 도움이 됩니다. 핀은 대류 냉각을 위해 표면적을 늘리며 OSFP MSA는 스위치 설계자가 충족해야 하는 공기 흐름 요구 사항을 지정합니다. QSFP-DD는 품질이 매우 다양한 스위치 공급업체의 열 설계에 더 많이 의존합니다.

AI/ML 클러스터 배포 중 일부는 바로 이러한 이유로 액체 냉각으로 전환되었습니다. 직접-칩-냉각 루프 또는 완전 침수 설정을 통해 공기 흐름 제약을 완전히 제거합니다. 그러나 이는 기본적인 인프라 결정이지 다른 광학 장치를 선택하여 해결하는 것이 아닙니다.

 

 

제3자-트랜시버 질문

 

Cisco 또는 Juniper의 OEM 트랜시버 가격은 동급의 타사 모듈 가격의 3~5배입니다.- 때로는 더. 가격 차이는 일반적으로 단일 공급업체로 표준화하는 조직에서도 조달 논의에 나타날 만큼 상당합니다.

타사-는 대부분의 경우 잘 작동합니다. MSA 사양은 다중 공급업체 상호 운용성을 구현하기 위해 존재합니다.- 호환 QSFP-DD 모듈은 라벨에 어떤 로고가 표시되는지에 관계없이 호환 QSFP-DD 모듈입니다.

대부분의 경우.

극단적인 경우는 그 자신감에 의문을 제기하게 만들 것입니다. 이전에-작동하던-타사 광학 기기를 갑자기 지원되지 않는 것으로 표시하는 스위치 펌웨어 업데이트. EEPROM 매핑이 스위치가 예상하는 것과 완전히 일치하지 않기 때문에 잘못 채워지는 DOM/DDM 데이터. 특정 트래픽 패턴에 따라 특정 공급업체 조합에서만 발생하는 간헐적인 링크 플랩입니다.

지원 상황은 기술적 불확실성을 가중시킵니다. 링크 문제로 Cisco TAC에 전화하면 광학 장치에 대해 물어볼 것입니다. 타사 모듈을 실행 중인 경우-대화는 거기서 끝나는 경우가 많습니다. "지원되는 트랜시버로 교체하고 문제가 지속되면 다시 전화하세요"는 실망스럽지만 완전히 예측 가능한 응답입니다.

가치가 무엇이든 제 추천은: 실험실에서는 제3자를 이용하고{0}}생산에서는 매우 주의하는 것입니다. 오전 2시에 문제를 해결하고 광학 장치를 변수로 배제할 수 없으면 70~80%의 비용 절감 효과가 덜 매력적으로 느껴집니다.

 

선택에서 실제로 중요한 것은 무엇입니까?

 

모든 기술적인 세부 사항을 살펴본 후 모듈 선택은 일반적으로 몇 가지 실용적인 질문으로 귀결됩니다.

실제로 어느 정도의 거리를 커버해야 합니까? 구체적으로 말하세요. 섬유 런을 측정합니다. 패치 및 스플라이스에 대한 여백을 추가합니다. 그런 다음 여유 공간이 있고 해당 거리를 충족하는 가장 저렴한 모듈 유형을 선택하십시오.

어떤 섬유 식물이 존재합니까? 건물 내 다중 모드, 건물 간 단일{0}}모드가 일반적인 패턴입니다. 설득력 있는 이유가 없는 한 기존 인프라와 싸우지 마십시오.

귀하의 스위치 플랫폼은 무엇입니까? 포트 유형이 이미 결정되었을 수 있습니다. QSFP-대부분의 기업 배포용 DD, 일부 하이퍼스케일러 및 통신 애플리케이션용 OSFP.

귀하의 케이블링을 얼마나 신뢰하십니까? 400G는 100G보다 덜 관대합니다. 구조화된 케이블 연결이 의심스러운 경우-오래된 광섬유, 의심되는 종료, 수십 번 다시 연결된 패치-문제가 예상됩니다. 모든 것을 청소하십시오. 모든 것을 테스트하십시오. 광 파워 미터와 검사 범위는 더 이상 선택 사항이 아닙니다.

 

 

획기적인 유연성이 필요합니까? 그렇다면 처음부터 모듈 선택 및 케이블링 설계에 이를 고려하십시오. 브레이크아웃 기능을 개조하는 것은 비용이 많이 들고 파괴적입니다.

AI/ML 구축은 이미 800G를 향해 나아가고 있습니다. 일부 조직에서는 400G가 배포 대상으로 적합한지, 아니면 기다려야 하는지 의문을 제기하고 있습니다. 보편적인 대답은 없습니다. 트래픽 증가가 지금의 투자를 정당화하고 투자 회수 기간이 재정적으로 적당하다면 400G를 배포하십시오. 100G 인프라를 또 다른 갱신 주기로 확장할 수 있다면 필요할 때 800G 생태계가 준비될 것입니다.

지루한 조언은 일반적으로 올바른 조언입니다. 기술을 실제 요구 사항에 맞추고, 문제가 발생했을 때 지원해 줄 만큼 신뢰하는 공급업체로부터 구입하고, 문제 해결 시간을 고려할 때 가장 저렴한 옵션이 저렴하지 않은 경우가 많다는 점을 기억하세요.

제대로 작동하는 트랜시버를 지정했다는 이유로 해고된 사람은 아무도 없습니다.