400G 광학 모듈은 데이터센터에 적합합니다.

 

데이터 센터 세계가 잠시 진정될 것 같다고 생각할 때마다 누군가가 들어와서 "야, 우리는 왜 안 하는 거지?"라고 말합니다.400G아직 어디에 있지?" 마치 네트워크의 절반을 뜯어서 교체하는 것이 멀티탭을 교체하는 것만큼 쉬운 것처럼 말입니다. 하지만 그렇습니다 - 400G가 여기 있고 우리가 좋든 싫든 우리는 그것을 처리하고 있습니다.

 

 

전혀-그렇지 않습니다-선형 업그레이드 경로

 

사람들은 네트워킹 속도에 대해 "10G → 40G → 100G → 400G → 800G"와 같이 예측 가능한 것처럼 확장한다고 말합니다.
실제로 오전 3시에 이러한 장치를 연결하고 링크 LED가 예상대로 깜박이기를 바라면서 이러한 장치를 연결하는 사람은 전혀 그런 느낌이 아닙니다.

나는 아직도 2019년 배포를 기억합니다.아이디어400G 백본의 절반은 초기 QSFP-DD 열을 신뢰하지 않았기 때문에 팀의 절반이 바닥을 쳐다보게 만들었습니다. 모듈은 당신의 인생 선택에 의문을 제기할 만큼 뜨거워졌습니다. 실제로 한 남자는 열화상 카메라를 보기 위해 몇 주 동안 책상 위에 열화상 카메라를 올려두었습니다.

어쨌든-그렇습니다. 400G가 중요합니다. 하지만 마케팅 슬라이드에 그렇게 나와 있기 때문은 아닙니다. 트래픽 급증이 더 이상 누구도 놀라게 하지 않기 때문에 이는 중요합니다. AI 워크로드는 전통적인 East{5}}West 트래픽 패턴을 준비 운동처럼 보이게 만드는 방식으로 대역폭을 씹어먹고 있습니다.-

 

형식 또는 "어떤 직사각형이 예산을 덜 망치나요?"

 

물리적 하드웨어를 충분히 오랫동안 다루었다면 결국에는 모듈 형태에 대한 강한 의견을 가지게 됩니다. 저는 개인적으로 CFP8을 좋아하지 않았습니다. 너무 크다. 누군가가 VHS 테이프를 트랜시버에 녹인 것 같은 느낌이 듭니다. 우리는 백본 라우터 업그레이드에 몇 개를 사용했는데, 이러한 것들은 시설이 해당 통로의 공기 흐름을 개선할 때까지 나머지 라인 카드를 실제로 연기할 만큼 충분히 따뜻해졌습니다.

QSFP-DD가 '괜찮습니다. 이것을 선택하겠습니다' 옵션이 된 이유는 주로 공급업체가 이를 지지했기 때문입니다. OSFP도 좋습니다. - 사실 저는 발열을 선호합니다. - 하지만 스위치 공급업체가 참여하지 않는 한 사용하지 않을 것입니다. 데이터센터 인프라는 기술이 40%, 정치가 60%입니다. BOM이 세 번째로 거부될 때까지 아무도 이 사실을 알려주지 않습니다.

 

 

멀티모드 대 싱글-모드(그리고 우리 모두가 존재하지 않는 척하는 광섬유 묘지)

 

나는 한 가지 보편적인 진실을 알기 위해 데이터 센터 감사를 충분히 수행했습니다.섬유 공장은 문서에서 주장하는 것만큼 깨끗하지 않습니다.
절반의 경우 라벨이 현실과 일치하지 않습니다. 때때로 패치 패널에는 지난 10년 동안의 미스터리가 담겨 있습니다.

이는 400G에 절대적으로 영향을 미칩니다.

멀티모드를 통한 SR8? 서류상으로는 - 훌륭합니다. 실제 세계에서는 MPO 커넥터를 잘못된 방향으로 연결하면 갑자기 레인 6이 죽어가는 것처럼 보입니다. 한번은 오후 내내 커넥터를 청소하다가 결국 설치자가 랙 도어를 닫으려고 케이블을 눌렀다는 사실을 발견한 적이 있습니다. 재미있었어요.

DR4, FR4, LR4 - 예 예, 거리는 브로셔에 나와 있습니다. 그러나 가격은 진정한 차별화 요소입니다. 우리 고객 중 한 명은 광학 예산이 조달 한도를 초과했기 때문에 계획된 DR4 링크의 절반을 AOC로 다시 전환했습니다. 실용성은 언제나 우아함을 능가합니다.

 

손을 태우는 전력, 열 및 기타 것들

 

솔직하게 말하자면:400G가 뜨겁게 달립니다.
"따뜻함"이 아닙니다.
"약간 구운 맛"이 아닙니다.
누군가 당신에게 실행 중인 스위치에서 갓 꺼낸 모듈을 처음으로 건넬 때 당신은 우정을 재고하게 될 만큼 뜨거워집니다.

일부 공급업체는 현재 8W 이하의 광학 장치를 요구합니다. 소리도 내지 않고 만질 수 있다면 믿겠습니다.

냉각은 실제 아키텍처 결정이 됩니다. 한 배포에서 1RU 스위치의 마지막 8개 포트를 LR4로 채운 후 가장 뜨거운 통로가 거의 4도 상승했습니다. 시설은 네트워킹을 비난했습니다. 네트워킹 시설을 비난했습니다. 결국 우리는 두 개의 PDU를 옮기고 랙을 회전시켰습니다. 문제는 사라졌고 아무도 그것에 대해 다시 이야기하지 않았습니다.

 

 

기술 도약(PAM4는 마법이 아닙니다. 단지… 괜찮을 뿐입니다)

 

NRZ에서 PAM4로의 전환은 마치 대혁명인 것처럼 이야기됩니다. 그렇지 않았습니다. 그것은 같은 파이프에 더 많은 비트를 집어넣는 가장 덜 고통스러운 방법이었습니다.

PAM4는 시끄럽습니다.
까다롭습니다.
더 나은 DSP, 더 나은 PCB, 더 나은 모든 것이 필요합니다.

그러나 그것은 효과가 있었고 공급업체가 균등화 문제를 해결한 후에는 실질적인 문제가 대부분 사라졌습니다. 주로. 광섬유가 다시 종료될 때까지 전체 거리에서 잠금을 거부하는 DR4 모듈을 본 적이 있습니다.- 이유를 모르겠어요. 재작업 후 작업했습니다. 그것이 광학이 때때로 가는 방식입니다.

 

현장에서 실제로 볼 수 있는 모듈

 

슬라이드 데크 -가 아닌 실제 데이터 센터 -에서 시간을 보낸 경우 대략 다음과 같은 빈도로 이러한 문제를 접했을 것입니다.

400G-SR8

저렴하고 예측 가능합니다. 자석처럼 먼지를 모으는 MPO 커넥터입니다. 단기 실행에 적합하고 실험실에 적합합니다. 적절한 청소 도구가 없으면 좋지 않습니다.

400G-DR4

저는 이것을 가장 많이 봅니다. 일반적인 "수백 미터(킬로미터는 아님)" 사용 사례에 적합합니다. 도시 허가로 인해 새 도관이 막혔기 때문에 우리는 DR4를 사용하여 두 건물 사이의 연결을 확장한 적이 있습니다. 때때로 가장 간단한 대답은 더 비싼 광학 장치를 구입하는 것입니다.

400G-FR4

더 나은 도달 거리, CWDM 레인, 듀얼 LC. 나는 이것을 좋아하지만 더 비싸다. 대부분의 기업은 2km가 꼭 필요하지 않는 한 이를 건드리지 않습니다.

400G-LR4

이것들은 소화기와 같습니다. 중요하고, 비싸며, 절대 필요하지 않기를 바랍니다.

다른 모든 것은 어떻게든 어딘가에 존재하지만 통신량이 많은 환경을 제외하고는 PLR4 또는 ER8에 관심을 갖는 사람을 본 적이 없습니다.-

 

돈에 관한 부분은 아무도 토론을 좋아하지 않습니다

 

조달부서는 '400G'라는 말을 들으면 긴장한다.
눈에 띄게 긴장한 것처럼.

SR8은 저렴할 수 있습니다. DR4는 당신을 속이지 않는 벤더가 있다면 더욱 그렇습니다. 그러나 LR 광학은 여전히 ​​가격이 너무 비싸서 대량 주문하기 전에 망설이게 됩니다.

AOC와 DAC? 물론 -는-랙-위 또는 스위치가 동일한 랙에서 서로 껴안고 있는 경우입니다. 전체 리프 레이어가 너무 가까이 배치되어 가장 긴 케이블이 4미터에 달하는 배포가 있었기 때문에 DAC로 인해 수천 달러를 절약할 수 있었습니다. 어떤 경우에는 AOC가 열악한 섬유 계획을 위한 반창고-가 됩니다.

 

 

배포 현실(컨퍼런스에서 듣는 깔끔한 버전이 아님)

 

나는 이것을 짧게 유지하겠습니다 :
400G는 섬유 공장의 모든 약점을 드러냅니다.
그리고 당신의 라벨링.
그리고 아마도 귀하의 문서도 있을 것입니다.

내가 본 것:

2015년 이후 교차 연결 패널 라벨이 잘못 지정됨

MPO 카세트가 거꾸로 설치됨

잘못 사용된 세척제(예, 이런 일이 발생합니다)

누군가가 케이블을 잘못된 반경으로 구부려서 광학 장치가 고장났습니다.

공급업체 웹 세미나에는 이 중 어떤 것도 표시되지 않습니다. 그러나 실제 배포에서는 이러한 작은 결함으로 인해 주말 내내 문제가 발생합니다.

 

그리고 800G 이야기에 대해서…

 

오고있다. 확신하는. 그러나 800G가 곧 400G를 "대체"할 것이라는 생각은 말도 안되는 소리입니다. 대부분의 기업에는 여전히 죽기를 거부하는 10G 섬이 있습니다. 하이퍼스케일러는 기술이 원해서가 아니라 규모가 요구하기 때문에 빠르게 움직입니다.

400G는 수년 동안 우리와 함께 있을 것입니다. 솔직히 말해서, 기존 인프라에 묶인 돈의 양은 거의 그것을 보장합니다.

 

연구실로 돌아가기 전 마지막 메모

 

400G는 우아하지 않습니다. 고통스럽지 않습니다. 사람들이 새로운 하드웨어 발표를 볼 때 상상하는 깨끗하고 화려한 업그레이드가 아닙니다.

하지만 작동합니다. 그리고 섬유에 흘린 땀, 열기, 가끔씩 발생하는 신비한 링크 플랩 -을 포함하여 첫 번째 배포 -에서 살아남으면 결국 업계가 얼마나 발전했는지 깨닫게 될 것입니다.

새 빌드에서 400G를 계획하고 있다면 좋습니다. 지루한 것들을 잊지 마십시오. 청소 키트, 적절한 공기 흐름, 실제로 MPO를 올바르게 종료하는 방법을 아는 사람, 그리고 뚜렷한 이유 없이 링크가 표시되지 않을 때 침착함을 유지할 수 있는 팀원 중 최소한 한 명.

마지막 것은 좋은 광학 장치보다 찾기가 더 어렵습니다.