QSFP-DD rất phù hợp cho cụm AI khi bộ chuyển mạch hoặc điểm cuối đã sử dụng lồng QSFP-DD gốc, khi một lượng lớn các mô-đun dòng QSFP-đủ điều kiện và sợi quang phải tiếp tục hoạt động và khi nền tảng có thể làm mát các mô-đun đã chọn với mọi cổng được đưa vào. Đó là điểm khởi đầu sai lầm khi các máy chủ GPU và bộ chuyển mạch được xây dựng xung quanh các lồng OSFP gốc hoặc khi hệ thống quang học bạn thực sự cần yêu cầu nhiều khoảng trống nhiệt hơn mức mà máy chủ có thể cung cấp cho chúng.
Yếu tố hình thức không phải là quyết định đầu tiên. Đó là khoảng thứ tư. Một thiết kế mạng tồn tại được trong quá trình đào tạo sản xuất đầu tiên bắt đầu với các giao diện máy chủ, số lượng đường ray, cấu trúc liên kết mục tiêu, tỷ lệ đăng ký vượt mức chấp nhận được và tuyến cáp đo được. Chỉ khi đó hình dạng mô-đun mới quan trọng.
Hướng dẫn này sẽ hướng dẫn từ đầu đến cuối thứ tự đó, cùng với phép tính công suất làm việc, bảng lựa chọn-liên kết và trình tự xác thực mà bạn có thể giao cho nhóm phòng thí nghiệm.

Bạn nên chọn yếu tố hình thức nào?
| Điều kiện điểm cuối | Lựa chọn đầu tiên để đánh giá |
|---|---|
| Cả hai đều kết thúc QSFP-DD / QSFP-DD800 nguyên bản | QSFP-DD |
| Cả hai đều kết thúc OSFP nguyên bản | OSFP |
| Di chuyển từ cơ sở QSFP 400G đã cài đặt | QSFP-DD, miễn là máy chủ hỗ trợ chế độ cổng được yêu cầu |
| Quang học công suất-cao trên nền tảng có khung gốc là OSFP | OSFP |
| OSFP một đầu, QSFP còn lại-DD | DAC/AEC đa{0}}dạng{1}}đủ điều kiện hoặc liên kết quang có PMD, tốc độ làn đường và chế độ FEC phù hợp ở cả hai đầu |
Quy tắc cơ bản là ngắn gọn:chọn lồng dành riêng cho điểm cuối, sau đó xác minh tốc độ làn điện, giao diện quang, chế độ FEC, cấp nguồn và chương trình cơ sở cho số bộ phận chính xác đó.Mọi thứ dưới đây là công việc cần thiết để áp dụng quy tắc đó một cách trung thực.
Năm quyết định theo thứ tự
Hầu hết các bản dựng mạng AI tồi đều xuất phát từ việc đưa ra các quyết định này không theo trình tự - chọn mô-đun trước và phát hiện ra ràng buộc sau. Mỗi bước bên dưới cung cấp dữ liệu cho bước tiếp theo và mỗi bước sẽ thay đổi những gì bạn có thể mua ở bước sau đó.
- Xác nhận các điểm cuối.Loại lồng riêng và chế độ giao thức ở cả hai đầu của mỗi liên kết.
- Tính công suất.Số cổng trên mỗi nút, trên mỗi đường ray, sau đó là dung lượng đường xuống lá và đường lên theo tỷ lệ đăng ký vượt mức mục tiêu của bạn.
- Chọn liên kết vật lý.Đo chiều dài tuyến đường, nhà máy sợi, đầu nối, yêu cầu đột phá.
- Xác thực số phần.FEC, tốc độ làn đường, cấp công suất, chương trình cơ sở, bản sửa đổi CMIS, trình độ của nhà cung cấp.
- Triển khai theo miền thất bại.Đầu tiên là phòng thí nghiệm, sau đó là từng giá đỡ, thanh ray hoặc thiết bị có thể mở rộng tại một thời điểm.
Bước 1: Tách biệt yếu tố hình thức, giao thức và giao diện quang
Ba điều này liên tục được thu gọn thành một quyết định và sự sụp đổ đó là nơi bắt nguồn của hầu hết các bất ngờ về khả năng tương thích. Chúng là các lớp riêng biệt với các tài liệu quản lý riêng biệt.
Yếu tố hình thứcxác định các kích thước cơ học, đầu nối máy chủ, làn đường điện, hành vi quản lý và thiết kế nhiệt. cácQSFP-Thông số phần cứng DD MSAđáp ứng các yêu cầu về cơ, điện và nhiệt, đồng thời các bản sửa đổi sau này mở rộng cùng một cổng máy chủ tám làn-cho các biến thể 800G và 1.6T trong khi vẫn duy trì khả năng tương thích ngược với dòng QSFP. Nếu bạn muốn có nền tảng về cơ khí và quản lý trước khi tiến xa hơn,QSFP-Tổng quan về kỹ thuật của DDbao gồm chính yếu tố hình thức một cách chi tiết.
giao thức- Ethernet, RoCEv2 hoặc InfiniBand - được quyết định bởi NIC, bộ chuyển mạch ASIC, chương trình cơ sở và cấu hình cổng chứ không phải bởi hình dạng của lồng. Mô-đun QSFP{4}}DD không bao giờ được mô tả là "hỗ trợ cả Ethernet và InfiniBand" như một thuộc tính của hệ số dạng. Khả năng đó thuộc về máy chủ và phải được xác nhận tại cổng cụ thể.
Giao diện quang học- DR8, FR4, SR8, LR - mô tả tổ chức làn đường, phạm vi tiếp cận và ứng dụng. Nó không mô tả đầu nối, số lượng sợi, ánh xạ đột phá hoặc tốc độ làn đường điện. Hai mô-đun mang cùng một nhãn quang có thể khác nhau ở mỗi mô-đun đó. Bản thân tín hiệu được xác định bởi IEEE, không phải bởi MSA:IEEE Std 802.3df-2024đã thêm các tham số MAC và các lớp vật lý để hoạt động ở tốc độ 800 Gb/s và các PHY 400 Gb/s bổ sung.
Hành vi quản lý là lớp thứ tư, yên tĩnh hơn. Cả mô-đun QSFP{1}}DD và OSFP đều được quản lý thông qua CMIS và bản sửa đổi quan trọng đối với hành vi cập nhật chương trình cơ sở, lựa chọn ứng dụng và thời gian của mô-đun máy chủ-. Các sửa đổi đã xuất bản được liệt kê trongThỏa thuận thực hiện OIF.
Bước 2: Kích thước mạng từ cổng máy chủ, không phải số lượng GPU
Số lượng GPU cho bạn biết một cụm lớn đến mức nào. Nó không cho bạn biết mạng phải mang theo những gì vì mạng chỉ nhìn thấy giao diện máy chủ.
Hai ví dụ làm cho quan điểm. Hệ thống NVIDIA DGX H100/H200 hiển thị tám giao diện kết cấu điện toán ConnectX-7-với tốc độ lên tới 400 Gb/giây mỗi giao diện - nhưng chúng không phải là tám lồng vật lý. Kiến trúc tham chiếu SuperPOD hiển thị kết cấu điện toán được trình bày thông quabốn bộ thu phát hai{0}}cổng tiếp cận tất cả tám GPU. Ngược lại, DGX B300 thể hiệntám cổng mạng trên khay GPUphục vụ tám giao diện ConnectX-8 với tốc độ lên tới 800 Gb/s. Cùng số lượng GPU, số lượng cổng, số lượng cáp và hóa đơn quang học hoàn toàn khác nhau.
Vì vậy, trước khi bạn xem biểu dữ liệu của một công tắc, hãy ghi tài liệu về từng loại nút: tính toán-các cổng kết cấu, tốc độ cổng, NIC-đến-GPU hoặc ánh xạ đường ray, loại khung gốc, các chế độ giao thức được hỗ trợ, cùng với các giao diện quản lý và lưu trữ riêng biệt. Khoảng không quảng cáo đó, không phải số GPU, là đầu vào cho mọi phép tính tiếp theo.
Tính toán công suất làm việc
Lấy một đơn vị có thể mở rộng gồm 32 nút, mỗi nút có tám cổng vải-điện toán 400G, một cổng trên mỗi thanh ray, trong một thiết kế được tối ưu hóa-đường ray. Làm việc một đường ray tại một thời điểm:
- Dung lượng đường xuống trên mỗi lá đường ray= 32 nút × 1 cổng × 400G =12,8 Tb/giây
- Tỷ lệ 1:1 (không-chặn), dung lượng đường lên yêu cầu=12.8 Tb/s → 12.800 ÷ 800 =Đường lên 16 × 800G
- Lúc 2:1, dung lượng đường lên yêu cầu=6.4 Tb/s →Đường lên 8 × 800G
Sau đó, kiểm tra kết quả dựa trên cơ số chuyển đổi: 32 liên kết xuống cộng với 16 liên kết lên cần 48 cổng có thể sử dụng được trên lá đó, điều này sẽ hạn chế lựa chọn chuyển đổi của bạn ngay lập tức. Thêm các liên kết để dự phòng và bảo trì, đồng thời lặp lại trên mỗi đường ray - tám đường ray, tám nhóm lá chứ không phải một số tổng hợp. Đây là nơi 800G giành được vị trí của mình hoặc không: ở đây nó giảm một nửa số cổng đường lên, đây là đối số cơ số, không phải đối số băng thông.
Các loại vải cây béo cân bằng,-được tối ưu hóa và cân bằng{1}}là mẫu tài liệu NVIDIA dành cho các cụm đào tạo lớn -Kiến trúc tham chiếu DGX H100 SuperPODsử dụng một cây đầy đủ{0}}với tám kết nối điện toán trên mỗi{1}}hệ thống. Việc mẫu đó có phù hợp với khối lượng công việc của bạn hay không là một đánh giá thiết kế, nhưng phương pháp tính toán ở trên vẫn đúng bất kể cấu trúc liên kết.
Bước 3: Lập kế hoạch cho tất cả bốn loại vải, sau đó quay lại các mô-đun
Một cụm AI không phải là một mạng. Các kiến trúc tham chiếu DGX SuperPOD riêng biệttính toán, lưu trữ, quản lý-trong băng tần và quản lý ngoài{1}}ngoài{2}} băng tầncác loại vải và mỗi loại có yêu cầu về cổng và quang học riêng.
cáctính toán vảithực hiện trao đổi gradient, đồng bộ hóa tham số, tập hợp và hoạt động bộ nhớ từ xa. Nó có các yêu cầu về độ trễ, tắc nghẽn và tính đối xứng đường dẫn-nghiêm ngặt nhất và đó là nơi mà đối số 800G-so với 400G thực sự được giải quyết.
cácvải lưu trữmang dữ liệu đào tạo, điểm kiểm tra và đồ tạo tác mô hình. Dung lượng của nó phụ thuộc vào định dạng tập dữ liệu, tốc độ truy cập bộ đệm, tính song song của trình tải dữ liệu-, tần suất điểm kiểm tra và cường độ siêu dữ liệu -, đó là lý do tại sao "400G là đủ để lưu trữ" không phải là mặc định an toàn. Kiến trúc tham chiếu chỉ định hiệu suất lưu trữ ở cấp hệ thống và tách nó ra khỏi kết cấu điện toán một cách chính xác để hai khối lượng công việc không thể gây tổn hại lẫn nhau.
cáctrong-mạng quản lý băng tầnmang theo việc cung cấp, lưu lượng lập lịch, đăng ký, kho lưu trữ và giám sát. cácmạng ngoài{0}}ngoài{1}} băng tầnđến BMC, chuyển đổi cổng quản lý và nguồn điện, đồng thời phải luôn ở trạng thái có thể truy cập được trong khi cơ cấu sản xuất bị hỏng. Hãy coi đó là đường dẫn khôi phục và bảo mật với đường dẫn lên riêng chứ không phải là lưu lượng truy cập tốc độ thấp-còn sót lại.
Đối với việc lựa chọn mô-đun, hệ quả thực tế là như sau: mỗi loại vải đóng góp số cổng riêng, cấu hình khoảng cách riêng và loại lồng riêng và chúng thường khác nhau. Một cụm có thể là OSFP trên điện toán và QSFP{1}}DD trên bộ nhớ và quản lý mà không có bất kỳ sai sót nào.
Bước 4: Chọn 400G hoặc 800G từ một hạn chế, không phải xu hướng
Cổng 800G tăng gấp đôi dung lượng danh nghĩa. Nó không làm giảm lưu lượng mà ứng dụng của bạn tạo ra. Giá trị của nó hầu như luôn là cấu trúc - ít liên kết hơn, hiệu quả cơ số tốt hơn hoặc điểm cuối 800G gốc.
400G vẫn là lựa chọn tốt hơnkhi điểm cuối điện toán thực chất là 400G, kết cấu hiện tại đã đáp ứng mục tiêu chặn của nó, cụm đang phát triển bên trong cơ số có sẵn, mô-đun 400G đủ điều kiện và đế cáp đã tồn tại hoặc các hạn chế về nguồn và làm mát khiến 800G không còn hấp dẫn. Sử dụng 800Gliên kết lênmáy chủ trên 400G vẫn hoàn toàn hợp lý - nhưng biện minh cho điều đó dựa trên số học cổng ở trên chứ không phải từ nhãn.
800G cải tiến thiết kếkhi máy chủ hiển thị giao diện 800G gốc, khi nhiều luồng 400G phải tổng hợp thành ít liên kết cột sống hơn, khi số lượng cổng chuyển đổi là hạn chế ràng buộc hoặc khi chuyển từ 800G sang các giao diện con có tốc độ-thấp hơn sẽ đơn giản hóa quá trình di chuyển. Nói chính xác: 800G có thể giảm số lượng liên kết vật lý hoặc cổng switchtrong các thiết kế trong đó tập hợp và cơ số là những hạn chế hạn chế. Nó không làm như vậy như một quy luật tự nhiên.

Hỗn hợp-Tốc độ di chuyển cần tài liệu rõ ràng
Đột phá là khi các thiết kế-có tốc độ hỗn hợp lặng lẽ thất bại. Các NIC hiện đại giúp điều này có thể định cấu hình thay vì cố định - ConnectX-8 của NVIDIAtài liệu chia cổng-hiển thị một lồng OSFP 800G đang được định cấu hình lại thành hai cổng 400GbE hoặc tám cổng 100GbE, mỗi cổng yêu cầu thay đổi cấu hình cấp chương trình cơ sở-và chu kỳ cấp nguồn. Tính linh hoạt đó chỉ tồn tại khi nhà cung cấp đã thử nghiệm và xuất bản nó.
Vì vậy, kế hoạch di chuyển phải nêu rõ trên mỗi cổng: cổng nào chạy ở tốc độ nào, máy chủ có hỗ trợ chế độ đột phá dự định hay không, tốc độ làn điện ở cả hai đầu, liệu đột phá dựa trên logic, quang hay cáp{0}}, chế độ FEC mà mỗi giao diện con cần, liệu số lượng sợi hiện có và loại đầu nối có thể được sử dụng lại hay không và cách giám sát sẽ xác định từng cổng con. Việc chèn mô-đun tốc độ-thấp hơn không làm cho mọi chế độ máy chủ đều khả dụng.
QSFP-DD so với OSFP
| Yếu tố quyết định | QSFP-DD | OSFP |
|---|---|---|
| Khả năng tương thích gia đình QSFP- | Bản địa, nơi máy chủ hỗ trợ chế độ | Có thể áp dụng cho một số mô-đun thông qua bộ chuyển đổi được xây dựng có mục đích |
| Kích thước mô-đun | Nhỏ hơn | lớn hơn |
| Thiết kế nhiệt | Thiết kế tản nhiệt-nâng cao; xác minh toàn bộ dân số | Tản nhiệt tích hợp hoặc cưỡi ngựa; MSA xác định các lớp quyền lực cao hơn |
| Việc sử dụng hệ thống-AI điển hình | Bộ chuyển mạch Ethernet, nền tảng-tốc độ hỗn hợp | Một số nền tảng GPU và InfiniBand hiệu suất cao |
| Quy tắc quyết định | Ưu tiên khi điểm cuối là vấn đề tái sử dụng QSFP-DD và QSFP gốc | Ưu tiên khi điểm cuối là OSFP gốc hoặc quang học cần đường bao sức mạnh của nó |
Hai tuyên bố cần hạn chế. Đầu tiên, "OSFP không có khả năng tương thích ngược" quá rộng -OSFP MSAghi lại khả năng tương thích QSFP thông qua bộ chuyển đổi chuyên dụng và thông số kỹ thuật mô-đun của nó xác định các loại công suất cao hơn cũng như các tùy chọn tản nhiệt-tích hợp mang lại cho OSFP danh tiếng về nhiệt. Thứ hai, danh tiếng đó là mức trần đặc điểm kỹ thuật chứ không phải là sự đảm bảo. Liệu một khung gầm nhất định có thực sự chạy được các mô-đun loại 30W-trong mỗi lồng hay không tùy thuộc vào thiết kế lồng, hướng luồng khí, nhiệt độ đầu vào, chính sách quạt, mức giảm công suất cổng-lân cận và giới hạn riêng của nhà cung cấp hệ thống.
Đó là lý do tại sao việc xác thực nhiệt-dân số đầy đủ là không thể-thương lượng: một mô-đun đi qua một cổng có thể vượt quá giới hạn nhiệt độ-trong trường hợp của nó khi tất cả 32 hoặc 64 cổng đều sáng và lặp lại khi quạt hoặc nguồn điện bị hỏng. Kiểm tra hệ thống dân cư ở nhiệt độ đầu vào thực tế của bạn.
Nếu máy chủ là OSFP và bộ chuyển đổi là QSFP{0}}DD, hãy chống lại phản xạ tiêu chuẩn hóa. Bộ điều hợp bổ sung thêm khe hở cơ học, luồng không khí, nguồn điện, tính toàn vẹn-tín hiệu, kho hàng và hỗ trợ. Cáp có hệ số chéo-hình dạng{5}}đủ tiêu chuẩn hoặc liên kết quang có PMD và FEC phù hợp ở mỗi đầu thường sạch hơn việc thay thế phần cứng để làm cho hình dạng khớp nhau.

Bước 5: Chọn liên kết theo khoảng cách đo được và sợi hiện có
Công suất và điểm cuối hiện đã cố định tốc độ cổng và lồng. Khoảng cách và nhà máy sợi được lắp đặt sẽ khắc phục mọi thứ khác. Là một hướng dẫn kỹ thuật chứ không phải là một quy tắc, liên kết hợp lệ về mặt kỹ thuật ngắn nhất thường là hoạt động đơn giản nhất - nhưng tính linh hoạt, đường kính cáp, khả năng bảo trì và các yêu cầu về đột phá đều đi ngược lại điều đó.
| Tuyến đường | Tùy chọn điển hình | Xác nhận điều gì |
|---|---|---|
| Giá đỡ nội bộ, rất ngắn | DAC thụ động | Chiều dài chính xác và loại cáp được hỗ trợ ở cả hai đầu; bán kính uốn cong; cân nặng |
| Ngắn nhưng vượt xa đồng thụ động | AEC / ACC | Mất điện, tăng độ trễ, tắc nghẽn luồng khí, chứng nhận của nhà cung cấp, hỗ trợ chế độ cổng |
| Quang ngắn, chiều dài cố định chấp nhận được | AOC | Khả năng bảo trì - một lỗi sẽ thay thế toàn bộ cụm lắp ráp |
| Nhiều chế độ, từ-hàng này sang hàng-kẽ kề | Quang học song song lớp SR{0}} | Cấp sợi và giới hạn tầm với; xem của chúng tôiHướng dẫn giới hạn khoảng cách OM1–OM5 |
| Chế độ đơn, km phụ, cần đột phá | Quang học song song lớp DR{0}} | Kích thước MPO, độ phân cực, đánh bóng APC/UPC, lập bản đồ đột phá |
| Chế độ đơn{0}}, tỷ lệ km | FR-loại song công hoặc song song, tùy thuộc vào sản phẩm | Loại đầu nối thay đổi tùy theo số bộ phận; so sánh cấp sợi -Sợi quang chế độ đơn OS1 và OS2 |
Việc triển khai trình kết nối là một cái bẫy ở đây vì nó không được nhãn quang ngụ ý. Các nhà cung cấp vận chuyển các sản phẩm 800G DR8 có kết nối MPO kép-12 hoặc MPO đơn-16 và các sản phẩm loại FR dài 2 km có MPO song song hoặc LC song công kép. Cả hai biến thể đều hợp pháp; họ cần hệ thống cáp hoàn toàn khác nhau. Trước khi đặt hàng các trung kế, hãy giải quyết cẩn thận câu hỏi về đầu nối - của chúng tôiHướng dẫn lựa chọn MTP và MPObao gồm sự khác biệt về cơ học và phân cực, vàHướng dẫn sử dụng cáp đột phá MPObao gồm việc ánh xạ- quạt mà các cổng đột phá phụ thuộc vào.
Hai mục nữa thuộc về cùng một cuộc trò chuyện. Việc mất kênh phải được tính toán theo thông số kỹ thuật của mô-đun với các đầu nối và mối nối được tính, không được giả định - xemsuy hao chèn tích lũy như thế nào trong mạng cáp quang. Và hệ thống cáp có cấu trúc giữa các hàng sẽ dễ bảo trì hơn khi được xây dựng trên-được kết thúc trướcCáp trung kế MPO/MTPbằng phương pháp phân cực được ghi lại thay vì các lần chạy được tập hợp tại hiện trường. Khi sử dụng liên kết FR song công, các ổ đĩa chất lượng mặt cuối của đầu nối sẽ trực tiếp trả về tổn thất; cáiHướng dẫn kết nối LCbao gồm những gì cần kiểm tra.
Đối với mỗi liên kết, hãy ghi lại: khung máy chủ, tốc độ làn máy chủ, tốc độ cổng được định cấu hình, PMD hoặc loại cáp, đầu nối, loại và số lượng sợi, suy hao kênh tối đa, chế độ FEC, ánh xạ đột phá, mã ứng dụng mô-đun, CMIS và yêu cầu chương trình cơ sở, công suất tối đa và trạng thái đủ tiêu chuẩn. Bản ghi trên mỗi{1} liên kết đó có giá trị hơn bất kỳ quy tắc chung nào về việc quang sẽ đi đâu.

RoCEv2 hoặc InfiniBand: Quyết định điều này một cách độc lập
Lựa chọn giao thức là trực giao với yếu tố hình thức và phải được thực hiện trên cơ sở hoạt động.
RoCEv2phù hợp với các tổ chức đã chạy Ethernet trên quy mô lớn, với các tính năng RoCE đã được xác thực trên nền tảng chuyển mạch và nhóm có thể sở hữu QoS, kiểm soát tắc nghẽn, đo từ xa và cấu hình máy chủ. Thông báo trước là "bật PFC và ECN" không phải là kế hoạch triển khai. Tài liệu Cumulus Linux của NVIDIA mô tảRoCE là một cấu hình phức tạpmở rộng vùng đệm, phân loại lưu lượng, ánh xạ ưu tiên, ngưỡng và lập lịch PFC và ECN, với chế độ không mất dữ liệu sử dụng PFC và ECN cùng nhau và chế độ mất dữ liệu chỉ sử dụng ECN - và lưu ý rằng cấu hình được tạo cho một bộ chuyển mạch tạo ASIC không được chuyển sang bộ chuyển mạch khác.
InfiniBandphù hợp với việc triển khai theo kiến trúc nhà cung cấp đã được xác thực, trong đó việc quản lý kết cấu tích hợp có giá trị và nhóm đã có sẵn công cụ và kiến thức chuyên môn.
Lựa chọn dựa trên hành vi ứng dụng đã được thử nghiệm, kỹ năng vận hành, ranh giới hỗ trợ và thiết kế hệ thống tổng thể. Tỷ lệ phần trăm hiệu suất tiếp thị phụ thuộc vào cấu trúc liên kết, phiên bản phần mềm, kích thước tin nhắn, trạng thái tắc nghẽn và cấu hình NIC và hiếm khi chuyển sang cụm khác.
Xác thực: Những gì cần kiểm tra trước khi mua với số lượng lớn
Thử nghiệm trong phòng thí nghiệm đại diện bao gồm bốn lĩnh vực và thứ tự quan trọng nhất là tính ổn định của liên kết - vì số hiệu suất từ liên kết không ổn định là vô nghĩa.
Đưa ra-:khởi động nguội, khởi động lại ấm, chèn và xóa mô-đun, vô hiệu hóa/bật cổng, tạo và xóa đột phá, đồng thời cả hai đầu đều được khởi động lại theo các trình tự khác nhau.Tính toàn vẹn của tín hiệu:trước-FEC BER, số lượng FEC đã sửa và không thể sửa, lỗi cấp độ làn-, PRBS hoặc BERT khi được hỗ trợ, công suất phát và thu quang, nhiệt độ vỏ mô-đun và số lượng nắp liên kết-khi tải nhiệt.Hiệu suất:thông lượng được duy trì, tập hợp và kích thước thông báo mà công việc của bạn thực sự sử dụng,-lưu lượng truy cập đa đường ray, truyền phát, lưu trữ-cộng với-tranh chấp điện toán đồng thời và thời gian ngâm lâu.Sự thất bại:liên kết đơn, công tắc lá, liên kết trục, khôi phục-chu trình nguồn, thay thế cáp và mô-đun, mất đường dẫn-quản lý.
Ghi lại các ngưỡng chứ không chỉ đạt/không đạt. Các lỗi FEC không thể sửa được sẽ bằng 0 trên một liên kết lành mạnh; pre{1}}tỷ lệ lỗi FEC phải nằm trong giới hạn được chỉ định của mô-đun và duy trì ở đó khi nhiệt độ vỏ máy tăng lên trong quá trình ngâm. Một liên kết có xu hướng tăng lên trong thời gian ngâm 48 giờ là một liên kết sẽ không thành công trong quá trình sản xuất.
Sau đó triển khai theo miền lỗi - một giá, một thanh ray, một cặp lá hoặc một đơn vị có thể mở rộng tại một thời điểm - và theo dõi các thay đổi trạng thái liên kết, số lượng FEC đã sửa và không sửa, nhiệt độ mô-đun, nguồn quang, hoạt động tạm dừng PFC, đánh dấu ECN, tỷ lệ chiếm dụng hàng đợi và thời gian giao tiếp ở cấp độ công việc-. Một liên kết vẫn còn hoạt động vẫn có thể bị xuống cấp; xu hướng nhiệt độ và-đã sửa lỗi tăng lên là cảnh báo sớm nhất mà bạn nhận được.
Ba kịch bản thiết kế
Mở rộng kết cấu Ethernet 400G hiện có.Đã có sẵn bộ chuyển mạch và hệ thống cáp có cấu trúc QSFP-DD 400G đủ tiêu chuẩn; các nút mới hiển thị 400G. Giữ các liên kết đối diện với máy chủ ở mức 400G, chạy tính toán đường lên ở trên để kiểm tra tỷ lệ chặn và chỉ giới thiệu 800G ở những nơi nó mua được hiệu quả của cổng trục. Tái sử dụng cáp quang và cáp quang đủ tiêu chuẩn ở bất cứ nơi nào ngân sách tổn thất cho phép, đồng thời xác thực mọi cấu hình đột phá tốc độ hỗn hợp-trước khi mua. Chuyển đổi cơ số thúc đẩy quyết định này chứ không phải số lượng GPU.
Xây dựng cụm gốc 800G{1}}.Các máy chủ hiển thị 800G gốc. Thực hiện theo cấu trúc liên kết đã được xác thực của nhà cung cấp máy chủ, chọn bộ chuyển mạch có khung gốc phù hợp, xác minh-công suất nhiệt tổng thể ở nhiệt độ đầu vào của bạn, chọn kết nối từ độ dài tuyến đã đo và xác thực từng đột phá và kết hợp FEC trước khi cam kết. Ở đây 800G được chứng minh bằng chính điểm cuối.
Sống với hai yếu tố hình thức.Các máy chủ là OSFP; một phần của thiết bị chuyển mạch Ethernet là QSFP-DD. So sánh các cụm DAC hoặc AOC đa hệ số{2}}hình thức{3}}đủ điều kiện, khả năng tương tác quang học với các lồng khác nhau ở mỗi đầu, bộ chuyển đổi đã được phê duyệt, tác động về nguồn và nhiệt, kho dự phòng và quyền sở hữu hỗ trợ. Việc thay thế hoàn toàn một bên để chuẩn hóa hình dạng mô-đun thường đắt hơn so với việc vận hành một môi trường hỗn hợp được ghi lại.
Bảy sai lầm khiến phải làm lại
- Bắt đầu từ số lượng GPU.Nó không mô tả số lượng NIC, ánh xạ đường ray, tốc độ cổng hoặc đăng ký vượt mức. Tính toán từ giao diện máy chủ.
- Giả sử 800G nhanh hơn cho mọi công việc.Nó chỉ hữu ích khi các điểm cuối, cấu trúc liên kết và mô hình lưu lượng truy cập có thể sử dụng nó. Đánh giá các tập thể bạn thực sự điều hành.
- Coi QSFP-DD như một giao thức.Đó là một cái lồng. Xác thực lồng, giao thức, chế độ điện, quang học và FEC riêng biệt.
- Bỏ qua các loại vải lưu trữ và quản lý.Cơ cấu tính toán nhanh không thể bù đắp cho việc phân phối điểm kiểm tra chậm hoặc BMC không thể truy cập được.
- Đọc nhãn quang như thông số kỹ thuật của cáp.DR8 và FR4 không chỉ định đầu nối, số lượng sợi hoặc thiết kế đột phá. Sử dụng số bộ phận chính xác và sơ đồ cáp.
- Đang kiểm tra một cổng.Toàn bộ luồng không khí và nhiệt độ đầu vào là thử nghiệm thực sự.
- Trích dẫn tỷ lệ phần trăm hiệu suất mà không cần phương pháp.Xuất bản cấu trúc liên kết và phương pháp thử nghiệm hoặc bỏ số.
Xây dựng mô hình TCO mà bạn có thể bảo vệ
Chi phí vốn bao gồm NIC hoặc DPU, thiết bị chuyển mạch lá và cột sống, bộ thu phát, DAC, AEC và AOC, đường trục cáp quang và bản vá, giá đỡ và quản lý cáp, thiết bị kiểm tra và phụ tùng. Chi phí vận hành bao gồm mô-đun và nguồn điện chuyển mạch, làm mát, giám sát, chứng nhận phần mềm cơ sở, đào tạo, nhân công thay thế và hỗ trợ nhà cung cấp. Chi phí rủi ro - những chi phí thường bị bỏ qua - bao gồm lỗi tương thích, độ trễ triển khai, giảm nhiệt, mất ổn định liên kết, nối lại hệ thống cáp, công việc đào tạo bị gián đoạn và thời gian khôi phục kéo dài.
Khả năng tương thích ngược thực sự giúp giảm chi phí nhưng mức tiết kiệm phải được tính toán từ thiết bị cụ thể có thể được tái sử dụng ở tốc độ và chế độ yêu cầu. Chỉ riêng khả năng tương thích-yếu tố hình thức không đảm bảo rằng ASIC, PCB, lồng, hệ thống làm mát, chương trình cơ sở hoặc nguồn điện hiện tại có thể chạy ở thế hệ tiếp theo. Hãy coi việc di chuyển tốc độ trong tương lai là một câu hỏi về nền tảng chứ không phải một câu hỏi về trình kết nối.
Câu hỏi thường gặp
QSFP-DD có phù hợp với cụm đào tạo AI không?
Có, khi nó có nguồn gốc từ công tắc hoặc điểm cuối đã chọn, đáp ứng các yêu cầu về nhiệt ở tổng số cổng và hỗ trợ chế độ cổng và giao diện quang được yêu cầu. Tốc độ dữ liệu danh nghĩa không phải là lý do để chọn nó.
Có bao nhiêu GPU yêu cầu mạng 800G?
Không có ngưỡng GPU. Tính toán từ các cổng mạng trên mỗi máy chủ, tốc độ cổng, ánh xạ đường ray, cấu trúc liên kết, mục tiêu đăng ký vượt mức và lưu lượng ứng dụng - theo phương pháp ở Bước 2 ở trên.
QSFP-DD có tốt hơn OSFP không?
Cả hai đều không tốt hơn. QSFP-DD cung cấp khả năng tương thích dòng QSFP- nguyên bản và chiếm diện tích nhỏ hơn; Đặc tả của OSFP xác định các loại công suất cao hơn và các tùy chọn tản nhiệt-tích hợp, đồng thời nó có nguồn gốc từ một số nền tảng AI hiệu suất cao. Điểm cuối quyết định.
Cổng OSFP có thể sử dụng mô-đun QSFP không?
Một số triển khai OSFP hỗ trợ các mô-đun QSFP thông qua bộ chuyển đổi được phê duyệt, nhưng tất cả khả năng tương thích, nguồn điện, chế độ cổng và hỗ trợ của nhà cung cấp đều cần được xác minh cho nền tảng cụ thể.
QSFP-DD có thể được sử dụng cho cả Ethernet và InfiniBand không?
Yếu tố hình thức không xác định giao thức. Cổng máy chủ, NIC, bộ chuyển mạch, chương trình cơ sở, cáp và bộ thu phát đều phải hỗ trợ chế độ hoạt động dự kiến.
Tôi nên sử dụng bộ thu phát 800G nào?
Bắt đầu từ khoảng cách đo được, lồng điểm cuối, ngắt yêu cầu, loại sợi, đầu nối, tốc độ làn đường, chế độ FEC, cấp công suất và trình độ của nhà cung cấp. Tên giao diện quang tự nó là không đủ.
Khả năng tương thích ngược QSFP-DD có đảm bảo nâng cấp 1.6T dễ dàng không?
Không. Cổng máy chủ có thể chấp nhận mô-đun một cách cơ học trong khi ngân sách ASIC, PCB, lồng, làm mát hoặc nguồn điện không thể hỗ trợ tốc độ làn mới. Xác minh ở cấp nền tảng.
Trước khi bạn ký đơn đặt hàng
Xác nhận lồng điểm cuối ở cả hai đầu của mọi loại liên kết; số lượng và tốc độ của-các cổng vải tính toán trên mỗi nút; bản đồ đường sắt và tỷ lệ đăng ký vượt mức mục tiêu; số cổng lá và cột sống bao gồm cả phần dư thừa; yêu cầu của cả bốn loại vải; chế độ vận hành và đối với RoCE, thiết kế kiểm soát-tắc nghẽn hoàn toàn; tuyến cáp đo được và lựa chọn kết nối kết quả; kết nối, phân cực và ngân sách tổn thất; FEC và chế độ đột phá; nguồn điện của mô-đun chống lại-giới hạn nhiệt của toàn bộ dân số; khả năng tương thích phần sụn và CMIS; tình trạng đủ điều kiện của nhà cung cấp; và kết quả phòng thí nghiệm về BER, hiệu suất, tắc nghẽn, lỗi và thử nghiệm ngâm.
QSFP-DD hỗ trợ tốt kết cấu AI 400G hoặc 800G có thể mở rộng. Nó vẫn chỉ là một thành phần của thiết kế. Bắt đầu với các điểm cuối và mô hình lưu lượng, tính toán cấu trúc liên kết, chọn liên kết vật lý từ khoảng cách đo được và xác thực hệ thống đã lắp ráp trước khi nó thực hiện công việc đào tạo.
Phương pháp và phạm vi
Hướng dẫn này dựa trên ba loại nguồn và chúng được cố tình giữ khác biệt trong văn bản ở trên.Tiêu chuẩn và tài liệu MSA- IEEE 802.3df, thông số kỹ thuật phần cứng QSFP-DD và OSFP MSA cũng như các thỏa thuận triển khai OIF CMIS - xác định các yếu tố hình thức, hành vi báo hiệu và quản lý.Tài liệu nhà cung cấp- Hướng dẫn hệ thống NVIDIA DGX, kiến trúc tham chiếu DGX SuperPOD, ghi chú cấu hình cổng ConnectX{2}}8 và tài liệu Cumulus Linux RoCE - được trích dẫn làm ví dụ dành riêng cho nhà cung cấp, không phải là hành vi chung; các nền tảng khác khác nhau.Hướng dẫn kỹ thuật- lời khuyên về trình tự, ưu tiên cho các liên kết ngắn hơn, ngưỡng xác thực - là các đề xuất hoạt động được rút ra từ thực tiễn triển khai và được gắn nhãn như vậy thay vì được trình bày dưới dạng thông số kỹ thuật.