Thiết kế mạng cụm AI: Cột sống-Lá, RoCE & NIC

Thiết kế mạng cụm AI là quá trình định cỡ NIC máy chủ GPU, băng thông-cột lá, tỷ lệ đăng ký vượt mức, cài đặt RoCE, quang học và cáp để lưu lượng đào tạo phân tán vẫn có thể dự đoán được khi quy mô cụm. Nếu mắc phải bất kỳ lỗi nào trong số này, mạng - chứ không phải GPU - sẽ trở thành nút thắt cổ chai.

Tại sao mạng cụm AI lại khác biệt

Trong trung tâm dữ liệu doanh nghiệp truyền thống, mạng xử lý kết hợp lưu lượng truy cập của người dùng miền bắc{0}}miền nam, quyền truy cập bộ nhớ, ảo hóa và quản lý. Giao thông phía Đông{2}}tây tồn tại nhưng hiếm khi chiếm ưu thế. Trong một cụm AI, tình thế lại đảo ngược. Các máy chủ GPU chạy gradient trao đổi đào tạo phân tán và đồng bộ hóa các tham số trong mỗi bước của công việc. Giao tiếp này là một phần của quá trình tính toán, không phải là tác dụng phụ của nó.

Nếu một GPU trị giá 30.000 USD dành 30% thời gian chờ trên mạng trong tất cả-các hoạt động giảm bớt thì cụm sẽ phải trả 30% công suất tính toán của nó một cách hiệu quả để không hoạt động. Đó là lý do kinh tế khiến mạng lưới AI nhận được nhiều sự chú ý đến vậy.

Ba đặc điểm khối lượng công việc thúc đẩy thiết kế:

• Giao thông đông{0}}tây bùng nổ.Các hoạt động giao tiếp tập thể như tất cả-giảm, tất cả-thu thập và giảm-phân tán tạo ra các đợt đồng bộ hóa trên nhiều nút cùng một lúc.
• Độ nhạy-độ trễ đuôi.Một nút chậm duy nhất sẽ trì hoãn toàn bộ bước huấn luyện. Độ trễ có thể dự đoán được quan trọng hơn độ trễ trung bình.
• Mở rộng quy mô-tăng trưởng.Các cụm bắt đầu từ 32 GPU thường tăng lên 256 hoặc 1.024 trong vòng 18 tháng. Vải phải co giãn mà không cần thiết kế lại.

Tại sao Spine-Lá lại phù hợp với cụm AI

Lá cột-là kết cấu tiêu chuẩn cho các trung tâm dữ liệu siêu quy mô vì nó cung cấp cho mọi đường dẫn máy chủ-đến-máy chủ cùng số bước nhảy và cùng một băng thông lý thuyết. Đối với khối lượng công việc AI, tính đồng nhất này trực tiếp chuyển thành thời gian các bước đào tạo dễ dự đoán hơn.

Trong cấu trúc liên kết lá cột,{0}}các máy chủ GPU kết nối với các nút chuyển lá và mỗi lá kết nối với mọi cột sống. Mọi giao tiếp GPU-với-GPU đều đi qua chính xác một lá, một cột sống và một lá nữa. Không có lớp tổng hợp nào đưa ra độ trễ hoặc điểm nghẽn thay đổi.

Độ trễ có thể dự đoán được

Các luồng định tuyến trải rộng-nhiều đường dẫn-chi phí bằng nhau (ECMP) trên các thiết bị chuyển mạch cột sống. Khi được định cấu hình chính xác với định tuyến thích ứng hoặc cân bằng tải động, điều này sẽ ngăn chặn xung đột băm khiến một số luồng chậm hơn nhiều so với các luồng khác - một vấn đề đã biết trong các loại vải ECMP tĩnh mang ít luồng nhưng lớn, đó chính xác là những gì quá trình đào tạo AI tạo ra.

Băng thông chia đôi cao

Băng thông chia đôi là thông lượng có sẵn giữa hai nửa bằng nhau bất kỳ của cụm. Việc đào tạo AI được hưởng lợi từ các thiết kế không-chặn hoặc gần{2}}không-chặn trong đó dung lượng đường lên từ lá-đến-spins bằng hoặc gần bằng công suất đường xuống đối diện với máy chủ. IETF định nghĩa và thảo luận về các khái niệm này trongRFC 7938, bao gồm các loại vải Clos được định tuyến-BGP được sử dụng rộng rãi trong các trung tâm dữ liệu quy mô-lớn.

Mở rộng quy mô dễ dàng hơn-

Thêm nhiều lá để thêm nhiều máy chủ. Thêm nhiều gai hơn để tăng thêm băng thông chia đôi. Đối với các cụm có số lượng lớn hơn vài nghìn GPU, cấu trúc liên kết siêu{2}}sống (Clos giai đoạn 5{{4}) hoặc cấu trúc liên kết được tối ưu hóa cho đường ray sẽ mở rộng thêm một lớp nguyên tắc tương tự.

Các thành phần cốt lõi của Mạng cụm AI

Máy chủ GPU và NIC

NIC là nơi kết cấu gặp máy chủ. Trong cụm AI, việc lựa chọn NIC điều khiển mọi thứ ở hạ lưu - tốc độ cổng chuyển mạch, lựa chọn quang học và mật độ cáp.

Tiêu chí lựa chọn khối lượng công việc AI:

• Tốc độ cổng:200G, 400G hoặc 800G mỗi cổng. Phù hợp với thế hệ GPU và băng thông PCIe.
• Thế hệ PCIe:NIC 400G cần có PCIe Gen5 x16 để tránh tình trạng điều tiết phía máy chủ. Giới hạn PCIe Gen4 x16 ở mức ~256 Gbps có thể sử dụng được.
• Hỗ trợ RDMA và RoCEv2:Cần thiết để hạt nhân-bỏ qua các thư viện giao tiếp GPU như NCCL.
• GPUDirect RDMA:Cho phép GPU trực tiếp-đến-NIC DMA, loại bỏ các bản sao bộ nhớ máy chủ.
• Khả năng đa{0}}đường ray:Nhiều máy chủ AI sử dụng 4 hoặc 8 NIC cho mỗi nút, một NIC cho mỗi cặp GPU, dành cho các cấu trúc liên kết-được tối ưu hóa cho đường ray.

Một máy chủ 8 GPU thông thường ngày nay sử dụng 4× 400G NIC (một trên hai GPU) hoặc 8× 400G NIC (một trên mỗi GPU) tùy thuộc vào khối lượng công việc và ngân sách. Kiến trúc tham khảo từTài liệu về mạng NVIDIAbao gồm sự cân bằng thiết kế một cách chi tiết.

Công tắc lá và cột sống

Tiêu chí lựa chọn chuyển đổi cho vải AI khác với lựa chọn của doanh nghiệp. Kích thước bộ đệm, hành vi kiểm soát tắc nghẽn và đo từ xa quan trọng hơn độ rộng của tính năng.

• Trên-tốc độ và cơ số cổng:Bộ chuyển mạch ASIC 51,2 Tbps cung cấp cổng 64 × 800G hoặc cổng 128 × 400G. Radix xác định độ phẳng của vải.
• Kiến trúc bộ đệm:Bộ đệm sâu hấp thụ các đợt phát sóng nhưng lại tăng thêm độ trễ. Bộ đệm nông giúp giảm độ trễ nhưng yêu cầu kiểm soát tắc nghẽn chính xác.
• Bộ tính năng RoCE:Đánh dấu ECN, PFC, DCQCN hoặc kiểm soát tắc nghẽn tương đương và xử lý thích hợp các hàng đợi ưu tiên-đến-end.
• Đo từ xa:Đo từ xa mạng trong băng thông (INT), báo cáo-độ sâu hàng đợi và bộ đếm độ phân giải micro giây{1}}cho các dấu ECN và tạm dừng PFC.

Cáp quang, DAC và AOC

Ở mức 400G và 800G, nhà máy cáp trở thành một vấn đề kỹ thuật thực sự. Các yếu tố hình thức, ngân sách liên kết và cấu hình đột phá đều cần lập kế hoạch sớm.

• DAC (Đồng gắn trực tiếp):Lên đến ~3 mét cho 400G, chi phí thấp nhất và công suất thấp nhất. Nặng và cồng kềnh ở quy mô.
• AOC (Cáp quang chủ động):Lên đến ~30 mét, mỏng hơn DAC nhưng có chiều dài-cố định và tiêu thụ năng lượng quang học ở cả hai đầu.
• Quang học có thể cắm:Yêu cầu vượt quá khoảng cách AOC. QSFP-Hệ số dạng DD và OSFP chiếm ưu thế ở 400G/800G. Các cụm sợi MPO/MTP xử lý các kết nối sợi quang-song song.

Đối với các liên kết-giá đỡ và cáp có cấu trúc ở tốc độ 400G/800G, cáp quang song song qua các đầu cuối MPO hiện là tiêu chuẩn. Việc lựa chọn giữa cáp trung kế và cụm đột phá tùy thuộc vào việc phân bổ cổng chuyển mạch của bạn -, hãy xem phần của chúng tôiHướng dẫn sử dụng cáp đột phá MPOcho logic lựa chọn thực tế và rộng hơnSo sánh trung kế MPO và đột phákhi lập kế hoạch chạy từ lá-đến-cột sống.

RoCE và Ethernet không mất dữ liệu trong kết cấu AI

RoCEv2 (RDMA qua Ethernet hội tụ v2) là phương thức truyền tải Ethernet chiếm ưu thế dành cho khối lượng công việc AI. Nó cho phép các NIC di chuyển dữ liệu trực tiếp giữa các vùng bộ nhớ GPU mà không cần liên quan đến kernel ở cả hai đầu. NCCL, thư viện giao tiếp GPU làm cơ sở cho hầu hết các khung đào tạo phân tán, sử dụng RoCEv2 khi InfiniBand không khả dụng.

RoCE hoạt động tốt khi được cấu hình đúng. Nó thất bại nặng nề khi cấu hình không chính xác. cácHiệp hội Thương mại InfiniBandxuất bản các thông số kỹ thuật của RoCE và hầu hết các nhà cung cấp NIC cũng như bộ chuyển mạch đều xuất bản các hướng dẫn cấu hình chi tiết cần được tuân thủ từ đầu đến cuối.

Tại sao hành vi lossless lại quan trọng

RDMA được thiết kế với giả định vận chuyển không tổn hao. Khi các gói bị mất, việc khôi phục RDMA tốn kém - go-back-Việc truyền lại N có thể trì hoãn bước huấn luyện trong một phần nghìn giây, một con số rất lớn so với ngân sách RDMA ở quy mô micro giây-.

Để gần đúng hành vi không mất dữ liệu trên Ethernet, kết cấu sử dụng hai cơ chế hoạt động cùng nhau:

• PFC (Điều khiển luồng ưu tiên, IEEE 802.1Qbb):Một switch tạm dừng lưu lượng truy cập đến trên một hàng đợi ưu tiên cụ thể khi bộ đệm của nó đầy. Đây là cơ chế-cuối cùng.
• ECN (Thông báo tắc nghẽn rõ ràng, RFC 3168):Chuyển mạch đánh dấu các gói khi hàng đợi đạt đến ngưỡng. NIC giảm tốc độ gửi của nó trước khi bộ đệm thực sự lấp đầy, lý tưởng nhất là tránh hoàn toàn PFC.

Mục tiêu là để ECN thực hiện hầu hết mọi công việc quản lý tắc nghẽn, với PFC là mạng lưới an toàn. Nếu bạn thấy PFC thường xuyên tạm dừng trong lưu lượng truy cập ở trạng thái{1}}ổn định thì ngưỡng ECN của bạn sai hoặc vải của bạn có kích thước nhỏ hơn.

Các lỗi triển khai RoCE thường gặp

Cách thiết kế mạng cụm AI: Khung làm việc

Đây là phần mà hầu hết các bài viết về "mạng AI" đều bỏ qua. Bảy bước dưới đây cung cấp cho bạn đầu vào và đầu ra cụ thể ở từng giai đoạn.

Bước 1: Xác định khối lượng công việc và quy mô

Đầu vào:Loại khối lượng công việc (đào tạo trước,{0}}tinh chỉnh, suy luận, kết hợp), số lượng GPU mục tiêu hôm nay, số lượng GPU mục tiêu trong 18 tháng, phạm vi kích thước mô hình.

Đầu ra:Cấu hình khối lượng công việc thông báo tốc độ NIC và dung sai đăng ký vượt mức. Việc đào tạo trước trên quy mô lớn đối với các mô hình biên giới yêu cầu loại vải 400G+ không chặn. Tinh chỉnh-khối lượng công việc có thể chấp nhận tỷ lệ đăng ký vượt mức 2:1. Các cụm suy luận thường cần băng thông thấp hơn nhưng độ trễ đuôi thấp hơn.

Bước 2: Chọn tốc độ và số lượng NIC trên mỗi máy chủ

Logic quyết định:

• Huấn luyện trước các mô hình lớn, máy chủ 8 GPU → 4–8× 400G NIC trên mỗi máy chủ hoặc 4× 800G
• Đào tạo ở quy mô-trung bình, máy chủ 8 GPU → 2–4× 400G NIC trên mỗi máy chủ
• Phân phối suy luận → 1–2× 200G hoặc 400G NIC trên mỗi máy chủ, tùy thuộc vào tính song song của mô hình

Xác minh băng thông PCIe trên máy chủ. Một cổng 400G duy nhất yêu cầu PCIe Gen5 x16 để chạy ở tốc độ đường truyền; tăng gấp đôi lên 800G yêu cầu Gen6 hoặc chia thành hai khe.

Bước 3: Kích thước Layer Lá

Ví dụ hoạt động - 32-cụm nút, 8 GPU mỗi nút, 4× 400G NIC mỗi nút:

• Tổng số cổng đối diện máy chủ cần có: 32 × 4=128 cổng ở 400G
• Băng thông đường xuống trên mỗi nút: 4 × 400=1.6 Tbps
• Tổng băng thông đường xuống của cụm: 32 × 1.6=51.2 Tbps

Sử dụng switch lá 64 cổng 400G (tổng công suất 25,6 Tbps), mỗi lá có thể kết nối 32 cổng máy chủ và sử dụng 32 cổng còn lại làm đường lên. Với 4 lá, bạn bao phủ tất cả 128 cổng máy chủ. Mỗi lá đóng góp 32 × 400G=12.8 Tbps đường lên về phía cột sống.

Bước 4: Kích thước lớp cột sống

Đối với thiết kế không-chặn (1:1), tổng dung lượng đường lên phải bằng tổng dung lượng đường xuống. Từ Bước 3:

• Tổng số lá đường lên được yêu cầu: 4 lá × 12,8 Tbps=51.2 Tbps
• Nếu mỗi cột sống có cổng 32× 400G=12.8 Tbps thì bạn cần 4 cột sống
• Mỗi lá kết nối với tất cả 4 gai bằng 8 đường lên trên mỗi gai (8 × 400G × 4=12.8 Tbps trên mỗi lá - trận đấu)

Nếu sử dụng bộ chuyển mạch cột sống 64 cổng 400G, mỗi cột sống có dung lượng dự phòng để phát triển cụm, hữu ích cho kế hoạch 18 tháng kể từ Bước 1.

Bước 5: Đặt tỷ lệ đăng ký vượt mức

Bước 6: Lưu lượng tính toán, lưu trữ và quản lý riêng biệt

Ba lựa chọn, theo thứ tự tăng độ cô lập:

• Cấu trúc được chia sẻ với các lớp QoS:Tính toán, lưu trữ và quản lý theo các ưu tiên DSCP riêng biệt. Chi phí thấp nhất; yêu cầu cấu hình QoS cẩn thận.
• Các Vlan/VRF được phân tách hợp lý:Phần cứng giống nhau, mặt phẳng điều khiển riêng biệt. Hữu ích cho các cụm-nhiều đối tượng thuê.
• Các loại vải riêng biệt về mặt vật lý:NIC, bộ chuyển mạch và cáp chuyên dụng để tính toán và lưu trữ. Chi phí cao nhất; phổ biến trong các cụm mô hình biên giới-nơi mà bất kỳ sự tranh chấp nào đều không được chấp nhận.

Bản thân lưu lượng lưu trữ dành cho AI rất nặng - điểm kiểm tra ghi cho một mô hình lớn có thể di chuyển hàng trăm gigabyte trong thời gian ngắn. Lập kế hoạch cho nó một cách rõ ràng. Nhà máy cáp có cấu trúc mật độ-cao sử dụngCáp trung kế MPO/MTPđơn giản hóa việc chạy các kết cấu song song trong cùng cơ sở hạ tầng vật lý.

Bước 7: Xác thực trước khi sản xuất

Kiểm tra cấp độ mạng- phát hiện ra một số vấn đề. Các bài kiểm tra cấp độ-khối lượng công việc sẽ nắm bắt được phần còn lại.

• Băng thông:iperf3 hoặc ib_send_bw giữa mỗi cặp nút; sẽ đạt trên 90% tốc độ đường truyền NIC.
• Độ trễ:ib_read_lat hoặc tương tự; kiểm tra phân phối, không chỉ trung bình. P99.9 quan trọng hơn mức trung bình.
• Mất gói:Chạy thử nghiệm ngâm trong 24-giờ dưới tải; bất kỳ tổn thất nào khác 0 trong lớp lưu lượng RoCE đều là một vấn đề.
• Hành vi đánh dấu ECN:Xác minh các dấu hiệu xuất hiện trước khi PFC kích hoạt; nếu việc tạm dừng PFC thường xuyên ở trạng thái ổn định, hãy điều chỉnh lại.
• Truyền thông tập thể:Chạy thử nghiệm NCCL (all_reduce_perf, all_gather_perf) ở kích thước cụm đầy đủ. So sánh với số tham chiếu của nhà cung cấp.
• Bài kiểm tra cấp độ công việc-:Thực hiện công việc đào tạo đại diện trong 4–6 giờ. Xem mức sử dụng GPU - duy trì ở mức dưới 50% trên một mô hình có kích thước- phù hợp thường cho thấy có sự cố mạng.

Mạng trung tâm dữ liệu truyền thống và AI Spine-Leaf Fabric

Ethernet RoCE vs InfiniBand: Hướng dẫn quyết định nhanh

Câu hỏi này xuất hiện trong hầu hết các dự án cụm AI. Cả hai đều hoạt động. Sự lựa chọn thường phụ thuộc vào sự phù hợp trong vận hành chứ không phải hiệu suất thuần túy.

• Chọn InfiniBand nếu:Nhóm của bạn đã vận hành kết cấu InfiniBand, bạn muốn có con đường đơn giản nhất để truyền tải không tổn thất hoặc bạn đang mua một-cấu trúc tham chiếu nhà cung cấp được tích hợp đầy đủ.
• Chọn Ethernet RoCE nếu:Nhóm vận hành của bạn là người gốc Ethernet, bạn muốn có nhiều tùy chọn chuyển đổi từ nhiều nhà cung cấp, bạn cần tích hợp kết cấu AI với các mạng trung tâm dữ liệu hiện có hoặc bạn dự kiến ​​sẽ mở rộng quy mô vượt xa những gì cấu trúc liên kết InfiniBand hiện tại hỗ trợ một cách rõ ràng.

Hiệp hội Ultra Ethernet, được thành lập vào năm 2023, đang tích cực làm việc để tiêu chuẩn hóa các cải tiến Ethernet dành riêng cho khối lượng công việc AI. Đối với hầu hết các cụm mới vào năm 2026, Ethernet RoCE là một mặc định có thể bảo vệ được trừ khi có lý do cụ thể để chọn khác.

Những sai lầm phổ biến cần tránh

Nâng cấp Switch mà không cần kiểm tra NIC

Cấu trúc chuyển mạch 800G sẽ không giúp ích được gì cho bạn nếu NIC của bạn chạy ở tốc độ 400G hoặc PCIe máy chủ của bạn hết băng thông. Thiết kế phía máy chủ trước, sau đó là phía switch. PCIe Gen5 x16 giới hạn một cổng ở tốc độ thực khoảng 504 Gbps-thông lượng thế giới - thoải mái cho 400G, cận biên cho 800G.

Tối ưu hóa tốc độ cổng nhưng bỏ qua mật độ cáp

Tại 64-cổng 400G rời đi, hệ thống cáp dưới mỗi bộ chuyển mạch có thể không thể quản lý được về mặt vật lý nếu không có kế hoạch. Sử dụng cáp đột phá khi thích hợp, định tuyến sợi quang qua các đường dẫn có cấu trúc và tiêu chuẩn hóa các loại đầu nối. Chất lượng đầu nối và vấn đề kết cuối ở tốc độ cao - của chúng tôihướng dẫn các loại đầu nối cáp quangbao gồm sự cân bằng giữa LC, MPO và các hệ số dạng mật độ-cao mới nổi.

Coi RoCE là Plug{0}}và-Play

Lỗi thiết kế lớn nhất trong các cụm AI thực tế là không chọn sai công tắc - mà là đánh giá thấp mức độ-đến{2}}công việc cấu hình RoCE từ đầu đến cuối cần thiết. Dành thời gian để điều chỉnh ngưỡng ECN, mức độ ưu tiên của PFC và tính nhất quán của MTU. Lập kế hoạch cho một giai đoạn xác nhận chuyên dụng trước khi chạy bất kỳ khối lượng công việc sản xuất nào.

Trộn tất cả lưu lượng truy cập trên một kết cấu mà không có QoS

Sao chép bộ nhớ, giám sát tác nhân và lưu lượng quản lý có thể phá hỏng thời gian thực hiện các bước đào tạo nếu chúng chia sẻ bộ đệm với lưu lượng điện toán. Tách chúng về mặt vật lý hoặc thực thi các lớp QoS nghiêm ngặt với mức độ ưu tiên và cấu hình ECN riêng biệt.

Chỉ xây dựng cho cụm ngày nay

Hầu hết các cụm AI đều tăng trưởng 4–8× trong vòng hai năm kể từ lần triển khai đầu tiên. Chọn cơ số công tắc và dung lượng cột sống cho phép mở rộng-không bị gián đoạn. Việc kéo cáp trong trung tâm dữ liệu AI trực tiếp rất tốn kém; lập kế hoạch đường dẫn và công suất vá tại thời điểm triển khai là rẻ.

Khi nào nên tăng từ 400G lên 800G

NIC và bộ chuyển mạch 800G có sẵn nhưng đắt hơn trên mỗi cổng. Hãy cân nhắc việc tăng cường khi:

• Mỗi-nhu cầu băng thông GPU vượt quá mức 400G có thể cung cấp - ví dụ: H100 và các GPU mới hơn có NVLink 5 yêu cầu băng thông bên ngoài cao hơn
• NCCL đều-giảm quy mô thời gian kém theo kích thước cụm, biểu thị độ bão hòa mạng
• Mật độ cáp ở 400G đang trở nên không thể quản lý được về mặt vật lý - ít cổng 800G hơn có thể thay thế nhiều cổng 400G hơn
• Thế hệ GPU tiếp theo trong lộ trình của bạn dự kiến ​​sẽ cần nó trong thời gian khấu hao của cụm
• Bạn đang xây dựng một cụm đào tạo mô hình-biên giới trong đó mọi thời gian nhàn rỗi tính toán đều tốn kém hơn đáng kể so với việc nâng cấp quang học

Đối với hầu hết các cụm sản xuất vào năm 2026, 400G vẫn là sự cân bằng phù hợp giữa chi phí, sự trưởng thành của hệ sinh thái và khả năng. 800G có ý nghĩa ở phân khúc cao cấp và là khoản đầu tư chuyển tiếp cho các cụm đang được xây dựng hiện nay và dự kiến ​​sẽ hoạt động trong 4–5 năm.

Phần kết luận

Mạng cụm AI mạnh nhất không phải là mạng có tốc độ chuyển mạch nhanh nhất. Đây là nơi mà sự lựa chọn NIC, kích thước lá/cột sống, đăng ký vượt mức, cấu hình RoCE, phân tách lưu lượng và cáp vật lý đều hỗ trợ lẫn nhau và khối lượng công việc mà chúng được chọn.

Bắt đầu từ khối lượng công việc và kế hoạch tăng trưởng trong 18{3}}tháng. Tính toán nhu cầu băng thông ở mỗi lớp bằng cách sử dụng số thực chứ không chỉ theo quy tắc ngón tay cái. Định cấu hình RoCE end-to{6}}end và xác thực bằng các điểm chuẩn giao tiếp chung thực tế. Ngân sách dành cho nhà máy cáp - ở mức 400G và 800G, lớp vật lý không còn tầm thường nữa.

Cụm giữ cho GPU của nó bận rộn ở mức sử dụng hơn 95% qua mỗi bước đào tạo là cụm chú ý đến tất cả các lớp này. Cụm đi kèm với công tắc nhanh hơn và kết cấu chậm hơn sẽ mất nhiều năm để giải thích lý do GPU không hoạt động.

Đọc thêm

• RFC 7938 - BGP trong Trung tâm dữ liệu quy mô-lớn
• Thông số kỹ thuật của Hiệp hội Thương mại InfiniBand - RoCE
• Tài liệu mạng NVIDIA
• Hướng dẫn lắp đặt cáp quang
• Giải thích về tổn thất chèn và mất mát trả lại