Trong cụm GPU, mạng không phải là lớp hỗ trợ -, mạng quyết định liệu các bộ tăng tốc đắt tiền sẽ tính toán hay ngồi chờ dữ liệu. Mạng cụm AI trực tiếp định hình tốc độ đào tạo, mức sử dụng GPU và thời gian hoàn thành công việc, đồng thời nó hoạt động rất khác so với mạng trung tâm dữ liệu có mục đích chung. Hướng dẫn này bao gồm cách thiết kế kết cấu không mất dữ liệu cho khối lượng công việc GPU: cấu trúc liên kết, cấu hình RoCEv2, cáp và quang 400G/800G cũng như xác thực để tách kết cấu vượt qua bài kiểm tra băng thông khỏi kết cấu thực sự hoàn thành công việc đào tạo đúng thời hạn.
Thiết kế mạng cụm AI
Cấu trúc cụm AI được xây dựng tốt-phân tách lưu lượng truy cập giao diện người dùng và phụ trợ, sử dụng cấu trúc liên kết cột lá-không bị chặn hoặc{2}}đăng ký quá mức thấp cho phụ trợ, chạy RoCEv2 với PFC, ECN và DCQCN được điều chỉnh để ECN hoạt động trước PFC, phân tán các luồng lớn với cân bằng tải nhận biết tắc nghẽn thay vì chỉ ECMP mặc định, chuẩn hóa trên 400G ngay hôm nay với đường dẫn rõ ràng tới 800G và được xác thực bằng phương pháp đo từ xa tương quan với AI-như lưu lượng truy cập chung - chứ không chỉ là các bài kiểm tra thông lượng đơn giản.
Sơ lược về thiết kế mạng cụm AI
| Phán quyết | Mặc định được đề xuất |
|---|---|
| Miền lưu lượng truy cập | Vải mặt trước và mặt sau riêng biệt |
| Cấu trúc liên kết phụ trợ | Lá-cột sống, không-chặn hoặc đăng ký vượt mức thấp |
| Chuyên chở | RoCEv2 với PFC + ECN + DCQCN |
| Cân bằng tải | Tắc nghẽn-nhận biết/động, không chỉ ECMP mặc định |
| Tốc độ cổng | Hiện tại là 400G, với kế hoạch di chuyển 800G |
| Xác thực | Lưu lượng đo từ xa cộng với lưu lượng tập thể (NCCL), không chỉ iperf |

Mạng cụm AI là gì?
Mạng cụm AI là kết cấu hiệu suất cao-kết nối các máy chủ GPU, bộ lưu trữ, nút quản lý và đôi khi là nhiều miền trung tâm dữ liệu để đào tạo hoặc suy luận. Một cụm duy nhất mang một số loại lưu lượng truy cập - GPU-đến-GPU, RDMA giữa các máy chủ, đọc và ghi bộ nhớ, nhập dữ liệu, điểm kiểm tra, ghi nhật ký và điều phối - nhưng phần nhạy cảm nhất về hiệu suất-là cấu trúc đào tạo phụ trợ mang lưu lượng GPU-đến-GPU trong quá trình đào tạo phân tán. Khi kết cấu đó chậm hoặc không thể đoán trước, GPU sẽ chờ thay vì tính toán.
Đó là lý do tại sao kết cấu AI được đánh giá khác với mạng trung tâm dữ liệu thông thường. Băng thông thô cũng quan trọng, nhưng tính nhất quán về độ trễ, hành vi tắc nghẽn, mất gói, độ sâu đo từ xa, cấu trúc liên kết và thậm chí cả mức tiêu thụ năng lượng quang cũng quan trọng không kém.
Tại sao khối lượng công việc AI lại gây căng thẳng cho mạng một cách khác nhau
Đào tạo phân tán đồng bộ hóa liên tục
Các mô hình lớn huấn luyện trên nhiều GPU trao đổi độ dốc và kích hoạt theo các pha phối hợp - các mẫu tập thể như Tất cả-Giảm và Tất cả-thành-Tất cả. Hậu quả thật rõ ràng: con đường chậm nhất có thể trì hoãn toàn bộ bước huấn luyện. Ngay cả khi 99% liên kết hoạt động tốt thì một liên kết-đến- cột sống bị tắc nghẽn có thể biến GPU thành một thứ chậm trễ mà mọi người khác phải chờ đợi.
Độ trễ đuôi gây lãng phí GPU chứ không phải độ trễ trung bình
Độ trễ trung bình là thước đo sai ở đây. Vì bước đồng bộ hóa chờ GPU cuối cùng đến nên một số gói bị trì hoãn có thể cản trở toàn bộ công việc. Trên cụm 256-GPU, một liên kết trục nóng duy nhất bổ sung độ trễ cuối cho một đường ray có thể làm giảm mức sử dụng trong toàn bộ công việc.
Lưu lượng truy cập AI được tạo thành từ dòng voi
Mạng truyền thống xử lý nhiều luồng nhỏ; Các cụm AI tạo ra một số luồng-GPU-đến-GPU lớn và lâu dài. Hàm băm ECMP mặc định phân phối các luồng chứ không phải byte, do đó, khi một số con voi chuyển hàm băm vào cùng một giá-đến-liên kết cột sống, liên kết đó sẽ chuyển sang trạng thái nóng trong khi các liên kết song song không hoạt động - tạo ra sự tích tụ hàng đợi, độ trễ tăng đột biến và cuối cùng giảm xuống. Tốc độ cổng cao hơn không tự khắc phục được vấn đề này: liên kết 400G vẫn bị tắc nghẽn nếu voi truyền hàm băm kém vào đó.
Mất gói đặc biệt tốn kém
TCP thông thường chấp nhận mất mát; RDMA dựa trên RoCEv2- thì không. Cấu trúc dự kiến sẽ hoạt động ở mức suy hao-thấp hoặc không tổn hao và sự sụt giảm trong quá trình tắc nghẽn có thể làm giảm hiệu suất RDMA. Đây là toàn bộ lý do khiến kết cấu RoCEv2 cần kỹ thuật không mất dữ liệu có chủ ý thay vì chuyển tiếp nỗ lực tối đa.
Yêu cầu cốt lõi đối với Mạng cụm AI
Một kết cấu phụ trợ tốt phải đáp ứng một số yêu cầu cùng một lúc: băng thông chia đôi cao để nhiều GPU có thể giao tiếp đồng thời mà kết cấu không trở thành nút thắt cổ chai; thấpvà có thể dự đoán đượcđộ trễ, vì tình trạng tắc nghẽn thỉnh thoảng tăng đột biến cũng có hại như độ trễ trung bình cao; truyền tải không mất dữ liệu hoặc gần như{0}}không mất dữ liệu cho RoCEv2; một cấu trúc liên kết có thể mở rộng mà không cần xếp chồng lên các bước nhảy và dây cáp; và tầm nhìn hoạt động sâu sắc. Ở điểm cuối cùng - mà không có phép đo từ xa, các nhóm thường xuyên chẩn đoán nhầm sự cố tắc nghẽn mạng là sự cố GPU hoặc tính toán và mất nhiều ngày để truy tìm sai lớp.
Kiến trúc mạng cụm AI: Frontend và Backend Fabric
Quyết định ban đầu có kết quả quan trọng nhất là liệu có nên tách mạng giao diện người dùng khỏi cơ cấu đào tạo phụ trợ hay không. Giao diện người dùng cung cấp quyền truy cập, quản lý, điều phối, giám sát, ghi nhật ký, truy cập bộ nhớ, nhập dữ liệu và chuyển điểm kiểm tra của người dùng - nó có thể trông giống như một mạng trung tâm dữ liệu thông thường, mặc dù việc lưu trữ và điểm kiểm tra vẫn yêu cầu thông lượng thực. Phần phụ trợ dành riêng cho lưu lượng đào tạo GPU-đến{4}}GPU và được tối ưu hóa cho RDMA, độ trễ thấp, truyền tải không tổn hao và băng thông có thể dự đoán được.
Sự tách biệt này không phải là lý thuyết. Tác phẩm được xuất bản của Meta trênMạng RoCE để đào tạo AI phân tán trên quy mô lớnmô tả chính xác sự phân chia này: mạng giao diện người dùng dành cho các tác vụ như nhập dữ liệu, điểm kiểm tra và ghi nhật ký cũng như kết cấu RoCEv2 phụ trợ chuyên dụng kết nối các NIC RDMA trong kiến trúc không{1}}chặn để giao tiếp GPU. Của họBài viết SIGCOMM 2024 về RDMA qua Ethernet ở quy mô Metaxây dựng ý tưởng tương tự như nguyên tắc thiết kế: trước tiên hãy hiểu khối lượng công việc, sau đó tách việc đào tạo GPU thành mạng phụ trợ riêng để nó có thể phát triển và mở rộng quy mô một cách độc lập.
Tại sao điều này mang lại hiệu quả: việc tách các miền cải thiện khả năng dự đoán hiệu suất, xử lý sự cố rõ ràng, tách biệt và điều chỉnh-kiểm soát tắc nghẽn. Nếu lưu trữ, quản lý và đào tạo đều dùng chung một kết cấu mà không có QoS cẩn thận, thì việc ghi điểm kiểm tra nặng nề có thể cản trở hoạt động liên lạc đào tạo vào thời điểm tồi tệ nhất có thể. Trong thiết kế của Meta, các công tắc dạng lá kết nối GPU trong một giá trên DAC đồng, trong khi các liên kết cột sống-đến{4}}giá đỡ chạy trên sợi quang chế độ đơn-với bộ thu phát 400G - một mẫu ánh xạ rõ ràng lên cấu trúcCáp trung kế MPO/MTPgiữa các tầng lá và gai.

RoCEv2 và Ethernet không mất dữ liệu: Cách chúng phối hợp với nhau
RDMA (Truy cập bộ nhớ trực tiếp từ xa) cho phép một hệ thống đọc hoặc ghi bộ nhớ của hệ thống khác với sự tham gia tối thiểu của CPU, điều này giúp có thể chuyển GPU-có độ trễ thấp, thông lượng-GPU-sang-GPU cao. RoCEv2 mang lưu lượng RDMA đó qua Ethernet bằng cách đóng gói nó trong UDP/IP, do đó bạn có thể xây dựng kết cấu trên chuyển mạch Ethernet tiêu chuẩn.
Sự hấp dẫn là chiều rộng hệ sinh thái. Ethernet có cơ sở nhà cung cấp khổng lồ, hoạt động hoàn thiện và sự phát triển nhanh chóng về silicon chuyển mạch, quang học và công cụ. cácHiệp hội Ultra Ethernetbiến điều này thành lập luận trung tâm: một ngăn xếp Ethernet mở, có thể tương tác, dành cho nhiều nhà cung cấp, hiện đã được chính thức hóa trong thông số kỹ thuật 1.0, nhằm mục đích-được xây dựng để mở rộng mạng AI và HPC mà không cần khóa nhà cung cấp-. NVIDIA đã thúc đẩy hướng đi tương tự từ phía sản phẩm -Phổ-Nền tảng Ethernet Xđược định vị là Ethernet được thiết kế dành riêng cho AI, bổ sung khả năng truyền tải không mất dữ liệu, định tuyến thích ứng và-đo lường từ xa trong mạng cho Ethernet tiêu chuẩn.

Cấu trúc không mất dữ liệu RoCEv2, từng thành phần
"Lossless" không phải là một công tắc đơn lẻ, nó là một tập hợp các cơ chế hợp tác. Bảng dưới đây là mức độ chi tiết mà một thiết kế thực sự cần.
| Thành phần | Vai trò | Tại sao nó quan trọng |
|---|---|---|
| Phân loại lưu lượng truy cập (DSCP/PCP) | Xếp RDMA vào lớp lossless | Đánh dấu sai sẽ gửi RDMA vào hàng đợi bị mất |
| PFC | Tạm dừng cấp độ liên kết-để tránh bị rớt | Lưới an toàn; việc sử dụng sai mục đích gây ra tình trạng tạm dừng và chặn-đầu{1}}đường truyền |
| ECN | Đánh dấu các gói trước khi hàng đợi tràn | Phải kích hoạt trước PFC để có ích |
| DCQCN | Kiểm soát tốc độ NIC được điều khiển bởi phản hồi ECN/CNP | Giảm tần suất PFC phải kích hoạt |
| Cân bằng tải động/thích ứng | Trải dòng voi khắp lối đi | Băm ECMP mặc định để lại các liên kết nóng và không hoạt động |
| Đo từ xa | Hiển thị các giọt, dấu ECN, tạm dừng PFC, độ sâu hàng đợi | Cách duy nhất để liên hệ tình trạng vải với tình trạng công việc |
Những điều này phải được điều chỉnh cùng nhau. Mối quan hệ quan trọng là ngưỡng ECN phải nằm ở mứcdướingưỡng PFC đầu vào, do đó người gửi sẽ chậm lại trước khi cần các khung tạm dừng. cây bách xùTài liệu DCQCNmô tả chính xác hành động cân bằng này: hãy để ECN thực hiện kiểm soát luồng bằng cách cắt sớm tốc độ truyền, do đó PFC - dừng hoàn toàn luồng - được giảm thiểu. Định cấu hình ECN quá cao và PFC sẽ kích hoạt trước và thường xuyên; cấu hình PFC quá mạnh mẽ và bạn sẽ gặp phải những cơn bão tạm dừng.
Điều này có ý nghĩa gì trong thực tế: Bộ đếm PFC không phải là thước đo thành công. Nếu khung tạm dừng PFC tăng đều đặn trong quá trình huấn luyện thông thường thì kết cấu không ổn định - nó đang tồn tại do tắc nghẽn bằng cách tạm dừng lưu lượng truy cập. Một kết cấu thực sự lành mạnh cho thấy ECN đang thực hiện công việc và PFC hiếm khi tương tác.
Những thách thức phổ biến về mạng cụm AI và cách giải quyết chúng
Thử thách 1: Độ trễ đuôi và độ trễ
Vấn đề:trong đào tạo đồng bộ, một đường đi chậm sẽ trì hoãn toàn bộ công việc.LÀM:duy trì bước nhảy- phụ trợ thấp; tránh đăng ký quá mức không cần thiết; theo dõi độ trễ đuôi, không phải mức trung bình; sử dụng cân bằng tải có ý thức về tắc nghẽn-; xác thực bằng các mẫu lưu lượng truy cập tổng hợp thay vì kiểm tra điểm-tới{3}}điểm.Trong thực tế:một công việc có mức sử dụng GPU tăng vọt trong mỗi thời kỳ đồng bộ hóa thường đi theo con đường chậm chạp chứ không phải giới hạn tính toán.
Thử thách 2: Tắc nghẽn và va chạm-dòng voi
Vấn đề:một vài luồng lớn đổ bộ vào cùng một liên kết và tạo ra một điểm nóng.LÀM:không dựa vào ECMP mặc định cho kết cấu AI lớn; cho phép cân bằng tải động/thích ứng; theo dõi mỗi-việc sử dụng cột sống liên kết và độ sâu hàng đợi; hãy để ECN và DCQCN điều tiết người gửi trước khi tình trạng tắc nghẽn vẫn tiếp diễn.Trong thực tế:Việc sử dụng liên kết cột sống- không đồng đều với mọi thứ khác trên danh nghĩa là dấu hiệu của việc băm luồng kém, không phải là không đủ băng thông.
Thử thách 3: Scaling từ 400G lên 800G
Vấn đề:khi số lượng GPU tăng lên,-các liên kết tốc độ thấp hơn buộc phải có nhiều bộ chuyển mạch, cấp độ, quang học và cáp hơn.LÀM:tính toán băng thông cần thiết cho mỗi GPU và mỗi giá (máy chủ GPU 8- có NIC 400G cho mỗi GPU là một kết cấu rất khác so với thiết kế 200G); quyết định có mục đích không-chặn so với đăng ký quá mức; xem xét cơ số chuyển đổi, tốc độ cổng và độ sâu cấu trúc liên kết cùng nhau; lập kế hoạch cho lộ trình từ 400G đến 800G trước khi bạn bị buộc phải thực hiện; giữ lại hệ thống quang học, hệ thống cáp và nguồn điện trong thiết kế ngay từ ngày đầu tiên.
Thử thách 4: Lựa chọn nguồn, làm mát và quang học
Vấn đề:Vải AI tiêu thụ rất nhiều năng lượng, đặc biệt là ở tốc độ cổng và mật độ quang cao.LÀM:sử dụng DAC cho các liên kết-trong giá ngắn khi thực tế; sử dụng AOC hoặc bộ thu phát quang để chạy từ giá đỡ-đến- cột sống dài hơn; so sánh sức mạnh giữa các tùy chọn quang học; xác thực giới hạn nhiệt tại các cổng có mật độ-cao; thiết kế hệ thống cáp và luồng không khí với nhau. Lựa chọn giữabộ thu phát đơn chế độ và đa chế độphần lớn là quyết định về phạm vi tiếp cận-so với-chi phí và quyết định này phải được thực hiện trên mỗi lớp liên kết chứ không phải một lần cho toàn bộ cụm.
Công suất quang học hiện là-hạn chế thiết kế đầu tiên chứ không phải là chú thích cuối trang. Công việc của NVIDIA trêncác loại vải AI tiết kiệm năng lượng với Spectrum-X Ethernet Photonicsminh họa trực tiếp xu hướng này: quang tử silicon đóng gói đồng-đang được sử dụng để cắt giảm công suất trên mỗi-cổng và giảm các vạt liên kết so với quang học có thể cắm truyền thống, chính xác là do bộ thu phát nằm trong số các thành phần có-công suất cao nhất và có tỷ lệ-lỗi-cao nhất trong một cụm lớn.
Thử thách 5: Tầm nhìn và khắc phục điểm mù
Vấn đề:không có phép đo từ xa, sự cố mạng trông giống như sự cố điện toán.LÀM:giám sát việc giảm gói, dấu ECN, khung tạm dừng PFC, chiếm dụng hàng đợi, lỗi liên kết, mức sử dụng cổng, phân phối luồng, bộ đếm tắc nghẽn NIC, mức sử dụng GPU và thời gian hoàn thành công việc - sau đó đối chiếu các chỉ số kết cấu với các chỉ số công việc AI. Công tắc có vẻ yên tĩnh-không đảm bảo công việc đào tạo lành mạnh và GPU bận rộn không đảm bảo tiến trình hữu ích.
RoCEv2 so với InfiniBand cho Mạng cụm AI
Cả RoCEv2/Ethernet và InfiniBand đều chạy các cụm AI và HPC thực; sự lựa chọn phụ thuộc vào quy mô, kỹ năng nhóm, hệ sinh thái, mô hình chi phí và mục tiêu hoạt động. Bảng bên dưới là bảng so sánh biên tập chứ không phải xếp hạng tuyệt đối - câu trả lời đúng là khối lượng công việc- và tổ chức-cụ thể.
| Nhân tố | RoCEv2 / Ethernet | InfiniBand |
|---|---|---|
| Hệ sinh thái | Hoạt động rộng khắp, đa nhà cung cấp, quen thuộc | Di sản HPC mạnh mẽ, ngăn xếp hiệu suất cao hoàn thiện- |
| Hoạt động | Tái sử dụng các kỹ năng Ethernet nhưng cần điều chỉnh cẩn thận mà không mất dữ liệu | Chuyên biệt hơn, có mục đích-được xây dựng cho HPC được liên kết chặt chẽ |
| Tìm nguồn cung ứng linh hoạt | Nói chung có nhiều lựa chọn nhà cung cấp hơn | Thường là một ngăn xếp tích hợp hơn |
| Hiệu suất | Mạnh mẽ khi được thiết kế và điều chỉnh hợp lý | Được biết đến với độ trễ thấp trong các cụm liên kết chặt chẽ |
| Chia tỷ lệ | Cần cấu trúc liên kết có chủ ý, kiểm soát tắc nghẽn, đo từ xa | Các tùy chọn mạnh mẽ cho vải kiểu HPC{0}}lớn |
| Phù hợp nhất | Các nhóm muốn có tính linh hoạt của Ethernet và thiết kế RoCEv2 sẵn sàng cho AI | Các nhóm ưu tiên HPC tích hợp, liên kết chặt chẽ đã được chứng minh |
Câu hỏi thực sự không phải là công nghệ nào chiến thắng về mặt trừu tượng. Vấn đề là liệu kết cấu được chọn có thể cung cấp băng thông có thể dự đoán được, độ trễ thấp, tổn hao thấp và khả năng hiển thị hoạt động ở quy mô GPU mục tiêu của bạn hay không.
Quy mô GPU so với thiết kế mạng
Cụm phòng thí nghiệm GPU 64- và cụm sản xuất nhiều- nghìn GPU không phải là cùng một dự án có số lượng cổng khác nhau. Quy mô thay đổi thiết kế.
| quy mô cụm | Thiết kế điển hình | Trọng tâm chính |
|---|---|---|
| Lên đến ~64 GPU (phòng thí nghiệm / thí điểm) | Cột sống lá-một tầng hoặc hai{1}}cột lá{2}}tầng nhỏ, thường là một miền chuyển đổi | Cấu hình RoCEv2 chính xác, hệ thống cáp sạch sẽ, đo từ xa cơ bản |
| ~128–512 GPU | Không-chặn hai-lá-sống, phân tách giao diện người dùng/phụ trợ | Mục tiêu đăng ký vượt mức, cân bằng tải động, điều chỉnh ECN/PFC |
| ~1.000–4,000+ GPU (sản xuất) | Đa{0}}tầng hoặc đường ray-được tối ưu hóa, phụ trợ quy mô dữ liệu-trung tâm- | Cấu trúc liên kết-lập lịch nhận biết, 400G/800G, mật độ nguồn và quang học |
Khung thiết kế mạng cụm AI theo từng bước
Bước 1: Xác định khối lượng công việc và quy mô GPU
Bắt đầu với khối lượng công việc chứ không phải mô hình chuyển đổi. Làm rõ số lượng GPU hiện tại và chu kỳ tiếp theo, cho dù công việc là đào tạo,{1}}tinh chỉnh, suy luận hay kết hợp, các mẫu tập thể dự kiến, kích thước điểm kiểm tra, lưu lượng lưu lượng lưu trữ và liệu cụm là- hay nhiều-đối tượng thuê.
Bước 2: Tách các miền lưu lượng
Quyết định những gì thuộc về giao diện người dùng và phụ trợ: quản lý, lưu trữ và điểm kiểm tra, đào tạo/RDMA và giám sát lưu lượng. Đối với các triển khai nhỏ, việc phân tách logic bằng Vlan và QoS có thể đủ; đối với các cụm lớn hơn, việc phân tách vật lý giữa giao diện người dùng và phụ trợ thường dễ vận hành và dễ dàng hơn.
Bước 3: Chọn mục tiêu cấu trúc liên kết và đăng ký vượt mức
Gân lá{0}}là mặc định cho các loại vải AI Ethernet có thể mở rộng. Quyết định một, hai hoặc nhiều cấp; không-chặn so với đăng ký vượt mức; GPU trên mỗi giá; NIC trên mỗi máy chủ; tốc độ và số lượng đường lên; khả năng cột sống; và kích thước miền thất bại. Đối với lưu lượng đào tạo phụ trợ, số lượng đăng ký vượt mức thấp hơn sẽ mua được khả năng dự đoán - và nếu bạn đăng ký vượt mức, hãy đặt tỷ lệ có chủ ý dựa trên hành vi khối lượng công việc được đo lường chứ không phải là sự ngẫu nhiên về số lượng cổng.
Bước 4: Chọn tốc độ switch và mật độ cổng
Chọn nền tảng chuyển đổi dựa trên băng thông, cấu trúc liên kết và mức tăng trưởng cần thiết - đánh giá 400G so với 800G, cơ số, tổng công suất, kiến trúc bộ đệm, hỗ trợ RoCEv2/PFC/ECN/DCQCN, đo từ xa, công suất trên mỗi cổng và NOS/tự động hóa. Đừng chỉ đánh giá tốc độ: chuyển đổi nhanh mà không có biện pháp kiểm soát tắc nghẽn, đệm và đo từ xa phù hợp vẫn sẽ tạo ra vấn đề trong lưu lượng truy cập AI.
Bước 5: Lập kế hoạch NIC, quang học, DAC/AOC và hệ thống cáp
Vải không chỉ là công tắc. Lập kế hoạch tốc độ NIC trên mỗi GPU, loại liên kết chuyển đổi NIC-sang{2}}, DAC cho các liên kết đồng ngắn, AOC và mô-đun quang học để chạy lâu hơn, quang học chế độ đơn-cho khoảng cách và nhà máy sợi quang, bố cục bản vá, ghi nhãn và quyền truy cập dịch vụ. Việc có được hệ số dạng có thể cắm phù hợp là vấn đề quan trọng ở đây - aTổng quan về hệ số dạng QSFP-DD và OSFP-đáng để xem xét trước khi chuyển sang cổng chuyển mạch và cổng NIC ở tốc độ 400G/800G. Về mặt hệ thống cáp, việc chia một cổng chuyển đổi mật độ-cao thành các liên kết trên mỗi-máy chủ thường có nghĩa làCáp đột phá MPO-đến{1}}LC, và cấp sợi phải phù hợp với khoảng cách - thực tếgiới hạn tầm với của sợi đa mode (OM1–OM5)quyết định xem chế độ đa chế độ vẫn hoạt động ở đâu và nơi cần có-chế độ đơn. Thiết kế cáp kém có thể khiến cấu trúc liên kết đúng về mặt kỹ thuật gặp khó khăn khi vận hành.
| Lớp liên kết | Khoảng cách điển hình | Lựa chọn chung |
|---|---|---|
| Trong-GPU giá đỡ-đến-lá | Dưới ~3 m | ĐẮC (đồng) |
| Giá đỡ-liền kề | ~3–7 m | AOC hoặc DAC |
| Lá-đến-cột sống trong hội trường | Hàng chục mét đến ~100 m | Đa chế độ (OM4/OM5) + quang học SR hoặc chế độ-đơn |
| Bên kia hành lang / quy mô DC{0}} | ~100 m đến 2 km | Bộ thu phát-chế độ đơn + 400G/800G |
Bước 6: Cấu hình vận chuyển lossless và kiểm soát tắc nghẽn
Đây là phần nhạy cảm nhất của việc triển khai. Phân loại lưu lượng truy cập RoCEv2 một cách chính xác và ánh xạ nó tới mức ưu tiên phù hợp; kích hoạt PFC theo mức độ ưu tiên đó; đặt ngưỡng ECN dưới ngưỡng PFC; xác nhận các NIC thực hiện phản hồi DCQCN dự kiến; loại bỏ lưu lượng truy cập không liên quan ra khỏi lớp lossless; và kiểm tra rõ ràng các cơn bão tạm dừng và chặn-đầu-đường dây. Hãy coi PFC như một cơ chế an toàn chứ không phải như cách bạn điều hành một mạng bị tắc nghẽn hàng ngày.
Bước 7: Xác thực bằng phép đo từ xa và lưu lượng truy cập thử nghiệm-như AI
Trước khi chạy công việc sản xuất, hãy xác thực băng thông từ đầu đến cuối, phân bổ độ trễ, độ trễ cuối, giảm gói, hành vi đánh dấu ECN, tần suất tạm dừng PFC, khôi phục lỗi liên kết, phân phối luồng và hiệu suất công việc GPU khi tải. Thông lượng iperf đơn giản là không đủ - xác minh việc đánh dấu ECN, tạm dừng PFC, độ sâu hàng đợi và NCCL đều-làm giảm hiệu suấtcùng nhau, bởi vì một kết cấu đã vượt qua các bài kiểm tra điểm-tới{1}}điểm này vẫn có thể cản trở hoạt động giao tiếp tập thể được đồng bộ hóa.
Câu hỏi thường gặp: Mạng cụm AI
Hỏi: RoCEv2 có thể thực sự thay thế InfiniBand trong việc đào tạo AI không?
Đáp: Đối với nhiều cụm, có - khi kết cấu Ethernet được thiết kế và điều chỉnh phù hợp. Các nhà khai thác lớn tiến hành đào tạo sản xuất trên các chương trình phụ trợ RoCEv2 và cả Ultra Ethernet Consortium cũng như các nền tảng của nhà cung cấp như NVIDIA Spectrum-X đều đang thúc đẩy Ethernet đặc biệt hướng tới hiệu suất ở quy mô-AI. Lưu ý là RoCEv2 yêu cầu kỹ thuật không mất dữ liệu có chủ ý; nó không "chỉ hoạt động" theo cách mà một loại vải HPC được tạo ra có mục đích.
Hỏi: Khi nào tôi thực sự cần 800G thay vì 400G?
Đáp: Khi nhu cầu băng thông trên mỗi-GPU và mỗi{1}} giá đỡ vượt quá khả năng mà liên kết 400G có thể mang theo mà không cần thêm tầng, cáp và quang học. Các máy chủ dày đặc có NIC-tốc độ cao trên mỗi GPU và các cụm lớn hơn nơi mà nếu không đăng ký quá mức sẽ xuất hiện, là những nguyên nhân thường gặp. Lập kế hoạch sớm cho lộ trình di chuyển để 800G là một bước chứ không phải là một thiết kế lại.
Hỏi: Điều gì xảy ra nếu PFC bị định cấu hình sai?
Đáp: Cấu hình PFC kém có thể gây ra tình trạng tạm dừng, chặn-đầu{1}}đường truyền và lan rộng tắc nghẽn, trong đó việc tạm dừng một liên kết sẽ sao lưu lưu lượng truy cập trên toàn bộ kết cấu. Đó là lý do tại sao ECN phải mang hầu hết tín hiệu tắc nghẽn và PFC hiếm khi tham gia; Bộ đếm PFC tăng trong quá trình chạy bình thường là một dấu hiệu cảnh báo, không phải là dấu hiệu thành công.
Câu hỏi: Mạng cụm AI có phải cách ly về mặt vật lý không?
Đáp: Không phải lúc nào cũng vậy, nhưng các cụm lớn hơn thường được hưởng lợi từ việc tách biệt cơ cấu đào tạo phụ trợ khỏi giao diện người dùng về mặt vật lý. Các hoạt động triển khai nhỏ hơn thường có thể sử dụng tính năng phân tách logic bằng Vlan và QoS, miễn là các cụm điểm kiểm tra và lưu trữ được loại trừ khỏi lớp đào tạo không mất dữ liệu.
Hỏi: Làm cách nào để chọn giữa DAC, AOC và bộ thu phát quang?
A: Theo khoảng cách và sức mạnh. DAC phù hợp với-các liên kết đồng của giá đỡ; AOC bao gồm các lần chạy dài hơn, linh hoạt hơn một chút; và bộ thu phát quang học có nhiều chế độ hoặc-giá đỡ sợi quang đơn chế độ-đến-xương sống và qua-khoảng cách hành lang. Hãy chọn loại sợi phù hợp và cân nhắc công suất quang học, vì bộ thu phát chiếm phần lớn trong cả công suất kết cấu và tỷ lệ hỏng hóc.
Câu hỏi: Các cụm GPU nhỏ có cần cấu trúc lossless hoàn toàn không?
Đáp: Họ vẫn cần phân loại - cấu hình RoCEv2 chính xác, PFC ở mức ưu tiên phù hợp và ECN dưới PFC - nhưng một cụm miền-nhỏ thường có thể bỏ qua cấu trúc liên kết nhiều-cấp và lập kế hoạch đăng ký vượt mức mà các cơ cấu lớn yêu cầu. Hành vi lossless không phải là tùy chọn; mức độ phức tạp-mở rộng quy mô là rất lớn.
Kết luận và bước tiếp theo
Mạng cụm AI quyết định liệu GPU có hoạt động như một hệ thống phối hợp hay không hoạt động để chờ dữ liệu. Thiết kế mạnh mẽ kết hợp băng thông cao, độ trễ có thể dự đoán được, truyền tải RoCEv2 không tổn hao, cấu trúc liên kết lá-có thể mở rộng, hệ thống cáp và quang học phù hợp cũng như đo từ xa đủ sâu để tương quan giữa tình trạng kết cấu với tình trạng công việc. Các cụm nhỏ dẫn đầu với cấu trúc liên kết rõ ràng và cấu hình RoCEv2 chính xác; các cụm lớn cũng phải giải quyết vấn đề phân tách giao diện người dùng/phụ trợ, cân bằng tải nhận biết tắc nghẽn-, di chuyển 400G/800G, mật độ năng lượng và các hoạt động điều khiển từ xa{8}}.
Bước tiếp theo tốt nhất là sửa các đầu vào của bạn trước: quy mô GPU, mẫu khối lượng công việc, thiết kế giá đỡ và miền lưu lượng. Sau đó chọn các bộ chuyển mạch, NIC, quang học và cấu hình Ethernet không mất dữ liệu cho phù hợp. Nếu bạn đang xác định song song mặt-cáp quang và cáp có cấu trúc của kết cấu GPU, thìGiải pháp cáp và cáp trung tâm dữ liệucó thể giúp bạn kết hợp các lựa chọn đường trục, đột phá và bộ thu phát với cấu trúc liên kết và khoảng cách liên kết của bạn. Trong cơ sở hạ tầng AI, mạng phù hợp không chỉ nhanh hơn - mà còn dễ dự đoán hơn, dễ quan sát hơn và dễ dàng mở rộng quy mô hơn.