NIC 400G và 800G: Bạn nên chọn cái nào?

Việc chọn giữa NIC 400G và NIC 800G là một quyết định cơ bản chứ không phải là so sánh trang-thanh toán. Bộ điều hợp nhanh hơn chỉ phát huy tác dụng khi máy chủ, bộ chuyển mạch, thiết bị quang học và hệ thống cáp có thể truyền tải tốc độ đó từ đầu đến cuối. Hướng dẫn này xem xét sự cân bằng-từ góc độ triển khai và mua sắm, do đó, bạn có thể quyết định trước khi cam kết ngân sách cho bộ chuyển đổi, bộ chuyển mạch, bộ thu phát, DAC, AOC, AEC hoặc cáp quang.

Phiên bản ngắn gọn: NIC 400G là phiên bản mặc định hoàn thiện, hiệu quả về mặt chi phí cho hầu hết các khối lượng công việc AI, HPC, lưu trữ và đám mây hiện nay, đồng thời nó ánh xạ rõ ràng lên các máy chủ NDR InfiniBand và PCIe Gen5. NIC 800G sẽ đạt được lợi ích cao hơn khi bạn xây dựng cơ cấu AI thế hệ-tiếp theo với GPU dày đặc hơn, lưu lượng truy cập đông{6}}tây nhiều hơn và lộ trình hướng tới XDR InfiniBand, 800G Ethernet và cuối cùng là 1.6T.

400G so với 800G NIC

Chọn NIC 400G khi máy chủ, bộ chuyển mạch và nhà máy quang học của bạn đã được chuẩn hóa trên 400G Ethernet hoặc NDR InfiniBand hoặc khi khối lượng công việc không bão hòa mọi đường dẫn GPU-đến-GPU. Đây cũng là lựa chọn an toàn hơn khi tình trạng sẵn có, ngân sách và thời gian đánh giá quan trọng hơn tốc độ cổng cao nhất.

Chọn NIC 800G khi mạng đang trở thành nút thắt cổ chai cho hoạt động đào tạo-quy mô lớn, máy chủ GPU mật độ-cao hoặc-các bộ tăng tốc thế hệ tiếp theo. Nó giảm gần một nửa số lượng liên kết và mô-đun quang cần thiết cho một lượng băng thông nhất định và chuẩn bị kết cấu cho lần nâng cấp tiếp theo.

Cổng 800G chỉ đáng mua khi phần còn lại của hệ thống có thể cung cấp cho nó. Nếu máy chủ không thể cung cấp đủ làn PCIe cho bộ điều hợp thì NIC 800G sẽ trở thành một cổng đắt tiền, ít được sử dụng thay vì nâng cấp hiệu suất.

NIC 400G là gì?

NIC 400G là bộ điều hợp mạng có tốc độ di chuyển lên tới 400 gigabit/giây trên mỗi cổng. Trong môi trường AI và HPC, nó xử lý kết nối mạng cụm GPU, đào tạo phân tán, truy cập bộ nhớ, lưu lượng MPI, kết cấu RoCE và liên kết NDR InfiniBand. Đối với hầu hết các nhà khai thác, 400G đã là một bước nhảy vọt so với 100G hoặc 200G và loại bỏ các nút thắt cổ chai rõ ràng mà không buộc phải thiết kế lại máy chủ và chuyển đổi cấp độ.

Nơi 400G NIC phù hợp ngày nay

Bộ điều hợp 400G là bộ điều hợp hoạt động mặc định trên các cụm đào tạo AI trên GPU, HPC và kết cấu máy tính-thế hệ hiện tại, mạng lưu trữ-hiệu suất cao, kết cấu RoCEv2 Ethernet và InfiniBand, nhóm máy chủ đám mây nói chung và các bản nâng cấp 100G/200G-lên-400G trong các phòng thế hệ hỗn hợp. Trong các cài đặt này, 400G hiếm khi là sự thỏa hiệp. Nó chỉ đơn giản là loại tốc độ phù hợp khi kích thước cụm, số lượng GPU và ngân sách không phù hợp với độ phức tạp tăng thêm của 800G.

Tại sao 400G vẫn có ý nghĩa

Lựa chọn NIC là một vấn đề-cân bằng hệ thống. Nếu máy chủ không thể cấp nguồn cho bộ chuyển đổi 800G, nếu khối lượng công việc bị giới hạn về điện toán- hoặc bộ nhớ-hoặc nếu trục chính vẫn là 400G thì việc giảm 800G NIC sẽ làm tăng chi phí mà không ảnh hưởng đến hiệu suất ứng dụng. Cấu trúc 400G được xây dựng tốt, với tỷ lệ đăng ký vượt mức thấp, cấu trúc liên kết rõ ràng, RDMA, quang học chất lượng và khả năng kiểm soát tắc nghẽn được điều chỉnh, vẫn có thể thực hiện các công việc AI và HPC đòi hỏi khắt khe một cách thoải mái.

NIC 800G là gì?

Một NIC 800G cung cấp tốc độ lên tới 800 gigabit/giây trên mỗi cổng. Nó nhắm đến-các trung tâm dữ liệu AI thế hệ tiếp theo, các cụm GPU lớn và các kết cấu siêu quy mô nơi nhu cầu liên lạc đang vượt xa mạng máy chủ thông thường. Thế hệ 800G hiện đã được chuẩn hóa:tiêu chuẩn IEEE 802.3df, được phê chuẩn vào năm 2024, xác định 800 Gigabit Ethernet và hỗ trợ-các tốc độ phụ như 1x800G, 2x400G và 8x100G, điều này giúp việc di chuyển tốc độ-hỗn hợp trở nên thực tế.

Giá trị không chỉ là tốc độ tiêu đề tăng gấp đôi. 800G cho phép kiến ​​trúc sư tăng mật độ băng thông, cắt giảm số lượng liên kết và mô-đun, đồng thời hỗ trợ các loại vải đào tạo lớn hơn với lưu lượng truy cập toàn diện-đến{2}}tích cực hơn.

Tại sao các cụm AI đang chuyển sang 800G

Chương trình đào tạo mô hình-lớn tạo ra lưu lượng GPU-đến-GPU và máy chủ-đến-máy chủ khổng lồ. Trao đổi độ dốc, tất cả-giảm bớt, sự kết hợp-của-các chuyên gia định tuyến, điểm kiểm tra và lưu trữ-các đường ống nặng nề đều cản trở kết cấu. Khi bộ tăng tốc hoạt động nhanh hơn, mạng phải giữ tốc độ hoặc các GPU đắt tiền sẽ không hoạt động chờ đồng bộ hóa. 800G NIC giải quyết vấn đề đó bằng cách tăng băng thông trên mỗi nút, trên mỗi bộ tăng tốc hoặc trên mỗi đường ray mạng.

800G là một giải pháp về vải, không chỉ là một bộ chuyển đổi

Việc chuyển sang 800G sẽ định hình lại việc lựa chọn công tắc, quang học, quy hoạch phạm vi tiếp cận, thiết kế tản nhiệt, luồng không khí và cách bố trí giá đỡ. Các lựa chọn về quang và đồng nói riêng trở nên khắt khe hơn: cổng 800G có thể sử dụng mô-đun DD OSFP hoặc QSFP{3}}, đồng thời các mô-đun bên chuyển đổi và bên NIC-có thể khác nhau về thiết kế nhiệt và cơ khí ngay cả ở cùng một tốc độ. Nếu nhà máy của bạn sử dụng sợi có cấu trúc, hãy sớm xác nhận loại mô-đun và đầu nối; của chúng tôitổng quan về hệ số dạng QSFP-DDbao gồm nơi nó phù hợp so với OSFP. Hãy coi 800G là một chương trình-cấp cơ cấu chứ không phải một chương trình hoán đổi mục hàng-.

NIC 400G so với NIC 800G

Khi nào nên chọn NIC 400G

Chọn NIC 400G khi mục tiêu là mạng hiệu suất cao với phần cứng hoàn thiện, hoạt động triển khai có thể dự đoán được và chi phí được kiểm soát.

Bạn đang xây dựng trên cơ sở hạ tầng 400G hiện có

Nếu các thiết bị chuyển mạch, cáp, quang học và nền tảng máy chủ của bạn đã được chuẩn hóa trên 400G thì việc tiếp tục sử dụng NIC 400G sẽ loại bỏ một vòng kiểm tra khả năng tương thích và cho phép bạn sử dụng lại hầu hết hệ sinh thái hiện tại. Điều này đặc biệt đúng khi nâng cấp từ 100G hoặc 200G, nơi hiệu suất đạt được lớn và hệ sinh thái trưởng thành hơn nhiều so với 800G.

Khối lượng công việc AI của bạn không làm bão hòa kết cấu

Không phải mọi công việc AI đều cần 800G trên mỗi máy chủ. Nhiều phần mềm bị ràng buộc-tính toán,-lưu trữ, bộ nhớ-bị ràng buộc hoặc bị giới hạn bởi hiệu quả của phần mềm thay vì băng thông mạng. Nếu hồ sơ cho thấy mạng không phải là nút thắt cổ chai chính thì NIC 400G thường mang lại lợi nhuận tốt hơn.

Bạn cần chi phí-HPC hiệu quả

Nhiều khối lượng công việc HPC nhạy cảm với độ trễ, hành vi truyền-thông báo và tắc nghẽn cơ cấu hơn là băng thông thô. Một kết cấu 400G được-điều chỉnh tốt thường đánh bại một kết cấu 800G tích hợp kém. Câu hỏi hữu ích không phải là NIC nào nhanh hơn mà là thiết kế mạng nào mang lại hiệu suất ứng dụng tốt nhất trên mỗi đô la.

Bạn cần mua sắm nhanh hơn, ít rủi ro hơn{0}}

Bộ điều hợp, cáp quang và cáp 400G dễ dàng tìm nguồn hơn và đủ điều kiện trên nhiều nền tảng máy chủ và chuyển mạch hơn. Khi nhóm có thời gian xác thực hạn chế thì 400G là lựa chọn có-rủi ro thấp hơn nhưng vẫn giải quyết được hầu hết các tắc nghẽn.

Khi nào nên chọn NIC 800G

Chọn NIC 800G khi ứng dụng, nền tảng GPU và kết cấu thực sự có thể sử dụng băng thông bổ sung.

Bạn đang thiết kế một-kết cấu đào tạo AI thế hệ tiếp theo

Các cụm đào tạo lớn tạo ra sự liên lạc mạnh mẽ giữa-với-tất cả và phía đông-tây. Khi kích thước mô hình, số lượng GPU và tính song song tăng lên, mạng sẽ trở thành giới hạn. Ở đây, 800G NIC tăng băng thông trên mỗi{6}}nút và giảm nguy cơ cơ cấu điều tiết GPU.

Bạn cần mật độ băng thông cao hơn

800G giảm số lượng cổng, liên kết và mô-đun cần thiết để cung cấp một lượng băng thông nhất định. Điều này quan trọng trong các cụm dày đặc nơi không gian giá đỡ, số lượng cổng-của bảng mặt trước, khả năng quản lý cáp và cơ số chuyển đổi đều bị hạn chế. Ít liên kết hơn, nhanh hơn có thể đơn giản hóa việc xây dựng, miễn là sơ đồ kết cấu chuyển mạch và cáp được thiết kế cho nó.

Bạn đang lập kế hoạch cho-Nền tảng GPU thế hệ tiếp theo

Nếu lộ trình bao gồm-các máy chủ GPU thế hệ tiếp theo, mật độ năng lượng trên giá đỡ cao hơn, làm mát bằng chất lỏng và các cụm lớn hơn thì 800G là lựa chọn chiến lược mạnh mẽ hơn. Mua 400G ngày nay vẫn có thể hợp lý, nhưng vải phải được thiết kế với đường di chuyển đến 800G hoặc cao hơn.

Bạn muốn giảm bớt sự gián đoạn trong thời gian dài{0}}khi nâng cấp

Chiến lược 800G theo từng giai đoạn làm giảm nỗi đau di cư trong tương lai. Trước tiên, hãy triển khai các bộ chuyển mạch có khả năng 800G-, kết nối các NIC 400G hiện có thông qua các thiết kế tốc độ đột phá hoặc{5}}hỗn hợp, sau đó nâng cấp máy chủ lên 800G sau. Điều này bảo vệ khoản đầu tư hiện tại đồng thời tạo dựng nền tảng cho thế hệ tiếp theo.

Khi nào KHÔNG nên chọn NIC 800G

Đây thường là câu hỏi hữu ích hơn và nó lọc ra những giao dịch mua hàng đáng tiếc nhất. Giữ lại 800G khi bất kỳ điều nào sau đây là đúng:

• Máy chủ không thể hiển thị đường dẫn x16 loại PCIe Gen6 đầy đủ tới bộ điều hợp. Cổng sẽ bị thiếu và bạn sẽ phải trả tiền cho băng thông mà bus máy chủ không thể cung cấp.
• Cột sống được đăng ký vượt mức hoặc vẫn còn 400G. NIC nhanh hơn không khắc phục được kết cấu bị hạn chế; nó chỉ di chuyển nút cổ chai đi một bước.
• Khối lượng công việc bị giới hạn về độ trễ- hoặc MPI- thay vì giới hạn về băng thông-. Thông lượng bổ sung không ảnh hưởng nhiều đến các công việc được kiểm soát bằng cách đồng bộ hóa hoặc hành vi thông báo-nhỏ.
• Quang học, cáp hoặc làm mát cho 800G không thể được tìm nguồn và xác thực trên dòng thời gian của bạn. Một mô-đun không đủ tiêu chuẩn bị hỏng khi đang tải sẽ còn tệ hơn một liên kết chậm hơn vẫn hoạt động.
• Không có lộ trình tăng trưởng cụ thể nào biện minh cho mức phí bảo hiểm ngày nay.

Nếu áp dụng hai hoặc nhiều trong số này, 400G gần như chắc chắn là câu trả lời phù hợp cho bản dựng này, với 800G được giữ lại cho lần làm mới tiếp theo.

400G so với 800G NIC cho Trung tâm dữ liệu đám mây

Vải đám mây hiếm khi chạy ở một tốc độ ở mọi nơi. Họ phân đoạn theo loại lưu lượng truy cập và lựa chọn NIC tuân theo phân đoạn chứ không phải theo toàn bộ trung tâm dữ liệu.

• Giao thông phía trước-phía bắc-phía nam:400G thường là đủ cho các cấp độ API và giao diện người dùng, trong đó băng thông trên mỗi luồng rất khiêm tốn và số lượng kết nối chiếm ưu thế.
• Kho chứa và giao thông phía đông{0}}tây:câu trả lời phụ thuộc vào mức độ phân tách của kiến ​​trúc. 400G bao trùm hầu hết các nhóm chung; 800G hỗ trợ những ổ đĩa lưu trữ phân tán lớn được duy trì tải ở phía đông{2}}tây.
• Suy luận AI:400G là đủ cho nhiều đám mây suy luận, trong khi 800G phù hợp với sự kết hợp dày đặc-của-các chuyên gia định tuyến hoặc phân phối phân tách trong đó các mã thông báo di chuyển qua nhiều nút.
• Vải có nhiều{0}}người thuê:ở đây, tỷ lệ đăng ký vượt mức và hiệu suất định hình cách ly đối tượng thuê cao hơn nhiều so với tỷ lệ NIC cao nhất. Vải 400G cân bằng với khả năng cách ly mạnh thường đánh bại vải nhanh hơn nhưng bị tắc nghẽn.

Vì sự phát triển ở phía đông{0}}tây của đám mây nằm trên sợi có cấu trúc nên hãy lập kế hoạch đi cáp đường trục dọc theo NIC; của chúng tôihướng dẫn đi cáp trung kế MPO/MTPbao gồm các hoạt động có mật độ-cao. Theo nguyên tắc chung, hãy sử dụng 400G cho hầu hết các tầng đám mây-giao diện người dùng và đám mây chung, đồng thời dành riêng 800G cho các phân khúc nơi phân phối AI dày đặc hoặc các nhóm lớn ở phía đông-tây chiếm ưu thế.

Các yếu tố lựa chọn chính ngoài tốc độ cổng

NIC nhanh hơn không đảm bảo khối lượng công việc nhanh hơn trừ khi toàn bộ nền tảng hỗ trợ nó. Năm yếu tố quyết định liệu cổng 800G có hoạt động hay không.

Băng thông máy chủ và thế hệ PCIe

NIC tiếp cận máy chủ qua PCIe và liên kết đó là trần cứng. Cổng 400 Gb/s cần khoảng 50 GB/s mỗi hướng, mà khe cắm PCIe Gen5 x16, với tốc độ sử dụng khoảng 63 GB/s mỗi hướng, có thể mang theo. Cổng 800 Gb/s cần khoảng 100 GB/s mỗi hướng, ngoài khe Gen5 x16, đó là lý do tại sao bộ điều hợp 800G thường mong đợithông số PCIe 6.0 từ PCI-SIG(64 GT/s, lên tới 256 GB/s hai chiều trên x16) hoặc thiết kế x32 không phổ biến. Trước khi cam kết với 800G, hãy xác nhận:

• Thế hệ PCIe
• Đếm làn đường và nối dây khe cắm
• NUMA vị trí và đường dẫn GPU-đến-NIC
• Xác thực nhà cung cấp máy chủ-cho bộ chuyển đổi
• Hỗ trợ BIOS và phần sụn

Trong các máy chủ GPU, vị trí NIC so với CPU và GPU sẽ quyết định mức độ di chuyển dữ liệu một cách rõ ràng. NIC lớp Gen6-bị rơi vào khe Gen5 x8 là nút thắt cổ chai tự gây ra phổ biến nhất trong lĩnh vực này.

Chuyển đổi cơ cấu và đăng ký vượt mức

Tốc độ NIC phải phù hợp với kết cấu. 800Bộ điều hợp G sẽ không làm gì nếu cột lá-được đăng ký quá mức hoặc đường lên mỏng. Kiểm tra tốc độ cổng lá và cột sống, tỷ lệ đăng ký vượt mức, số lượng đường ray mạng, mô hình phía đông-tây, thiết kế miền-bị lỗi và băng thông chia đôi cần thiết. Đối với hoạt động đào tạo, tỷ lệ đăng ký vượt mức thấp hơn thường mang lại hiệu quả cao hơn so với NIC nhanh hơn.

RoCE, InfiniBand và Ultra Ethernet

Cấu trúc AI và HPC dựa vào RDMA để cắt giảm chi phí hoạt động của CPU và giao thức định hình NIC, bộ chuyển mạch, kiểm soát tắc nghẽn và các hoạt động. Ngày nay, NDR InfiniBand chạy ở tốc độ 400 Gb/s trên mỗi cổng vàXDR InfiniBand đạt 800 Gb/s mỗi cổng, xếp hàng trực tiếp với các bậc NIC 400G và 800G. Về phía Ethernet,

Thông số kỹ thuật 1.0 của Ultra Ethernet Consortiumxác định RDMA-trên-ngăn xếp Ethernet bao gồm các NIC, bộ chuyển mạch, quang học và cáp, nhằm mục đích mở rộng quy mô AI và HPC-.

Chọn InfiniBand để có cấu trúc HPC hoặc AI được tích hợp chặt chẽ,{0}}có độ trễ thấp khi nhóm của bạn biết hệ sinh thái đó. Chọn Ethernet hoặc RoCE để có nhiều lựa chọn nhà cung cấp hơn và tích hợp đám mây. Hãy cân nhắc Ultra Ethernet khi bạn muốn một đường dẫn mở, được tiêu chuẩn hóa cho Ethernet hiệu suất-thế hệ cao-tiếp theo.

Quang học, hệ số dạng và cáp

Ở 400G và 800G, khả năng tương thích vật lý cũng quan trọng như tốc độ. Hai mô-đun có thể chia sẻ tốc độ nhưng khác nhau về hệ số hình thức, thiết kế nhiệt và yêu cầu máy chủ. Xác minh OSFP so với QSFP112 so với QSFP-DD, phẳng-so với vây-OSFP hàng đầu, các yêu cầu về mô-đun bên chuyển đổi-bên so với NIC-, DAC, AEC, AOC hoặc phạm vi tiếp cận quang học, hỗ trợ đột phá cũng như chương trình cơ sở và mã hóa của nhà cung cấp. Đừng cho rằng OSFP 800G hoạt động trong bộ chuyển mạch sẽ đặt và làm mát chính xác trong NIC; nhiều mô-đun chuyển mạch và NIC sử dụng các thiết kế cơ và nhiệt khác nhau.

Xác nhận năng lượng, luồng không khí và nhiệt

Các thành phần 800G tiêu thụ nhiều năng lượng hơn và chạy nóng hơn. Xác thực NIC, quang học, cổng chuyển đổi và đường dẫn luồng khí trong điều kiện tải liên tục chứ không phải ở chế độ không tải. Xác nhận công suất NIC và mô-đun quang-, hướng luồng khí và khoảng không làm mát, nhiệt độ đầu vào tối đa, mật độ cáp và tắc nghẽn luồng khí cũng như các giả định về làm mát không khí- so với chất lỏng-. Sự mất ổn định về nhiệt xuất hiện dưới dạng các mối nối và tỷ lệ lỗi ngày càng tăng, loại lỗi không liên tục, chậm và tốn kém trong quá trình theo dõi trong sản xuất.

Những sai lầm phổ biến cần tránh

Mua 800G chỉ vì nó nhanh hơn

800G không tự động tốt hơn. Nếu khối lượng công việc, máy chủ hoặc cơ cấu không thể sử dụng băng thông thì chi phí tăng thêm sẽ không chuyển thành hiệu suất ứng dụng. Khớp cổng với nút cổ chai mà bạn thực sự có.

Bỏ qua băng thông PCIe

NIC chỉ có thể di chuyển dữ liệu nhanh như bus chủ cho phép. Xác minh việc tạo PCIe, số làn và cấu trúc liên kết máy chủ trước khi bạn chọn loại tốc độ chứ không phải sau khi phần cứng được giao đến.

Chọn mô-đun quang sai

Ở mức giá này, hệ số dạng mô-đun và thiết kế tản nhiệt là rất quan trọng. Một biến thể OSFP sai có thể không vừa với một lồng nhất định hoặc có thể vừa nhưng quá nóng khi lưu lượng truy cập liên tục, tạo ra các lỗi trông giống như sự cố về vải.

Quên tầm với của cáp

Mỗi loại DAC, AEC, AOC, quang học đa chế độ và quang học đơn{0}}chế độ đều phục vụ các phạm vi khoảng cách khác nhau và các loại sợi khác nhau mang theo khoảng cách khác nhau; của chúng tôiphân tích giới hạn phạm vi tiếp cận của OM1 đến OM5cho thấy mỗi lớp đứng đầu ở đâu. Việc chọn kết nối sai sẽ làm tăng độ trễ, chi phí hoặc phải làm lại.

Coi NIC, Công tắc và Quang học là các giao dịch mua riêng biệt

Đặt hàng bộ đổi nguồn, công tắc, bộ phận quang học và cáp dưới dạng một hóa đơn vật liệu đã được xác thực. Sự không khớp được phát hiện sau khi triển khai có nghĩa là một cổng liên kết nhưng không có cánh hoặc phần cứng phải được trả lại giữa-bản dựng, điều này gây gián đoạn hơn nhiều so với việc phát hiện cổng đó trong quá trình đánh giá chất lượng.

Khuyến nghị cuối cùng

Chọn NIC 400G để có bộ chuyển đổi đã được chứng minh, tiết kiệm chi phí- phù hợp với kết cấu AI, HPC, bộ lưu trữ và đám mây ngày nay. Đây là lựa chọn thiết thực cho hầu hết các cụm GPU và phòng-thế hệ hỗn hợp hiện có. Chọn NIC 800G khi mật độ băng thông, giao tiếp GPU quy mô lớn và mức độ sẵn sàng nâng cấp lớn hơn chi phí ban đầu và khi toàn bộ đường dẫn được xây dựng cho nó.

Quyết định không bao giờ chỉ là tốc độ. Vấn đề là liệu máy chủ, bộ chuyển mạch, hệ thống quang học, hệ thống cáp, nguồn và hệ thống làm mát của bạn có thể biến tốc độ đó thành hiệu suất ứng dụng hay không. Nguyên tắc bảo vệ ngân sách rất đơn giản: xác nhận NIC, bộ chuyển mạch, quang học và cáp là một hệ thống trước khi bạn đặt hàng.