InfiniBand vs RoCE cho Mạng suy luận AI

ChọnInfiniBandkhi khối lượng công việc suy luận của bạn tồn tại hoặc chết theo độ trễ đuôi có thể dự đoán được và chọnRoCE(RDMA qua Ethernet hội tụ) khi muốn có hiệu suất lớp RDMA{0}}trên cơ cấu Ethernet, bạn có thể mở rộng quy mô, chia sẻ và vận hành với nhóm mà bạn đã có. Không có lựa chọn nào chiến thắng ở mọi nơi. Quyết định phù hợp tùy thuộc vào kiểu suy luận của bạn, mục tiêu độ trễ p99 và p999, quy mô GPU, ngân sách và mức độ chuyên môn điều chỉnh Ethernet-không tổn hao thực sự có trong nhóm của bạn.

Tại sao mạng lại quan trọng hơn những gì các nhóm suy luận mong đợi

Trong nhiều năm, suy luận được coi là một nửa dễ dàng của câu chuyện GPU: một mô hình được tải trên một nút duy nhất, các yêu cầu được phân phát độc lập, rất ít lưu lượng truy cập về phía đông{0}}tây. Hình ảnh đó bây giờ đã lỗi thời. Suy luận hiện đại ngày càng được phân phối và một số mẫu tạo áp lực thực sự lên vải.

• Sự song song của tensorchia một lớp duy nhất trên các GPU, do đó mỗi bước mã thông báo sẽ kích hoạt tất cả các hoạt động-giảm bớt hoặc tất cả-thu thập giữa chúng. Đó là lưu lượng GPU thường xuyên,{3}}nhạy cảm, có độ trễ, chéo{4}} mà GPU chặn trong khi chờ đợi.
• Song song đường ốngtrao các kích hoạt từ giai đoạn này sang giai đoạn tiếp theo, thường là trên các nút, thêm các phần phụ thuộc nhiều nút-vào mỗi lượt chuyển tiếp.
• Điền trước và giải mã được phân táchtách giai đoạn điền trước nặng-điện toán khỏi giai đoạn giải mã nhạy cảm-về độ trễ, sau đó di chuyển bộ nhớ đệm KV giữa chúng. Những lần chuyển này có quy mô lớn và nhiều lần, đồng thời mọi độ trễ đều hiển thị trực tiếp dưới dạng thời gian-đến-mã thông báo-đầu tiên và độ trễ giữa các mã thông báo-mã thông báo chậm hơn.
• Truy xuất-thế hệ tăng cường (RAG)thêm lưu lượng truy cập hướng đông{0}}tây vào các dịch vụ vectơ và tìm kiếm. Độ trễ này thường ít quan trọng hơn-so với các hoạt động tập thể nhưng vẫn tải kết cấu, đặc biệt là ở khối lượng truy vấn cao.
• Việc phục vụ nhiều{0}}người thuêđặt nhiều mô hình và người dùng trên cùng một cơ cấu, trong đó các vụ nổ vi mô và{0}}hiệu ứng ồn ào lân cận trở thành rủi ro lớn nhất.

Khi mạng bị tắc nghẽn, các triệu chứng sẽ rất tốn kém: thời gian-để-mã thông báo đầu tiên-đầu tiên cao hơn, GPU ngừng hoạt động trong khi chờ dữ liệu, thông lượng giảm đột ngột và p95 và p99 không ổn định. Và đây là phần làm tăng điểm chuẩn: độ trễ trung bình che giấu tất cả. Suy luận sản xuất được đánh giá ở phần đuôi chứ không phải ở phần trung bình.

InfiniBand vs RoCE: Bảng tóm tắt suy luận AI

InfiniBand là gì?

InfiniBand là một kết cấu mạng được xây dựng có mục đích, được thiết kế ngay từ đầu để có độ trễ thấp, thông lượng cao và liên lạc không bị mất dữ liệu. Nó không phải là phiên bản nhanh hơn của Ethernet. Nó đi kèm với bộ điều hợp kênh máy chủ, bộ chuyển mạch, trình quản lý mạng con, hệ sinh thái cáp và mô hình kiểm soát-nghẽn riêng. Giá trị xác định của nó là hành vi xác định: nhiều GPU có thể giao tiếp với các yêu cầu chặt chẽ về thời gian và kết cấu tiếp tục hoạt động ổn định ngay cả khi lưu lượng truy cập chung lớn.

Các nền tảng InfiniBand theo định hướng AI-hiện đại mở rộng cơ sở đó với các khả năng nhắm thẳng vào các cụm GPU lớn. Ví dụ, dòng Quantum InfiniBand của NVIDIA bổ sung thêmđịnh tuyến thích ứng,-điện toán mạng và kiểm soát tắc nghẽn dựa trên đo từ xa-, giúp cơ cấu phân tán lưu lượng truy cập một cách thông minh và cách ly tải của người thuê này với tải của người thuê khác. Để suy luận, InfiniBand giành được vị trí của mình khi khối lượng công việc không thể chịu được hiện tượng giật hoặc khi một số nút GPU phải trao đổi dữ liệu nhanh chóng và nhất quán.

Sự cân bằng-là chi phí, sự tập trung vào hệ sinh thái và chuyên môn hóa hoạt động. Cấu trúc InfiniBand chuyên dụng có nghĩa là các công tắc, bộ chuyển đổi, cáp hoặc mô-đun quang chuyên dụng và các kỹ sư cảm thấy thoải mái với việc quản lý cấu trúc InfiniBand. Đối với một tổ chức đã vận hành các cơ sở Ethernet lớn, việc gắn chặt vào một kết cấu riêng biệt sẽ làm tăng thêm độ phức tạp trong việc mua sắm, lập kế hoạch-phụ tùng thay thế và chi phí giám sát.

RoCE (RDMA qua Ethernet hội tụ) là gì?

RoCE mang RDMA, bộ nhớ trực tiếp-đến-chuyển động dữ liệu bộ nhớ với chi phí CPU thấp, tới mạng Ethernet. RoCEv2, phiên bản được sử dụng trong các trung tâm dữ liệu hiện đại, có thể định tuyến trên các mạng IP lớp 3 và đã được tiêu chuẩn hóa bởiHiệp hội Thương mại InfiniBand. Khả năng định tuyến đó giúp RoCE phù hợp một cách tự nhiên với các thiết kế-nâng lá Ethernet trong khi sử dụng lại các NIC, bộ chuyển mạch, quang học và công cụ giám sát quen thuộc.

Điều đáng chú ý là việc truyền tải RDMA giả định một mạng gần như không mất dữ liệu. Thả một gói và quá trình vận chuyển sẽ quay lại trạng thái truyền lại làm hỏng độ trễ đuôi. Vì vậy, RoCE cần Ethernet bên dưới để hoạt động giống như một kết cấu không mất dữ liệu và điều đó phụ thuộc vào việc cấu hình cẩn thận của hai cơ chế cụ thể:Kiểm soát luồng ưu tiên (IEEE 802.1Qbb), tạm dừng một loại lưu lượng truy cập để ngăn chặn tình trạng rớt mạng vàThông báo tắc nghẽn rõ ràng (ECN), báo hiệu sớm tình trạng tắc nghẽn nên người gửi sẽ chậm lại trước khi bộ đệm tràn. Thêm vào đó là tính năng quản lý hàng đợi, phân bổ bộ đệm và ánh xạ QoS, có thể thấy rõ rằng RoCE hiệu suất cao không phải là Ethernet thông thường.

Hoàn thành tốt, RoCE cung cấp đủ độ trễ và thông lượng cho nhiều dịch vụ suy luận sản xuất, đồng thời nhiều khối lượng công việc suy luận ít được đồng bộ hóa chặt chẽ hơn so với đào tạo phân tán, điều này có lợi cho RoCE. Nếu thực hiện kém, nó sẽ gây mất gói, chặn-đầu{2}}đường truyền, lan truyền tắc nghẽn và đuôi không ổn định, tất cả những điều này trực tiếp dẫn đến chất lượng dịch vụ xuống cấp.

Độ trễ của InfiniBand và RoCE: Cái nào tốt hơn cho suy luận p99?

Cả hai loại vải đều có thể cung cấp kết nối mạng có-băng thông cao, độ trễ- thấp. Họ khác nhau về cách họ đạt được điều đó. InfiniBand được xác định theo cấu trúc nên độ giật vẫn ở mức thấp ngay cả khi chịu tải hỗn hợp. RoCE có thể phù hợp với nhiều khối lượng công việc, nhưng kết quả phụ thuộc vào kết cấu Ethernet và mức độ điều chỉnh của nó.

Từ góc độ triển khai, vấn đề thực sự trong sản xuất hiếm khi nằm ở băng thông cao điểm. Nó bị giật trong lưu lượng truy cập hỗn hợp, nhiều, nhiều{1}}người thuê. Vải RoCE vượt qua bài kiểm tra thông lượng theo phong cách iperf{3}}sạch sẽ vẫn có thể trượt mục tiêu p99 ngay khi các vụ nổ vi mô và xung đột xuất hiện. Khoảng cách giữa điểm chuẩn trong phòng thí nghiệm và SLA sản xuất là nơi gây ra nhiều bất ngờ nhất.

InfiniBand có xu hướng chiếm ưu thế khi:

• Dịch vụ này có các mục tiêu độ trễ p99 hoặc p999 nghiêm ngặt.
• Suy luận trải rộng trên nhiều nút GPU với tính năng song song tensor hoặc đường ống hoặc sử dụng tính năng điền trước và giải mã được phân tách.
• Việc sử dụng GPU rất nhạy cảm với độ trễ mạng, vì vậy việc dừng hoạt động rất tốn kém.
• Cụm chạy một số lượng nhỏ khối lượng công việc có mức độ ưu tiên cao-trong đó khả năng dự đoán cao hơn tính linh hoạt.

RoCE thường đủ tốt khi:

• Các yêu cầu chủ yếu là độc lập hoặc sự ghép nối lỏng lẻo.
• Công việc chạy trong một nút hoặc một số ít nút.
• Thông lượng hàng loạt quan trọng hơn-độ trễ cực thấp.
• Nhóm đã vận hành Ethernet và ưu tiên hàng đầu là tính linh hoạt về chi phí hoặc nhà cung cấp.
• Cụm hỗ trợ nhiều đối tượng thuê hoặc khối lượng công việc hỗn hợp.

Chi phí RoCE so với InfiniBand: Điều gì thực sự thúc đẩy TCO?

RoCE thường được gọi là lựa chọn rẻ hơn, nhưng giá chuyển đổi chỉ là một phần nhỏ của bức tranh. Một so sánh thực tế xem xét toàn bộ nhóm: bộ điều hợp mạng hoặc HCA, bộ chuyển mạch, mô-đun quang, DAC, AOC và cáp quang, cấu trúc liên kết giá đỡ, nguồn và làm mát, hệ điều hành mạng, giám sát và đo từ xa, thời gian kỹ thuật, phụ tùng thay thế, hỗ trợ của nhà cung cấp và lộ trình đến 400G hoặc 800G.

InfiniBand thường có chi phí trả trước cao hơn vì nó yêu cầu loại vải chuyên dụng và các bộ phận chuyên dụng. Trong các môi trường mà hành vi xác định là ưu tiên hàng đầu, nó có thể làm giảm nỗ lực điều chỉnh và khắc phục sự cố mà kết cấu Ethernet không tổn hao yêu cầu. RoCE giảm chi phí phần cứng khi cơ sở Ethernet hiện có, với sự hỗ trợ Cầu nối Trung tâm Dữ liệu phù hợp, có thể được tái sử dụng, nhưng nó chuyển nỗ lực sang thiết kế, xác thực, giám sát và khắc phục sự cố kết cấu không mất dữ liệu. Thiết kế RoCE chi phí thấp-sẽ nhanh chóng trở nên đắt đỏ nếu gây ra độ trễ không ổn định và việc chữa cháy lặp đi lặp lại.

Chi phí và rủi ro tập trung ở lớp vật lý khi tốc độ tăng lên. Ở 400G và 800G, hệ thống quang học chiếm ưu thế ở cả chế độ hóa đơn và chế độ hỏng hóc. Hầu hết các cổng tốc độ cao- đều cập bếnQSFP-DD hoặc các hệ số dạng tương đương, và khớp với bên phảiquang học-chế độ đơn hoặc đa chế độvới phạm vi tiếp cận thực tế của bạn là một trong những cách đơn giản nhất để tránh chi tiêu quá mức cho một loại vải không cần mô-đun đường dài.

Nói một cách thẳng thắn: RoCE không phải là lựa chọn rẻ hơn nếu nhóm của bạn thiếu chuyên môn về Ethernet{0}}không mất dữ liệu. Khoản tiết kiệm được trên phần cứng có thể nhanh chóng bị tiêu tốn bởi chi phí kỹ thuật để giữ cho vải ổn định.

Khả năng mở rộng và hoạt động

Khả năng mở rộng nhiều hơn số lượng cổng. Nó bao gồm việc triển khai, giám sát, mở rộng và phục hồi kết cấu dễ dàng như thế nào khi có sự cố.

InfiniBand mạnh mẽ khi cụm được thiết kế dưới dạng kết cấu hiệu suất cao chuyên dụng ngay từ ngày đầu tiên. Nó mang lại hành vi nhất quán trên quy mô lớn, nhưng nó yêu cầu công cụ cụ thể-của InfiniBand, chẳng hạn như trình quản lý mạng con và quản lý kết cấu thống nhất cũng như đội ngũ nhân viên hiểu rõ các khái niệm về InfiniBand. Điều đó làm cho nó phù hợp một cách tự nhiên với các cụm AI tập trung được xây dựng xung quanh khối lượng công việc GPU.

Khe cắm RoCE vào các thiết kế trung tâm dữ liệu Ethernet: cấu trúc liên kết-cột lá, định tuyến IP, ECMP và các phương pháp giám sát quen thuộc. Đó chính xác là lý do tại sao nó hấp dẫn với cơ sở hạ tầng GPU-kiểu đám mây và nhiều{3}}người thuê. Kỷ luật mà nó đòi hỏi là sự nhất quán. PFC, ECN, QoS, quản lý bộ đệm và kiểm soát tắc nghẽn phải được thiết kế mạch lạc trên toàn bộ đường dẫn, vì một cấu hình sai nhỏ ở một góc của kết cấu có thể lan rộng và làm suy giảm nhiều khối lượng công việc cùng một lúc. Lớp vật lý cũng phải mở rộng quy mô một cách rõ ràng; mật độ-caoCáp đột phá và đường trục MPO và MTPgiữ cho cấu trúc cột sống của chiếc lá đang phát triển có thể quản lý được thay vì biến mọi bản mở rộng thành một câu đố về hệ thống cáp.

Điểm hình ảnh-phản chiếu đáng được nêu rõ: InfiniBand khó có thể biện minh khi suy luận chủ yếu nằm trong một nút duy nhất và kết cấu hầu như không được thực hiện.

Mạng nào cho mỗi khối lượng công việc suy luận

Khi nào RoCE đủ tốt và khi nào nó trở nên rủi ro

RoCE đủ tốt cho các yêu cầu độc lập hoặc được ghép nối lỏng lẻo, công việc hàng loạt theo định hướng thông lượng-và các cụm nhiều{1}đối tượng thuê nơi bạn có thể điều chỉnh sự cô lập, đặc biệt là khi nhóm thông thạo Ethernet kết nối trung tâm dữ liệu. Nó trở nên rủi ro theo những cách cụ thể, dễ nhận biết:

• Cơn bão PFC.Tạm dừng các khung truyền ngược dòng và đóng băng lưu lượng không liên quan gì đến tắc nghẽn ban đầu.
• Chặn đầu dòng-của-.Ánh xạ mức độ ưu tiên thô cho phép một lớp bị tắc nghẽn ngăn cản những lớp khác chia sẻ hàng đợi.
• ECN nhầm lẫn.Đánh dấu quá muộn và bạn sẽ bị rớt; đánh dấu quá mạnh và bạn điều tiết thông lượng một cách không cần thiết.
• Tắc nghẽn vi mô.Dưới{0}}giây sẽ làm tràn bộ đệm nhưng vẫn ẩn khi theo dõi mẫu đó ở độ phân giải một-giây.
• Cấu hình không nhất quán.Các cài đặt không khớp trên lá và cột sống khiến tắc nghẽn lan rộng thay vì tồn tại cục bộ.

Không có lý do nào trong số này là lý do để tránh RoCE. Đó là lý do để thiết kế kết cấu không mất dữ liệu một cách mạch lạc từ đầu đến cuối và đầu tư vào phép đo từ xa nhận biết-chi tiết, vi mô{2}}trước khi mở rộng quy mô.

Khi nào InfiniBand xứng đáng và khi nào bạn mua quá nhiều

InfiniBand đáng giá hơn đối với các mục tiêu p99 và p999 nghiêm ngặt, phân phối nhiều-nút được kết hợp chặt chẽ và các khối lượng công việc-quan trọng đối với nhiệm vụ có mức phạt SLA cao, đặc biệt là trên cụm GPU chuyên dụng được thiết kế xung quanh cơ cấu. Bạn có thể mua quá nhiều khi suy luận vẫn nằm trong một nút, khi công việc được định hướng theo lô-thông lượng, khi bạn cần cùng một kết cấu để thực hiện lưu trữ, quản lý và lưu lượng truy cập đám mây nhiều{6}}người thuê hoặc khi bạn đơn giản là thiếu khả năng vận hành để chạy tốt InfiniBand.

Các chi phí không xuất hiện trên báo giá chuyển đổi là có thật: sự tập trung vào hệ sinh thái, chi phí vận hành cơ cấu thứ hai song song với mạng Ethernet của bạn và lập kế hoạch riêng cho phụ tùng, quang học và giám sát.

Cách kiểm tra InfiniBand và RoCE trước khi bạn chọn

Không quyết định về danh tiếng của giao thức hoặc bảng thông số kỹ thuật. Quyết định một điểm chuẩn tương tự như sản xuất. Một trình tự thực tế:

• Xác định SLA ở dạng đuôi.Đặt p50, p95, p99 và p999 cho thời gian-thành-mã thông báo-đầu tiên và độ trễ giữa các mã thông báo-, không chỉ là mức trung bình.
• Phát lại lưu lượng truy cập thực tế.Sử dụng các kích thước mô hình hỗn hợp, bùng nổ và đồng thời nhiều{0}}đối tượng thuê thay vì một luồng sạch duy nhất.
• Tải đến tắc nghẽn.Đẩy vật liệu cho đến khi nó thực sự căng, sau đó đo mức sử dụng GPU. Nếu GPU bị treo trên mạng thì kết cấu chính là nút cổ chai của bạn.
• Xem các quầy bên phải.Theo dõi các khung tạm dừng, dấu ECN, rớt gói, truyền lại, bộ đếm lỗi cổng và ở 400G và 800G, lỗi FEC.
• Xác nhận lớp vật lý.Các chất xơ được lắp đặt sạch sẽ, đúng cách;lắp đặt sợi cẩn thậnngăn chặn các lỗi gián đoạn, khó-chẩn đoán mà các liên kết tốc độ cao-thường mắc phải.

Nếu RoCE giữ mục tiêu p99 của mình trong tải thực tế, có nhiều{1}}người thuê với các bộ đếm ổn định thì đó là một lựa chọn mạnh mẽ và{{2} hiệu quả về mặt chi phí. Nếu nó chỉ vượt qua các bài kiểm tra đơn{4}}rõ ràng thì bạn vẫn chưa kiểm tra điều quyết định SLA của mình.

Những sai lầm phổ biến cần tránh

• Giả sử tất cả suy luận là mạng nhẹ.Một số suy luận đơn giản và độc lập; một số được phân phối, độ trễ-nhạy cảm và băng thông-nghèo. Việc coi mọi việc là dễ dàng sẽ dẫn đến cơ sở hạ tầng được xây dựng kém.
• Chỉ so sánh độ trễ trung bình.Suy luận sản xuất phụ thuộc vào đuôi. Luôn đánh giá p95, p99 và p999 theo lưu lượng truy cập thực tế.
• Coi RoCE như Ethernet cắm{0}}và{1}}chạy.RoCE có-hiệu suất cao cần có thiết kế cơ cấu không làm mất dữ liệu-có chủ ý, kiểm soát tắc nghẽn và khả năng quan sát liên tục.
• Chọn InfiniBand chỉ vì nó nhanh hơn.Tùy chọn hiệu suất tốt nhất không phải lúc nào cũng là tùy chọn kinh doanh tốt nhất. Nếu khối lượng công việc không cần hành vi xác định, RoCE có thể mang lại giá trị tốt hơn.
• Bỏ qua lớp vật lý.Ở 400G và 800G, cáp, quang học, đầu nối và độ sạch của sợi tạo ra các lỗi không liên tục khó tìm và tốn kém để sửa chữa.

Dòng dưới cùng

Đối với suy luận AI, InfiniBand và RoCE đều hợp lệ và chúng phục vụ các mức độ ưu tiên khác nhau. Chọn InfiniBand khi bạn cần mạng có độ trễ thấp-nhất quán nhất cho-thời gian thực, suy luận nhạy cảm theo SLA- hoặc được kết hợp chặt chẽ. Chọn RoCE khi bạn cần một kết cấu tiết kiệm chi phí,-dựa trên Ethernet, có thể mở rộng-để suy luận hàng loạt, dịch vụ GPU nhiều-người thuê, khối lượng công việc RAG và cơ sở hạ tầng linh hoạt.

Quyết định nên bắt đầu từ khối lượng công việc, mục tiêu độ trễ, quy mô cụm, khả năng hoạt động của bạn và lộ trình nâng cấp chứ không phải với giao thức. Nếu cụm của bạn phải giữ mức p99 nghiêm ngặt khi chịu tải nặng thì InfiniBand xứng đáng được xem xét nghiêm túc. Nếu mục tiêu của bạn là mở rộng quy mô suy luận một cách kinh tế trên trung tâm dữ liệu Ethernet thì RoCE thường là con đường thực tế hơn. Dù bằng cách nào, hãy đo điểm chuẩn trong quá trình sản xuất-chẳng hạn như tải trước khi bạn cam kết.