Trí tuệ nhân tạo đang định hình lại thiết kế trung tâm dữ liệu Hầu hết sự chú ý đều đổ dồn vào GPU, bộ tăng tốc và khả năng làm mát, nhưng lớp âm thầm quyết định liệu phần còn lại của quá trình xây dựng có thành công hay không lại là hệ thống cáp. Trong cụm AI, lớp vật lý xác định xem bạn có thực sự đạt tới 400G và 800G hay không, liệu các liên kết tốc độ cao-có đủ sạch để vượt qua lưu lượng hay không, liệu luồng không khí có tồn tại trong một giá đã được đông đúc hay không và liệu bước nhảy tốc độ tiếp theo của bạn là đổi thẻ hay nâng cấp xe nâng.
Hướng dẫn này được viết cho các nhóm cơ sở hạ tầng và mạng-quang. Nó giải thích điều gì làm cho hệ thống cáp AI trở nên khác biệt, các yêu cầu quan trọng với số thực, cách so sánh DAC, AOC và cáp quang có cấu trúc, quy trình lập kế hoạch-từng{3}}từng bước, những điều cần chuẩn bị trước khi di chuyển 400G hoặc 800G và danh sách kiểm tra mà bạn thực sự có thể sử dụng. Các tài liệu tham khảo kỹ thuật ở đây dựa trên các tiêu chuẩn IEEE 802.3 và ANSI/TIA-942 hiện hành.
Tại sao khối lượng công việc AI lại thay đổi yêu cầu về cáp của trung tâm dữ liệu
Các trung tâm dữ liệu doanh nghiệp truyền thống được xây dựng dựa trên lưu lượng ứng dụng khá dễ dự đoán, phần lớn theo hướng bắc{0}}hướng nam, di chuyển giữa người dùng, ứng dụng và mạng bên ngoài. Các cụm AI đảo ngược mô hình đó. Trong quá trình đào tạo và suy luận quy mô-lớn, luồng chủ yếu là hướng đông-tây: GPU liên tục trao đổi độ dốc và kích hoạt với nhau thông qua các hoạt động tập thể chẳng hạn như tất cả-giảm, thường là qua kết cấu truy cập bộ nhớ trực tiếp từ xa (RDMA).
Điều này có thể nhìn thấy trong các thiết kế tham khảo của nhà cung cấp. NVIDIA xây dựng mạng điện toán GPU dưới dạng kết cấu cột sống lá-dựa trên RDMA bằng cách sử dụngcấu trúc liên kết được tối ưu hóa-đường ray để mọi GPU chỉ cách nhau tối đa một bước nhảy, đó là yếu tố giúp giao tiếp nhiều{0}GPU hiệu quả trên quy mô lớn. Hệ quả của hệ thống cáp là số lượng cổng tuyệt đối: một nút GPU tám-có thể cung cấp tám cổng 400G (hoặc 800G) phía đông-và một nhóm huấn luyện có nhiều công tắc lá trên mỗi giá sẽ nhân sợi trục và vá lỗi rất nhanh.
Khi lớp vật lý không được- hoạch định đúng kế hoạch, các vấn đề sẽ không xuất hiện vào ngày đầu tiên. Chúng xuất hiện sau đó, dưới dạng các lối đi tắc nghẽn làm tắc nghẽn luồng không khí, khi cách ly lỗi mất hàng giờ thay vì vài phút và khi phải làm lại trong chu kỳ nâng cấp đầu tiên. Một chi tiết trông có vẻ tầm thường, chẳng hạn như cực MPO bị đảo ngược hoặc mặt cuối bị ô nhiễm, có thể khiến toàn bộ đường ray ngoại tuyến. Đối với cơ sở hạ tầng AI, hệ thống cáp thuộc về kiến trúc ngay từ đầu chứ không phải là nhiệm vụ cuối cùng trước khi vận hành.
Cáp trung tâm dữ liệu sẵn sàng và truyền thống-AI
Khoảng cách giữa hệ thống cáp truyền thống và hệ thống cáp-có sẵn AI là sự thay đổi về ưu tiên thiết kế chứ không chỉ là số lượng cáp lớn hơn. Thiết kế truyền thống tối ưu hóa khả năng kết nối ngày nay; Các thiết kế sẵn sàng cho AI-tối ưu hóa tốc độ di chuyển, mật độ, chất lượng liên kết có thể dự đoán được và khả năng sử dụng qua nhiều chu kỳ nâng cấp.
| Yếu tố thiết kế | Cáp trung tâm dữ liệu truyền thống | Hệ thống cáp trung tâm dữ liệu sẵn sàng cho AI- |
|---|---|---|
| mô hình giao thông | Có thể dự đoán được, thường là phía bắc{0}}nặng nề phía nam | Lưu lượng GPU đông-tây-đến-GPU nhiều trên kết cấu RDMA |
| Lập kế hoạch tốc độ | Có kích thước phù hợp với tốc độ mạng hiện tại | Được lên kế hoạch cho 400G và 800G, với lộ trình hướng tới 1,6T |
| Tỉ trọng | Mật độ cổng và sợi vừa phải | Sợi song song mật độ cao, base-8 và base-16 MTP/MPO |
| Quản lý cáp | Được đối xử chủ yếu như một tổ chức | Được coi là một phần của luồng không khí, thời gian hoạt động và bảo trì |
| Đường dẫn nâng cấp | Thường yêu cầu-kéo lại cáp | Mô-đun: trao đổi quang học và băng cassette, giữ nguyên nhà máy sợi quang |
| BẢO TRÌ | Truy tìm thủ công, chậm hơn | Đã được kiểm tra, dán nhãn, ghi lại, với các lộ trình xác định |
Mục tiêu là một nhà máy sợi có thể đáp ứng ít nhất một bước nhảy tốc độ và một lần mở rộng công suất mà không cần thiết kế lại.
Các yêu cầu chính về cáp cho trung tâm dữ liệu AI
Lập kế hoạch lớp vật lý cho 400G và 800G, không chỉ tốc độ hiện nay
Các cụm AI tăng tốc độ nhanh chóng, từ 100G lên 400G, 800G và cuối cùng là 1,6T. Giao diện 400G và 800G hiện đã được chuẩn hóa chính thức:IEEE 802.3df, được phê duyệt vào năm 2024, xác định MAC, lớp vật lý và các tham số quản lý cho Ethernet 400 Gb/s và 800 Gb/s, bao gồm các loại phương tiện vật lý như 800GBASE-SR8 và 800GBASE-DR8. Về mặt thiết bị, 400G thường có hệ số dạng QSFP-DD hoặc QSFP112, trong khi 800G sử dụng OSFP hoặc QSFP-DD800. Nếu bạn đang so sánh việc đóng gói bộ thu phát và lập bản đồ làn đường, điều nàyQSFP-Tổng quan về kỹ thuật của DDlà một điểm khởi đầu hữu ích.
Quy tắc thực tế: kích thước loại sợi, số lượng sợi và đế đầu nối để cây tồn tại trong lần nhảy tiếp theo. Một đường trục có kích thước chỉ dành cho tốc độ cổng ngày nay sẽ trở thành nút thắt cổ chai khi chuyển đổi silicon và quang học tiến về phía trước.
Sử dụng Sợi MTP/MPO mật độ cao-cho khả năng kết nối cụm GPU{1}}
Liên kết AI tốc độ cao-là các kết nối quang học song song và ánh xạ quang học song song trực tiếp lên số lượng sợi quang. Liên kết 400G-DR4 sử dụng bốn làn hoặc tám sợi, thường được kết thúc trong một ống nối MPO-12. Liên kết 800G-SR8 hoặc 800G-DR8 sử dụng tám làn hoặc mười sáu sợi, thường là MPO-16 với các mặt cuối APC. Các đường trục MTP/MPO Base-8 và base-16 được ghép nối với các băng cassette hợp nhất hàng trăm liên kết này trên mỗi giá đỡ và biến việc triển khai thành các bước di chuyển có thể lặp lại, đã được thử nghiệm tại nhà máy thay vì nối tại hiện trường. Kết thúc trướcCáp trung kế MTP/MPOvà các cụm đột phá (MPO đến LC hoặc MPO đến MPO) là xương sống của phương pháp này.
Mật độ vẫn phải quy hoạch chứ không được tăng tối đa. Việc đóng gói sợi quang vào giá mà không cần quan tâm đến việc lấp đầy đường đi và luồng không khí sẽ tạo ra áp suất ngược{1}}lên khí thải của thiết bị và khiến các cổng không thể hoạt động được. Đặt tỷ lệ lấp đầy và quy tắc quản lý độ trễ-trước chứ không phải sau lần cài đặt đầu tiên.
Quản lý tổn thất chèn, độ sạch của đầu nối và độ phân cực
Quang học AI tốc độ cao-có độ ổn định kém hơn so với các liên kết trước đó. Tín hiệu PAM4 được sử dụng ở 400G và 800G chạy với ngân sách tổn thất kênh chặt chẽ hơn so với các liên kết NRZ cũ hơn và mỗi cặp MPO hoặc LC được kết hợp đều tăng thêm tổn thất chèn, thường là vài phần mười decibel cho mỗi kết nối. Trên một kênh có cấu trúc với một số điểm kết nối và độ dài cáp quang, ngân sách đó sẽ biến mất nhanh chóng, do đó số lượng đầu nối là một biến số thiết kế chứ không phải là một yếu tố cần cân nhắc. Bạn cần hiểu rõ sự khác biệt giữa suy hao chèn và suy hao phản hồi và lý do tại sao cả hai đều quan trọng đối với quang học song song trước khi bạn hoàn thiện một kênh; người giải thích này trênmất chèn trong mạng cáp quangbao gồm các cơ khí.
Sự ô nhiễm là một trong những nguyên nhân hàng đầu gây ra lỗi liên kết trường, vì vậy mọi mặt cuối phải được kiểm tra và làm sạch trước khi giao phối. Phân cực cần có sơ đồ rõ ràng (Phương thức A, B hoặc C) và các liên kết song song chế độ đơn thường sử dụng các đầu nối APC góc cạnh để kiểm soát suy hao phản hồi. Bán kính uốn cong đóng vai trò quan trọng trong các tấm dày đặc, nơi mà sợi quang-không nhạy cảm uốn cong sẽ có lợi nhuận. Độ tin cậy ở đây là nguyên tắc lắp đặt và bảo trì cũng như sự lựa chọn thành phần.
Thiết kế kiến trúc cáp có cấu trúc mô-đun, có thể mở rộng{0}}
Cơ sở hạ tầng AI thay đổi trong một chu kỳ ngắn, do đó, một nhà máy khó sửa đổi sẽ làm chậm mỗi lần triển khai trong tương lai. Hệ thống cáp có cấu trúc, được xây dựng từ các đường trục, băng cassette, vỏ bọc và các đường dẫn xác định, cho phép các nhóm bổ sung công suất hoặc -dây ray lại vải mà không cần-kéo lại cáp.ANSI/TIA-942 chỉ định các yêu cầu cơ sở hạ tầng viễn thông tối thiểu cho trung tâm dữ liệuvà cấu trúc liên kết cáp nhằm đáp ứng các ứng dụng trong tương lai, đây chính xác là tư thế mà việc xây dựng AI cần có. Với nền tảng này, hầu hết các nâng cấp tốc độ đều trở thành vấn đề hoán đổi quang học và băng cassette thay vì xây dựng lại lớp vật lý.
Định tuyến cáp cho luồng không khí và làm mát trong giá đỡ mật độ-cao
Giá đỡ AI đang nóng. Mật độ năng lượng trong các giá đỡ GPU dày đặc nhất có thể vượt quá 100 kW và ở những mức đó, hệ thống cáp bị tắc nghẽn trực tiếp gây ra hiện tượng tuần hoàn và các điểm nóng cục bộ.Hướng dẫn ASHRAE TC 9.9 xây dựng khung kiểm soát nhiệt xung quanh đầu vào thiết bị CNTT và lối đi nóng-/lạnh- sạch sẽ, và hệ thống cáp hỗ trợ điều đó hoặc chống lại nó. Trong thực tế, điều đó có nghĩa là các đường dẫn cáp quang phía trên nếu có thể, sự phân tách rõ ràng giữa nguồn và dữ liệu, các bộ quản lý dọc và ngang có kích thước phù hợp với số lượng cáp thực, độ chùng có kỷ luật và định tuyến không bao giờ chặn ống xả phía sau hoặc tủ ống khói. Quản lý cáp giúp theo dõi các liên kết cũng giúp giảm thiểu lỗi của con người trong quá trình di chuyển và thay đổi.
DAC, AOC hay Sợi có cấu trúc? Ma trận lựa chọn cáp của trung tâm dữ liệu AI
Không có phương tiện nào tốt nhất cho cụm AI; sự lựa chọn đúng đắn được thúc đẩy bởi phạm vi tiếp cận và vai trò. Bên trong giá đỡ, đồng-có phạm vi tiếp cận ngắn vẫn chiếm ưu thế về chi phí, năng lượng và độ trễ. Khi các liên kết trải dài qua các hàng và sảnh, sợi quang-chế độ đơn sẽ trở thành xương sống có thể mở rộng. Ma trận bên dưới so sánh các tùy chọn phổ biến theo cách đánh giá thiết kế thực sự cân nhắc chúng.
| Lựa chọn | Phạm vi tiếp cận điển hình | Tốc độ điển hình | Nó phù hợp ở đâu | Phương tiện và đầu nối | Chi phí và sức mạnh | Trường hợp sử dụng phù hợp nhất |
|---|---|---|---|---|---|---|
| DAC thụ động | Lên đến khoảng 3 m | Lên tới 400G (ví dụ: 400G-CR8) | Giá-trong giá và-mặt trên giá-của-giá liền kề | Đồng Twinax, đầu tích hợp | Chi phí thấp nhất, công suất thấp nhất, độ trễ thấp nhất | GPU hoặc máy chủ sẽ rời khỏi cùng một giá hoặc giá tiếp theo |
| AOC | Một vài mét đến khoảng 30 m, lâu hơn trong một số trường hợp | 400G và 800G | Trong một hàng, trên các giá đỡ gần đó | Lõi đa mode, đầu thu phát cố định | Công suất thấp, không cần làm sạch mặt cuối hiện trường | Máy chủ cố định-đến-các liên kết lá ngoài phạm vi tiếp cận của DAC |
| Sợi có cấu trúc đa mode (OM4/OM5) | Hàng chục mét, lên tới khoảng 100 m, ngắn hơn ở mức 800G | 400G và 800G SR/VR | Cột sống lá{0}}trong hội trường | OM4/OM5 với MTP/MPO và LC | Có thể tái sử dụng và sử dụng được | liên kết lá ngắn-đến-cột sống và hàng-đến-hàng |
| Sợi có cấu trúc đơn chế độ (OS2) | 500 m đến 2 km (DR/FR), lên tới 10 km (LR) | 400G và 800G DR/FR/LR | Cột sống, tòa nhà-chữ thập, tòa nhà chéo- | OS2 với MTP/MPO (APC) và LC/APC | Khả năng tiếp cận và mở rộng cao nhất | Đường liên kết lên, đường chéo và kết cấu GPU lớn hơn |
Đây cũng là lý do tại sao tuyên bố chung chung như "sợi luôn được ưu tiên" cần được cảnh báo: sợi là nền tảng có thể mở rộng cho vải, nhưng DAC thụ động vẫn là lựa chọn kỹ thuật tốt hơn cho bước nhảy dài một{0}} mét bên trong giá đỡ.
Cách lập kế hoạch đi cáp trung tâm dữ liệu AI, từng bước
Bước 1: Lập bản đồ khối lượng công việc AI và cấu trúc liên kết mạng
Bắt đầu với khối lượng công việc. Nhóm đào tạo lớn, nhóm suy luận thông lượng cao, cụm HPC và triển khai nặng về bộ nhớ- không chia sẻ cùng một cấu hình lưu lượng truy cập. Sau đó, lập bản đồ nơi GPU tính toán (phía đông-tây), bộ lưu trữ, phía bắc-nam và các mạng quản lý-ngoài{7}} băng tần kết nối. Việc triển khai suy luận thuần túy có thể không cần kết cấu phía đông{9}}tây lớn, trong khi một nhóm đào tạo nhiều{10}}giá đỡ thì sẽ cần. Thiết kế theo lưu lượng giao thông thực tế, không chỉ độ cao của giá đỡ.
Bước 2: Khóa mục tiêu tốc độ hiện tại và tương lai
Xác định cả giai đoạn đầu tiên và giai đoạn tiếp theo. Nếu một nhóm chạy 400G hôm nay và 800G vào năm tới, thì nhà máy sợi hiện nay phải có kích thước 800G. Ngoài tầm nhìn đó, công việc trên Ethernet lớp terabit-đã được tiến hành:Lực lượng đặc nhiệm IEEE P802.3dj đang xác định hoạt động 200G, 400G, 800G và 1,6 Tb/s bằng cách sử dụng tín hiệu làn 200 Gb/s-mỗi-làn. Biết được lộ trình đang hướng tới đâu sẽ cho bạn biết số lượng sợi quang và khả năng dự trữ của đường dẫn.
Bước 3: Chọn Phương tiện và Trình kết nối có Lề
Câu hỏi về OS2-so với-OM4 chủ yếu là câu hỏi về phạm vi tiếp cận. OM4 phù hợp với các liên kết cột sống lá dưới-100 m, nhưng phạm vi tiếp cận sẽ co lại khi tốc độ tăng lên, vì vậy, khi các liên kết xuyên qua các hàng hoặc hành lang hoặc khi bạn muốn có khoảng không 800G DR/FR, OS2 chế độ đơn sẽ là nền tảng an toàn hơn. Xem xét lạigiới hạn khoảng cách của sợi đa mode OM1 đến OM5làm cho sự đánh đổi-cụ thể hóa. Ghép cơ sở MPO (12 so với 16) với bản đồ sợi quang và lập kế hoạch phân cực sớm; đối với bảng mật độ-cao, điều nàyHướng dẫn lựa chọn MTP và MPObao gồm những khác biệt quan trọng. Trong trường hợp bộ thu phát và tốc độ cổng không khớp nhau, hãy lập kế hoạch đột phá (MPO đến LC) thay vì ứng biến khi cài đặt.
Bước 4: Lập kế hoạch về mật độ giá đỡ, lối đi và luồng không khí cùng nhau
Bố trí giá đỡ, định tuyến cáp và làm mát là một quyết định trong môi trường AI mật độ{0}} cao chứ không phải ba. Trước khi cài đặt, hãy đếm số lượng cáp đi vào và rời khỏi mỗi giá đỡ, quyết định vị trí của bảng vá lỗi, lên kế hoạch chùng xuống và xác nhận kỹ thuật viên có thể tiếp cận và thay thế cổng mà không làm ảnh hưởng đến các liên kết trực tiếp. Để lại khoảng trống tăng trưởng trong khay và tỷ lệ lấp đầy. Một giá đỡ trông sạch sẽ khi vận hành sẽ không thể sử dụng được sau hai chu kỳ nâng cấp nếu các đường dẫn đã đạt tối đa vào ngày đầu tiên.
Bước 5: Kiểm tra, lập tài liệu và duy trì thông số kỹ thuật
Kiểm tra mọi liên kết đến thông số kỹ thuật của dự án. Đối với sợi quang tốc độ cao,-có nghĩa là kiểm tra suy hao-chèn, OTDR khi thích hợp, xác minh phân cực và kiểm tra bề mặt cuối. Ghi lại mọi cổng, đường trục, băng cassette và đường dẫn, bao gồm cả sơ đồ phân cực, chiều dài và tổn thất đo được, với các nhãn ánh xạ tới-bản vẽ được tạo sẵn. Việc bảo trì sau đó trở thành thói quen: làm sạch bề mặt cuối, kiểm tra định kỳ, dán nhãn và kiểm soát thay đổi. Âm thanh theo sauthực hành lắp đặt cáp quangđể kéo lực căng và bán kính uốn cong giúp bảo vệ mức tổn thất mà bạn đã kiểm tra.
Cần chuẩn bị những gì trước khi di chuyển 400G hoặc 800G
Việc di chuyển thất bại ở lớp vật lý thường xuyên hơn so với lớp quang học. Trước khi cắt bỏ, hãy thực hiện các bước sau:
- Xác nhận loại và số lượng sợi, đồng thời xác minh rằng OM4 hiện có vẫn đạt tốc độ mục tiêu vì khoảng cách được hỗ trợ giảm khi tốc độ đường truyền tăng.
- Kiểm tra xem đế đầu nối có khớp với quang học mới không (MPO-12 so với MPO-16) và sơ đồ phân cực vẫn giữ nguyên.
- Tính toán lại ngân sách tổn thất liên kết cho PAM4, sau đó giảm số lượng kết nối nếu có thể và-kiểm tra lại mọi giao diện cuối.
- Xác nhận đường dẫn và dung lượng khay cho hệ thống cáp bổ sung, đồng thời xác nhận khoảng trống tản nhiệt của giá đỡ để có-công suất quang cao hơn.
- Chuẩn bị trước các băng cassette, hộp đựng, nhãn và kế hoạch kiểm tra để việc cắt bỏ là một sự hoán đổi-chứ không phải một-kéo lại.
Những sai lầm phổ biến cần tránh
Chỉ định cỡ cho băng thông ngày nay.Một nhà máy được xây dựng với tốc độ hiện tại sẽ có tuổi thọ nhanh chóng. Xây dựng theo lộ trình thực tế để đạt được tốc độ cao hơn và mật độ cổng cao hơn.
Coi quản lý cáp như mỹ phẩm.Hệ thống cáp gọn gàng rất hữu ích nhưng việc quản lý thực sự là về luồng không khí, khả năng truy cập và cách ly lỗi chứ không phải về hình thức bên ngoài.
Hy sinh quyền truy cập bảo trì cho mật độ.Mật độ-cao không "nhỏ gọn nhất có thể". Nếu kỹ thuật viên không thể theo dõi và thay thế kết nối một cách an toàn, bạn sẽ phải trả phí thiết kế trong quá trình vận hành thực tế.
Mua các thành phần một cách riêng biệt.Cáp, đầu nối, bảng điều khiển, bộ thu phát, giá đỡ và đường dẫn tạo thành một kênh. Bản thân một bộ phận trông rẻ tiền có thể che phủ toàn bộ tấm vải khi nó bong ra.
AI-Danh sách kiểm tra tính sẵn sàng của cáp sẵn sàng
Hãy xử lý những vấn đề này trước khi mở rộng quy mô GPU. Mỗi mục đều có điều kiện đậu cụ thể, không mơ hồ có hay không.
- Khoảng không tốc độ:Sợi quang đã cài đặt có thể hỗ trợ ít nhất một bước nhảy tốc độ (ví dụ: 400G lên 800G) mà không cần kéo lại không và số lượng sợi quang có được định cỡ theo bản đồ làn đường của quang không (tám hoặc mười sáu sợi)?
- Ngân sách tổn thất:Mỗi kênh tốc độ cao có nằm trong phạm vi cho phép mất mát-chèn PAM4 của nó, với số lượng kết nối và kiểm tra bề mặt cuối đã được xác minh không?
- Mật độ so với dịch vụ:Kỹ thuật viên có thể tiếp cận, theo dõi và thay thế bất kỳ cổng nào mà không làm ảnh hưởng đến đường ray trực tiếp không?
- Luồng khí:Các lối đi có giữ cho ống xả phía sau và lối đi được thông thoáng, đồng thời nguồn điện và dữ liệu có được tách biệt không?
- Tài liệu:Mọi liên kết có được kiểm tra và ghi lại sơ đồ phân cực, độ dài và độ suy hao cũng như được gắn nhãn để khớp với-bản vẽ đã xây dựng không?
- Tỉ lệ:Cấu trúc liên kết được tối ưu hóa-s sống, đường ray{1}}lá có mở rộng sang nhóm tiếp theo mà không cần thiết kế lại không?
- Phù hợp với phương tiện truyền thông:Phương tiện của mỗi liên kết có được chọn theo phạm vi tiếp cận, tốc độ, tác động nhiệt và khả năng sử dụng, với DAC trong-giá và OS2 ở khắp các phòng không?
Nếu một số câu trả lời là không, hãy thiết kế lại lớp vật lý trước khi khối lượng công việc AI mở rộng, chứ không phải sau lần mở rộng đầu tiên.
Câu hỏi thường gặp
Câu hỏi: Mạng AI 400G và 800G cần loại cáp nào?
Đáp: Chúng chạy trên cáp quang song song qua sợi MTP/MPO. Liên kết 400G-DR4 sử dụng tám sợi, thường là MPO-12, trong khi 800G-SR8 hoặc 800G-DR8 sử dụng 16 sợi, thường là MPO-16 với APC. OM4 hoặc OM5 bao gồm phạm vi tiếp cận ngắn, OS2 bao gồm phạm vi tiếp cận dài hơn và DAC thụ động xử lý các bước nhảy ngắn nhất trong giá. Bản thân các giao diện được xác định trong IEEE 802.3df.
Câu hỏi: Sợi quang đơn chế độ hay đa chế độ tốt hơn cho các trung tâm dữ liệu AI?
A: Nó phụ thuộc vào khoảng cách. Multimode OM4 hoặc OM5 có hiệu quả về mặt chi phí đối với các liên kết cột lá-dưới khoảng 100 m nhưng khoảng cách được hỗ trợ sẽ giảm xuống ở mức 800G. Chế độ-đơn OS2 là nền tảng tốt hơn khi liên kết các hàng hoặc hội trường chéo nhau hoặc khi bạn muốn phạm vi tiếp cận 800G DR/FR và khoảng trống 1,6T trong tương lai. Nhiều loại vải lớn tiêu chuẩn hóa trên OS2 vì lý do đó.
Câu hỏi: Khi nào trung tâm dữ liệu AI nên sử dụng DAC, AOC hoặc bộ thu phát quang?
Đáp: Sử dụng DAC thụ động cho các liên kết dài khoảng ba mét bên trong hoặc giữa các giá đỡ liền kề, nơi DAC mang lại chi phí, công suất và độ trễ thấp nhất. Sử dụng AOC cho các liên kết cố định từ vài mét đến khoảng hàng chục mét. Sử dụng bộ thu phát có thể cắm được với cáp quang có cấu trúc khi bạn cần phạm vi tiếp cận, tái sử dụng và khả năng phục vụ liên kết.
Hỏi: Làm cách nào để tính toán mức tổn thất cáp cho các liên kết tốc độ cao-?
Đáp: Bắt đầu từ mức cho phép tổn thất-chèn kênh mà tiêu chuẩn bộ thu phát chỉ định (ví dụ: 800GBASE-SR8 hoặc 800GBASE-DR8). Trừ đi độ suy giảm của sợi nhân với chiều dài, cộng với độ suy hao của từng cặp đầu nối ghép đôi, thường bằng vài phần mười decibel, cộng với bất kỳ mối nối nào và giữ mức dự trữ. Ngân sách PAM4 chặt chẽ hơn so với các liên kết NRZ cũ hơn, do đó, số lượng kết nối và độ sạch của bề mặt cuối sẽ trực tiếp quyết định liệu một kênh có vượt qua hay không.
Câu hỏi: Hệ thống cáp ảnh hưởng như thế nào đến khả năng làm mát trong giá đỡ AI mật độ cao?
Đáp: Các bó cáp bị tắc sẽ cản trở luồng không khí, tạo-áp suất ngược lên khí thải của thiết bị, đồng thời gây ra sự tuần hoàn và các điểm nóng. Đây là vấn đề quan trọng ở mật độ giá GPU có thể vượt quá 100 kW. Các đường dẫn trên cao, nguồn điện và dữ liệu riêng biệt, bộ quản lý có kích thước phù hợp và định tuyến giúp giữ cho khí thải và ngăn chặn thông thoáng, tất cả đều bảo vệ thiết kế làm mát.
Hỏi: Đồng có còn phù hợp với các trung tâm dữ liệu AI không?
Đáp: Có, đối với các kết nối ngắn gọn trong-giá đỡ và-giá đỡ liền kề, trong đó DAC là lựa chọn hiệu quả. Mật độ-cao và thời gian chạy dài hơn sẽ chuyển sang cáp quang để có băng thông, phạm vi tiếp cận và khả năng mở rộng.
Câu hỏi: Tại sao đầu nối MTP/MPO lại phổ biến trong hệ thống cáp AI?
Đáp: Chúng mang tám đến hai mươi{0}}bốn sợi trong một ống nối duy nhất, đó chính xác là những gì quang học song song cần và chúng cho phép các đường trục-kết thúc trước để cài đặt mật độ-cao, nhanh, có thể lặp lại.
Bài học chính
Khối lượng công việc AI đang viết lại các yêu cầu về hệ thống cáp của trung tâm dữ liệu xung quanh băng thông cao hơn, sợi song song dày đặc hơn, ngân sách tổn thất eo hẹp, định tuyến nhận biết luồng khí và chu kỳ nâng cấp ngắn. Lớp vật lý sẽ không tự làm cho GPU nhanh hơn mà lớp sai sẽ ảnh hưởng đến hiệu suất, độ tin cậy và tốc độ nâng cấp của toàn bộ môi trường.
Nguyên tắc thiết kế an toàn nhất là lập kế hoạch cho nhà máy cáp quang, công suất đường dẫn, kiến trúc vá lỗi và mô hình tài liệu trước khi giá đỡ GPU hạ cánh chứ không phải sau chu kỳ mở rộng đầu tiên. Xây dựng để tăng tốc ít nhất một lần, chọn phương tiện theo vai trò thay vì theo thói quen và coi độ sạch, độ phân cực và luồng khí của đầu nối là những hạn chế về thiết kế-hạng nhất. Trước khi triển khai hoặc mở rộng, hãy xem lại hệ thống cáp hiện tại của bạn theo danh sách kiểm tra ở trên; để biết các thành phần cáp có cấu trúc và MTP/MPO, hãy khám phá của chúng tôigiải pháp cáp quang.
