100G QSFP28 Cột sống-Thiết kế lá: Tránh lỗi cổng

Jun 10, 2026

Để lại lời nhắn

100G spine-leaf data center fabric with QSFP28 links

Cấu trúc lá gai-100G là một trong những cách đáng tin cậy nhất để kết nối máy chủ 25G, đường lên 100G, cụm lưu trữ và khối lượng công việc nặng ở phía đông-tây-trong một trung tâm dữ liệu hiện đại. Điểm hấp dẫn của QSFP28 là tính linh hoạt của nó: một cổng duy nhất có thể mang liên kết 100G gốc hoặc chia thành bốn kết nối máy chủ 25G, do đó, một bộ chuyển mạch có thể phục vụ cả cạnh truy cập và lõi vải.

Chuyển đổi nhanh là phần dễ dàng. Thiết kế 100G tồn tại hay không tùy thuộc vào các quyết định được đưa ra trước khi đặt hàng: mỗi cổng được phân bổ như thế nào, tỷ lệ đăng ký vượt mức trông như thế nào trong điều kiện bình thường và thất bại, quang học nào phù hợp với việc chạy cáp thực, lượng nhiệt mà các quang học đó bổ sung và liệu vải có thể tăng lên 400G mà không cần nâng cấp xe nâng hay không.

Hướng dẫn này là tài liệu tham khảo về lập kế hoạch trung lập của nhà cung cấp-cho các nhóm mạng và cơ sở hạ tầng. Các số liệu bên dưới tuân theo các thông số kỹ thuật Ethernet hiện tại của IEEE 802.3 và các thỏa thuận đa nguồn quang-có liên quan, nhưng mỗi bộ chuyển mạch và bộ thu phát đều có bảng dữ liệu riêng, vì vậy hãy xác nhận các con số chính xác cho phần cứng bạn mua.

Cách đọc các ví dụ trong hướng dẫn này.Trừ khi có quy định khác, họ giả định các máy chủ tại nhà-đơn lẻ có một NIC 25G mỗi máy, 48 cổng máy chủ trên mỗi lá, các liên kết lên cột sống-đến{5}}cột sống 100G, một lưới đầy đủ trong đó mỗi lá kết nối với mọi cột sống và tính năng sửa lỗi chuyển tiếp được bật ở những nơi quang học yêu cầu. Đường dẫn-kép, NIC nhanh hơn hoặc số lượng cổng khác nhau sẽ thay đổi mọi con số tiếp theo.

Mạng lá 100G cột sống{1}}là gì?

Spine-leaf là kiến ​​trúc trung tâm dữ liệu hai-tầng được xây dựng từ các công tắc lá và công tắc cột sống. Công tắc dạng lá nằm ở đầu mỗi giá và cung cấp các cổng-đối diện với máy chủ cùng với các đường liên kết lên tới trục chính. Công tắc cột sống tạo thành đường trục-tốc độ cao. Mỗi lá đều kết nối với mọi cột sống, do đó lưu lượng giữa các giá đỡ sẽ di chuyển lá này sang lá khác dọc theo một đường dẫn có độ dài bằng nhau.

Thiết kế này phổ biến vì nó mang lại:

  • Có thể dự đoán được, độ dài đường đi bằng nhau giữa hai giá đỡ bất kỳ
  • Hỗ trợ gốc dành cho giao thông đông{0}}tây
  • Tất cả các đường lên hoạt động thông qua ECMP thay vì bị chặn bởi cây bao trùm
  • Chia tỷ lệ ngang đơn giản - thêm lá cho cổng, thêm gai cho dung lượng

Trong cấu trúc 100G, các liên kết từ lá-đến{2}}spin chạy ở tốc độ 100G, trong khi các cổng đối diện với máy chủ-chạy ở tốc độ 10G, 25G, 50G hoặc 100G tùy thuộc vào khối lượng công việc. Ngày nay, truy cập 25G với đường lên 100G là sự kết hợp phổ biến nhất trong doanh nghiệp.

Two-tier spine-leaf network topology

Thiết kế vật lý và thiết kế logic

"Thiết kế mạng" bao gồm hai lớp dễ kết hợp. Hướng dẫn này tập trung vào các cổng - lớp vật lý và dung lượng, quang học, đăng ký vượt mức, cáp - vì đó là những gì bạn cam kết khi mua phần cứng. Nhưng lớp logic quyết định cách kết cấu chuyển tiếp lưu lượng truy cập và nó định hình một số lựa chọn vật lý.

Về mặt vật lý, công tắc ngồi và lựa chọn cổng, tốc độ NIC, đăng ký vượt mức, quang học, cáp, nguồn và làm mát. Về mặt logic, cân bằng tải ECMP-trên các đường liên kết lên; lớp phủ chẳng hạn như VXLAN với mặt phẳng điều khiển BGP EVPN dành cho Lớp 2 và Lớp 3 có nhiều đối tượng thuê trên lớp nền được định tuyến; điều khiển-kép với MLAG hoặc MC-LAG và LACP ở cạnh truy cập; và lỗi-kích thước miền. Đối với loại vải RDMA, bạn cũng phải thiết kế một mạng gần như-không tổn thất, được đề cập bên dưới. Hãy sớm giải quyết mô hình logic vì nó ảnh hưởng đến số lượng đường lên, số lượng gai bạn muốn cho chiều rộng ECMP và liệu các lá có được triển khai dưới dạng cặp MLAG hay không.

Bước 1 - Xác định tốc độ máy chủ và khối lượng công việc

Bắt đầu với khối lượng công việc, không phải quang học. Cụm ảo hóa chung, kết cấu lưu trữ và nhóm đào tạo AI có những nhu cầu rất khác nhau và thiết kế phù hợp sẽ tuân theo lưu lượng truy cập.

Máy chủ 25G với đường lên 100G

Đối với hầu hết các môi trường đám mây-riêng tư và doanh nghiệp, quyền truy cập 25G với các liên kết lên 100G lá-đến-spin là điểm hấp dẫn: một bước nhảy lớn trên 10G trong khi vẫn giữ chi phí NIC, cáp và bộ chuyển mạch ở mức hợp lý. Một bản dựng điển hình kết hợp 25G đường liên kết xuống, 100G đường lên và tỷ lệ 2:1 đến 3:1 cho điện toán chung, với mức đăng ký vượt mức thấp hơn dành riêng cho các cấp độ nhạy cảm về bộ nhớ và độ trễ. Nó phù hợp với ảo hóa, đám mây riêng, các tầng web và phần lớn các trung tâm dữ liệu doanh nghiệp.

100G gốc để lưu trữ, AI và HPC

Một số khối lượng công việc cần 100G riêng cho máy chủ: bộ lưu trữ-oF phân tán và NVMe, đào tạo về AI và máy{2}}, HPC, phân tích quy mô-lớn và RDMA{4}}có độ trễ thấp. Ở đây, lượng đăng ký quá mức phải ở mức thấp - thường không-bị chặn hoặc gần bằng mức đó - vì mô hình lưu lượng truy cập mới là vấn đề chứ không chỉ là khối lượng.

Khối lượng công việc AI, HPC và RDMA tạo ra lưu lượng truy cập dày đặc, được đồng bộ hóa,-đến-tất cả phía đông{2}}tây: nhiều nút truyền đến nhiều nút cùng một lúc, do đó tính năng làm mịn thống kê giúp bạn tiết kiệm chi phí trên cơ cấu ảo hóa không còn được áp dụng nữa. RDMA qua Ethernet hội tụ (RoCE) bổ sung thêm hạn chế thứ hai, vì nó yêu cầu một kết cấu gần như không bị mất dữ liệu, trong thực tế có nghĩa là Kiểm soát luồng ưu tiên (PFC) và Thông báo tắc nghẽn rõ ràng (ECN) được điều chỉnh từ đầu đến cuối. Cơ cấu loại bỏ khung hình khi bị tắc nghẽn sẽ khiến hiệu suất RoCE bị suy giảm, do đó, các cụm này thường được xây dựng theo tỷ lệ 1:1 với cấu hình bộ đệm và tắc nghẽn cẩn thận.

Bước 2 - Cách tính cổng chuyển đổi lá và cột sống cho vải 100G

Quy hoạch cảng bắt đầu từ chiếc lá chứ không phải cột sống. Làm việc bên ngoài từ máy chủ:

  1. Đếm các cổng-đối diện với máy chủ trên mỗi giá.
  2. Quyết định xem mỗi làn là 25G gốc, 100G gốc hay một làn đường đột phá.
  3. Dự trữ cổng QSFP28 cho đường lên cột sống.
  4. Thêm các cổng dự phòng để tăng trưởng, dự phòng, kiểm tra và thay thế.
  5. Tính toán lại lượng đăng ký vượt mức sau khi chỉ định đột phá, không phải trước đó.

Đếm các cổng-đối diện với máy chủ

Đối với mỗi giá đỡ, hãy xác định số lượng máy chủ, tốc độ NIC, NIC trên mỗi máy chủ, trang chủ- đơn hoặc kép-và các phụ tùng bắt buộc. Một giá gồm 48 máy chủ với một NIC 25G, mỗi máy chủ cần 48 cổng máy chủ. Kép-các máy chủ đó vào một cặp lá và số lượng cổng truy cập trên cặp này tăng gấp đôi.

Dự trữ các cổng đường lên và xem số lượng-gấp đôi

Sau cổng máy chủ, dành cổng QSFP28 cho cột sống. Đây là nơi ẩn giấu lỗi phổ biến nhất: nếu sử dụng cùng các cổng QSFP28 cho đột phá 4x25G, chúng sẽ không còn khả dụng dưới dạng đường lên. Lỗi lập kế hoạch lớn nhất không phải là tính sai 100G đường lên mà là đánh giá quá cao các cổng đường lên còn sót lại sau khi đột phá đã ăn hết chúng. Chỉ định đột phá trước phép toán đăng ký vượt mức hoặc tỷ lệ bạn tính toán là hư cấu.

Một ví dụ hoạt động sẽ giúp ích. Lấy một lá 1U chung với 48 cổng máy chủ SFP28 và 8 cổng QSFP28:

Nhóm cổng Vai trò Dung tích
48 x 25G (SFP28) Quyền truy cập máy chủ tại nhà-một lần 1,200G
6 x 100G (QSFP28) Liên kết cột sống 600G
2 x 100G (QSFP28) Dự trữ: tăng trưởng, lưu trữ hoặc dự phòng -

Với sáu đường lên mang theo 1.200G lưu lượng truy cập, lá này chạy ở tỷ lệ 2:1 và hai cổng QSFP28 vẫn ở trạng thái dự trữ. Cung cấp cho mỗi cổng một vai trò rõ ràng, duy nhất trên bảng tính trước khi bạn định cỡ bất kỳ cổng nào khác.

Để lại công suất dự phòng

Đừng tiêu thụ mọi cổng vào ngày đầu tiên. Dành khoảng trống cho máy chủ mới, các trục bổ sung, liên kết thử nghiệm tạm thời, hoán đổi cổng- không thành công, các lần nhấn theo dõi và quá trình di chuyển. Một ít dung lượng không được sử dụng sẽ rẻ hơn nhiều so với việc thiết kế lại.

Bước 3 - Tính toán đăng ký vượt mức, bao gồm N-1

Đăng ký vượt mức so sánh tổng băng thông-của máy chủ trên một lá với tổng băng thông đường lên của nó tới cột sống:

Tỷ lệ đăng ký vượt mức=tổng băng thông đường xuống / tổng băng thông đường lên

Đối với lá ở trên, 48 x 25G=1,200G xuống và 6 x 100G=600G lên, cho 1.200 / 600=2:1. Điều đó có nghĩa là băng thông truy cập lý thuyết nhiều gấp đôi so với băng thông đường lên - thường phù hợp với tính toán thông thường, trong đó các máy chủ hiếm khi truyền tải ở tốc độ đường truyền cùng một lúc nhưng lại là một hạn chế thực sự đối với bộ lưu trữ, AI, HPC và RDMA.

Luôn kiểm tra trường hợp N-1

Vải có thể trông khỏe mạnh khi hoạt động bình thường và bị sặc khi hỏng. Hãy xem xét một chiếc lá có tám đường lên 100G trải đều trên bốn gai - hai trên mỗi gai, tổng cộng 800G, do đó, 1.200G quyền truy cập mang lại tỷ lệ 1,5:1. Mất một gai và chiếc lá giảm hai đường lên xuống còn 600G, đẩy tỷ lệ lên 2:1 trong suốt thời gian ngừng hoạt động. Nếu mục tiêu của bạn là "không tệ hơn 2:1 ngay cả khi thất bại", bạn phải bắt đầu ở mức gần 1,5:1. Tính toán cả tỷ lệ bình thường và tỷ lệ N-1 sau khi mất một đường trục hoặc đường lên; số thứ hai là số cắn trong quá trình bảo trì.

100G spine-leaf oversubscription planning example

Phạm vi lập kế hoạch theo khối lượng công việc

Không có tỷ lệ chung, vì vậy hãy coi những điều sau đây là phạm vi lập kế hoạch chứ không phải tiêu chuẩn và xác thực dựa trên lưu lượng truy cập được đo khi bạn có thể:

Khối lượng công việc Hướng thiết kế
AI / HPC / RDMA 1:1 hoặc gần-không chặn
Lưu trữ phân tán 1:1 đến 2:1
Ảo hóa chung 2:1 đến 3:1
Các tầng web/ứng dụng 3:1 hoặc cao hơn nếu có thể dự đoán được lưu lượng truy cập
Phát triển/kiểm tra Tỷ lệ chi phí-được tối ưu hóa có thể chấp nhận được

Khi nâng cấp, hãy xem lại mức sử dụng đường lên hiện tại, mô hình đỉnh và phía đông{0}}phía tây, luồng lưu trữ và thời lượng dự phòng trước khi áp dụng tỷ lệ.

Bước 4 - Chọn Cáp quang và cáp QSFP28

Giao diện QSFP28 100G được tiêu chuẩn hóa bởi IEEE 802.3 -sửa đổi 802.3bmđã thêm 100GBASE-SR4, cùng với-chế độ đơn LR4 PHY. Chọn quang học theo khoảng cách, loại sợi, đầu nối, nguồn và khả năng tương thích của công tắc, đồng thời không đặt mặc định ở phạm vi tiếp cận dài nhất: phạm vi tiếp cận mà bạn không cần thường có nghĩa là chi phí và điện năng mà bạn không cần. Ghép mô-đun với hoạt động với biên độ hợp lý.

QSFP28 optics and cable options for 100G networks

DAC và AOC cho liên kết máy chủ ngắn

Đối với các kết nối trong-giá đỡ và-giá đỡ liền kề, QSFP28-gắn đồng trực tiếp (DAC) và cáp quang hoạt động (AOC) là thiết thực. DAC thụ động phù hợp với bước nhảy ngắn nhất - vài mét - với chi phí và công suất thấp nhất, trong khi AOC mở rộng phạm vi tiếp cận, nhẹ hơn và linh hoạt hơn khi số lượng lớn đồng trở thành vấn đề. Để truy cập 25G, DAC hoặc AOC đột phá QSFP28-to-4x SFP28 là phổ biến khi công tắc hỗ trợ đột phá.

100GBASE-SR4 dành cho đường liên kết lên đa chế độ ngắn

SR4 mang 100G quatám sợi đa mode song songsử dụng trình kết nối MPO/MTP, điều này làm cho nó trở thành một lựa chọn-hiệu quả về mặt chi phí cho các đường chạy lá ngắn-đến{2}}spin trong một hàng. Phạm vi tiếp cận của nó phụ thuộc vào loại sợi - khoảng 70 m trên OM3 và 100 m trên OM4 -, vì vậy, bạn nên biết phạm vi tiếp cận mà bạn có thể mong đợi từSợi đa mode OM3, OM4 và OM5trong sàn nhà của bạn. Hạn chế chính trong quy hoạch là hệ thống cáp song song: việc vá MPO và phân cực phải được tính toán trước.

CWDM4 hoặc FR cho chế độ đơn- chạy tới khoảng 2 km

Đối với các liên kết liên-hàng, liên-hoặc liên-sảnh, quang học một chế độ-như CWDM4 hoặc FR sẽ phù hợp hơn. các100G CWDM4 MSAxác định phạm vi tiếp cận 2 km qua một cặp sợi quang-chế độ đơn có đầu nối LC song công và FEC. Vì sử dụng sợi song công thay vì MPO song song nên quang học CWDM4 và FR thường rơi vào một nhà máy chế độ đơn-rõ ràng hơn SR4 - và trong những khoảng cách đó, lựa chọn giữaSợi quang chế độ đơn OS1 và OS2bắt đầu có ý nghĩa quan trọng đối với ngân sách thua lỗ của bạn. Các biến thể chế độ đơn-ngắn hơn như DR có phạm vi hoạt động khoảng 500 m, đó là tất cả những gì bạn cần.

100GBASE-LR4 cho khuôn viên trường và DCI

LR4 là tùy chọn-tầm xa, mang theo 100Glên tới khoảng 10 km trên cáp quang chế độ đơn song côngcho khuôn viên trường, tòa nhà-đến-tòa nhà hoặc các liên kết kết nối-trung tâm-dữ liệu. Chỉ sử dụng nó ở những nơi mà khoảng cách thực sự yêu cầu; Quang học-tầm xa trên các bước nhảy trung tâm-dữ liệu-nội bộ ngắn chỉ cần thêm chi phí, điện năng và nhiệt mà không cần cải thiện kết cấu.

QSFP28 100So sánh quang học G

Bảng tóm tắt nơi mỗi tùy chọn phù hợp. Hãy coi phạm vi tiếp cận là các số liệu quy hoạch điển hình và xác nhận các con số chính xác, cấp sợi và yêu cầu FEC trên biểu dữ liệu của mỗi mô-đun.

Lựa chọn Phương tiện / sợi Đầu nối Phạm vi tiếp cận điển hình Nó phù hợp ở đâu
QSFP28 DAC (đồng thụ động) đồng Twinax Tích hợp ~1–3 m Trong-máy chủ rack hoặc lá-đến-lá
QSFP28 AOC Đa chế độ (tích hợp) Tích hợp ~ lên tới 30 m Máy chủ-lân cận, liên kết ngắn
100GBASE-SR4 Đa chế độ song song, 8 sợi (OM3/OM4) MPO/MTP ~70m OM3 / 100m OM4 Ngắn trong-lá hàng-đến-cột sống
100G CWDM4 Chế độ-đơn song công LC lên tới ~2 km Đường lên liên-hàng / liên-hội trường
100GBASE-FR / DR Chế độ-đơn song công LC ~500 m (DR) đến ~2 km (FR) Chạy ở chế độ đơn{0}}trung bình
100GBASE-LR4 Chế độ-đơn song công LC lên tới ~10 km Khuôn viên / tòa nhà-đến-tòa nhà / DCI

Ví dụ đã thực hiện: Vải nhỏ, vừa và lớn

Đây là những mô hình lập kế hoạch đơn giản hóa, không phải bản thiết kế. Số lượng gai thường được chọn để phân chia đồng đều các đường lên và đặt chiều rộng ECMP: hai gai là mức tối thiểu thực tế để dự phòng, bốn gai cho độ chi tiết N-1 mịn hơn và trải tải tốt hơn, và tám gai phù hợp với các loại vải lớn. Tỷ lệ đếm lá với các cổng máy chủ bạn cần.

Vải nhỏ

  • công tắc 8 lá
  • 2 công tắc cột sống
  • 48 x 25G cổng máy chủ trên mỗi lá
  • 4 x 100G liên kết lên mỗi lá
  • 384 cổng máy chủ 25G đơn-tại nhà

Mỗi lá: giảm 1.200G, tăng 400G, tức là 3:1. Có thể sử dụng cho điện toán thông thường nhưng lại chật hẹp cho bộ nhớ nặng hoặc AI. Thêm liên kết lên hoặc cắt bớt quyền truy cập trên mỗi lá nếu bạn cần tỷ lệ thấp hơn.

Vải vừa

  • Công tắc 16 lá
  • 4 công tắc cột sống
  • 48 x 25G cổng máy chủ trên mỗi lá
  • 6 x 100G liên kết lên mỗi lá
  • 768 cổng máy chủ 25G đơn-tại nhà

Mỗi lá: giảm 1.200G, tăng 600G, tức là 2:1. Một sự cân bằng vững chắc cho khối lượng công việc ảo hóa và doanh nghiệp, đồng thời bốn trục giúp trải rộng ECMP tốt hơn hai.

Vải lớn

  • Công tắc 32 lá
  • 8 công tắc cột sống
  • 48 x 25G cổng máy chủ trên mỗi lá
  • 8 x 100G liên kết lên mỗi lá
  • 1.536 cổng máy chủ 25G đơn-tại nhà

Mỗi lá: giảm 1.200G, tăng 800G, tức là 1,5:1. Nhiều khoảng không cho đường lên hơn nhưng cần quản lý nhiều quang học, cáp quang, chi phí, điện năng và hệ thống cáp hơn. Ở quy mô này, tài liệu là một phần của thiết kế: ghi nhãn, bản đồ cổng, cực tính, quang học dự phòng, luồng không khí và giám sát, tất cả đều phải được lên kế hoạch trước khi lắp đặt.

Lập kế hoạch đột phá QSFP28 (100G đến 4x25G)

Đột phá là phần hữu ích nhất và bị hiểu lầm nhiều nhất trong thiết kế QSFP28. Khi bộ chuyển mạch, cáp và cấu hình cho phép, một cổng QSFP28 sẽ chia thành bốn liên kết 25G SFP28, kết nối bốn máy chủ 25G từ một cổng 100G duy nhất. Nó giành được vị trí khi bạn cần mật độ 25G cao, có nhiều cổng QSFP28, muốn giảm chi phí trên mỗi kết nối máy chủ hoặc đang xây dựng kết cấu 25G/100G chuyển tiếp, sử dụng QSFP28-to-4x SFP28 DAC, AOC hoặcCáp đột phá MTP/MPOtùy theo khoảng cách.

Điều đáng chú ý là việc đột phá sẽ tiêu thụ các cổng QSFP28. Nếu bộ chuyển đổi QSFP28 32{9}}cổng dành riêng 16 cổng cho đột phá 4x25G thì 16 cổng đó hỗ trợ 64 máy chủ - nhưng chỉ còn lại 16 cổng QSFP28 cho đường lên, bộ lưu trữ, kết nối và dự phòng. Nguyên tắc chung là đếm các cổng đột phá trước, sau đó đếm những gì còn lại cho các liên kết lên.

Trước khi bạn cam kết, hãy xác nhận một số điều và quyết định sớm xem mỗi lần chạy có nên là mộtthân cây hoặc một cụm đột phá:

  • Cổng nào hỗ trợ đột phá và có hạn chế về nhóm cổng không?
  • Việc bật đột phá có vô hiệu hóa các cổng lân cận không?
  • Hệ điều hành switch có hỗ trợ chế độ bạn cần không?
  • DAC, AOC hay quang học đột phá cho mỗi lần chạy?
  • Tất cả bốn làn đường có cần thiết bây giờ hay chỉ sau này?
  • Đột phá sẽ ảnh hưởng như thế nào đến việc chuyển sang máy chủ 100G gốc trong tương lai?

Vải 100G tạo ra nhiều hơn băng thông - nó tạo ra nhiệt, tải luồng không khí và mật độ cáp. Việc lập ngân sách năng lượng nên bao gồm khung công tắc và quạt, mô-đun quang QSFP28 (và DAC hoặc AOC nếu được sử dụng), nguồn cung cấp dự phòng, công suất-ở mức giá đỡ và biên độ tăng trưởng. Việc làm mát phải tính đến bố cục lối đi nóng- và lạnh-, nhất quán từ trước-đến-sau hoặc quay lại-đến-phía trước, tấm cách nhiệt, tắc nghẽn cáp, nhiệt độ môi trường xung quanh và giám sát nhiệt độ mô-đun-vì cột sống chứa đầy quang học là một tải nhiệt thực sự.

Hệ thống cáp có quy mô nhanh: 16 lá đến 4 gai đã là 64 lá-đến-sợi liên kết, mỗi liên kết trong số đó phải được gắn nhãn, định tuyến, kiểm tra và ghi lại. Một-vải lưới hoàn chỉnh dễ dàng hơn nhiều để xây dựng và bảo trì với-kết thúc trướcCáp trung kế MPO/MTPso với sợi-kết thúc trường. Các nhóm cũng nên giải quyết trước các quy ước về đầu nối và cực tính; cáisự khác biệt thực tế giữa MTP và MPOcó giá trị xác nhận trước khi bạn đặt hàng. Tài liệu cẩu thả không tốn kém gì vào ngày đầu tiên và tốn rất nhiều chi phí trong lần ngừng hoạt động đầu tiên.

Thiết kế nâng cấp 400G

Thiết kế vải với lộ trình nâng cấp thực tế. Bạn không cần 400G ở mọi nơi trong ngày đầu tiên, nhưng bạn nên tránh những lựa chọn khiến việc di chuyển sau này trở nên khó khăn. Hãy bắt đầu suy nghĩ về mức độ sẵn sàng 400G khi các đường liên kết lên đã được tải rất nhiều, khi việc bổ sung thêm 100G gai trở nên khó khăn, khi số lượng đường dẫn ECMP gần đạt đến giới hạn nền tảng hoặc khi tốc độ phát triển của AI, bộ nhớ hoặc phía đông-tây đang tăng tốc.

Chiến lược thông thường là nâng cấp cột sống trước: các lá giữ đường liên kết lên 100G của chúng trong khi-cột sống có dung lượng cao hơn - sử dụng các cổng nhưQSFP-DD- bổ sung khoảng trống, thường có các cổng 400G chia thành 4x100G quay trở lại các lá hiện có. Quỹ đạo rộng hơn được thiết lập bởi ngành:Lộ trình của Liên minh Ethernethiện chạy ở mức 400G, 800G và hơn thế nữa, phần lớn được điều khiển bởi AI. Khi bạn đánh giá các thiết bị chuyển mạch, hãy kiểm tra xem nền tảng có hỗ trợ tốc độ, quang học, chế độ đột phá và các tính năng phần mềm mà bản nâng cấp theo từng giai đoạn sẽ cần hay không.

Khi thiết kế lá 100G{1}}không phải là lựa chọn phù hợp

Thiết kế này không phổ biến và một số trường hợp yêu cầu một cái gì đó khác. Một số máy chủ trong một hoặc hai giá hiếm khi phù hợp với việc xây dựng một-lá cột hoàn chỉnh, trong đó một cặp bộ chuyển mạch dự phòng sẽ đơn giản hơn và rẻ hơn. Các cụm đào tạo AI rất lớn có thể vượt qua những gì truy cập 100G và kết cấu cột sống 100G xử lý tốt, hạ cánh trên các kết cấu 400G hoặc 800G - hoặc thậm chí là mạng InfiniBand chuyên dụng - ngay từ đầu. Và nếu gần như tất cả lưu lượng truy cập đều hướng về phía bắc{10}}phía nam tới một cửa ngõ thay vì phía đông{11}}tây giữa các giá đỡ thì phía đông{12}}tây có lợi thế về cột sống-lá ít hơn, do đó, cấu trúc liên kết phải được điều chỉnh dựa trên cơ sở tăng trưởng và hoạt động thay vì giả định. Hãy kết hợp kiến ​​trúc với lưu lượng và quy mô chứ không phải ngược lại.

Các lỗi thường gặp về cột sống 100G-Lỗi thiết kế lá

  • Đếm các cổng QSFP28 hai lần.Cổng là đường đột phá 4x25G hoặc đường lên 100G, không bao giờ là cả hai. Cung cấp cho mỗi cổng một vai trò.
  • Chọn quang học theo phạm vi tiếp cận tối đa.Phạm vi tiếp cận dài hơn sẽ tăng thêm chi phí và sức mạnh; kết hợp quang học với khoảng cách và loại sợi thực tế.
  • Bỏ qua N-1.Kiểm tra tỷ lệ trong quá trình hoạt động bình thường và sau khi bị mất gai.
  • Quên năng lượng quang học và nhiệt.Một khung chứa đầy các mô-đun QSFP28 là một tải nhiệt thực sự, vì vậy hãy đưa quang học vào phép toán nguồn và làm mát.
  • Xử lý hệ thống cáp như một suy nghĩ lại.Định tuyến, ghi nhãn, phân cực và tài liệu nằm trong thiết kế chứ không phải trong quá trình cài đặt.
  • Thiết kế chỉ dành cho tốc độ máy chủ ngày nay.Nếu quyền truy cập 25G sẽ chuyển sang 100G, hãy chừa chỗ cho cột sống 100G hoặc 400G gốc.

Câu hỏi thường gặp

Câu hỏi: Tỷ lệ đăng ký vượt mức tốt nhất cho mạng lá-100G là bao nhiêu?

Đáp: Không có tỷ lệ nào là tốt nhất. Đối với điện toán thông thường, tỷ lệ 2:1 hoặc 3:1 thường phù hợp. Đối với khối lượng công việc lưu trữ, AI, HPC hoặc RDMA, hãy sử dụng thiết kế đăng ký vượt mức 1:1 hoặc thấp hơn-nếu có thể và xác thực dựa trên lưu lượng đo được.

Câu hỏi: Tôi nên sử dụng QSFP28 SR4 hay CWDM4 cho các liên kết lá-đến-cột sống?

Trả lời: Sử dụng SR4 để chạy đa chế độ ngắn khi có sẵn cáp MPO/MTP. Sử dụng CWDM4 hoặc một quang học-chế độ đơn tương tự khi khoảng cách dài hơn hoặc khi nhà máy chế độ đơn LC song công được ưu tiên, tối đa khoảng 2 km.

Hỏi: QSFP28 có thể đột phá thành 4x25G không?

Trả lời: Có, nhiều nền tảng QSFP28 hỗ trợ đột phá 4x25G, nhưng việc hỗ trợ tùy thuộc vào kiểu bộ chuyển mạch, nhóm cổng, hệ điều hành và loại cáp. Luôn kiểm tra ma trận tương thích của công tắc trước khi thiết kế xung quanh điểm đột phá.

Hỏi: Hiện tại, chiếc lá-100G có còn giá trị khi tồn tại 400G không?

Đáp: Có, đối với hầu hết môi trường doanh nghiệp và đám mây có quyền truy cập máy chủ 25G hoặc 100G,. 400G sẽ có chi phí cao hơn khi dung lượng đường lên, lưu lượng truy cập AI hoặc băng thông-phía đông-quy mô lớn ở phía tây phù hợp với điều đó.

Hỏi: Tôi cần bao nhiêu công tắc cột sống?

A: Ít nhất hai để dự phòng. Các loại vải lớn hơn thường sử dụng bốn hoặc nhiều hơn để phân phối ECMP tốt hơn và dung lượng đường lên cao hơn. Con số phù hợp phụ thuộc vào số lượng lá, tốc độ đường lên, mục tiêu đăng ký vượt mức và giới hạn nền tảng.

Hỏi: Lỗi thiết kế phổ biến nhất là gì?

A: Cổng bị đếm sai. Các nhóm lên kế hoạch cho đường lên trước và sau đó phát hiện ra rằng cáp đột phá tiêu thụ các cổng QSFP28 mà họ dự kiến ​​sẽ sử dụng cho cột sống. Chỉ định các cổng đột phá trước khi hoàn thiện dung lượng đường lên.

Phần kết luận

Thiết kế lá cột-100G tốt là tổng hợp các quyết định được đưa ra trước khi phần cứng xuất hiện: xác định khối lượng công việc, đếm số cổng một cách chính xác, tính toán đăng ký vượt mức trong cả điều kiện bình thường và điều kiện hỏng hóc, chọn quang học theo khoảng cách, lập kế hoạch đột phá có chủ ý, ngân sách cho nguồn điện và làm mát cũng như chừa chỗ cho 400G. Đối với hầu hết các trung tâm dữ liệu doanh nghiệp, quyền truy cập 25G với liên kết lên 100G QSFP28 vẫn là sự cân bằng mạnh mẽ giữa hiệu suất, chi phí và quy mô, trong khi bộ lưu trữ, AI và HPC chỉ yêu cầu mức đăng ký thấp hơn và xác thực chặt chẽ hơn. Cách tiếp cận đáng tin cậy không thay đổi: thiết kế từ máy chủ ra ngoài, chứng minh phép toán trong điều kiện bình thường và N-1, đồng thời ghi lại mọi liên kết trước khi triển khai.

Gửi yêu cầu