ネットワーク
NVIDIA ConnectXカード、InfiniBandスイッチをはじめとするネットワークソリューションの活用により、大規模なシステムでもさらなる高速化とスケールメリットを実現します。
ハイパフォーマンス コンピューティング (HPC)、機械学習、高度なストレージ、クラスター化されたデータベース、低レイテンシの組み込み I/O アプリケーションなど、あらゆる用途におけるネットワーキング速度を高速化することで、ROI を向上させ、運用単位のコストを削減します。
構成イメージ
GPUサーバ間はInfinibandで接続し、マルチノード構成を実現。
単一ノード内ではNVSwitchによる高速GPU間通信、ノード間ではInfinibandによるGPUダイレクト通信で、大規模なワークロードにも対応可能な演算性能を発揮します。
GPUサーバ～ストレージ間は、ノード間通信とは別領域でInfiniband接続構成とすることで帯域を確保します。
ConnectX ネットワークカード
ConnectX-7 400G Adapters
×
| 項目 | ConnectX-7 400G Adapters | |
| 仕様 | ||
| プロコトル | ・Infiniband , Ethernet | |
| 最大通信速度 | ・NDR：400Gb/s ・HDR：200Gb/s ・EDR：100Gb/s |
|
| ポート数 | ・1 / 2 / 4 | |
| PCIeレーン | ・32x PCIe Gen5 | |
ConnectX-6 DX 200G Adapters
×
| 項目 | ConnectX-6 DX 200G Adapters | |
| 仕様 | ||
| プロコトル | ・Infiniband , Ethernet | |
| 最大通信速度 | ・200Gb/s | |
| ポート数 | ・1 / 2 | |
| PCIeレーン | ・16x PCIe Gen4 | |
InfiniBand スイッチ
Quantum-2 QM9700 Series
×
| 項目 | Quantum-2 QM9700 Series | |
| 仕様 | ||
| 最大通信速度 | ・400Gb/s per port | |
| ポート数 | ・64x 400Gb/s non-blocking ports | |
| コネクタ | ・32x OSPF connectors ・Copper cable ・Optical module |
|
| 電源 | ・1+1 冗長ホットスワップ電源 ・入力：200-240Vac |
|
| 管理ポート | ・1x USB 3.0 | |
| ・1x USB for I2C channel | ||
| ・1x RJ45 | ||
| ・1x RJ45 (UART) | ||
| CPU | ・x86 Coffee Lake i3 | |
| メモリ | ・Single 8GB, 2,666MT/s DDR4 SO-DIMM | |
| ストレージ | ・M.2 SSD SATA 16GB | |
| OS | ・MLNX-OS | |
| サイズ | ・幅433.2mm×高さ43.6mm×奥行590.6mm ・1Uラックマウント |
|
| 重量 | ・14.5kg | |
Quantum QM8700 Series
×
| 項目 | Quantum QM8700 Series | |
| 仕様 | ||
| 最大通信速度 | ・200Gb/s per port | |
| ポート数 | ・40x 400Gb/s non-blocking ports | |
| コネクタ | ・4x small form-factor pluggable (QSFP56) ・Copper cable ・Optical module |
|
| 電源 | ・1+1 冗長ホットスワップ電源 ・入力：100-127Vac / 200-240Vac |
|
| 管理ポート | ・1x RJ45 ・1x console port: RS232 ・1x micro USB |
|
| CPU | ・Broadwell ComEx D-1508 2.2GHZ | |
| メモリ | ・Single 8GB | |
| ストレージ | ・M.2 SSD SATA 16GB | |
| OS | ・MLNX-OS | |
| サイズ | ・幅433.2mm×高さ43.6mm×奥行590.6mm ・1Uラックマウント |
|
| 重量 | ・1 PSU: 11.4kg ・2 PSUs: 12.48kg |
|
Switch-IB 2 SB7800 Series
×
| 項目 | Switch-IB 2 SB7800 Series | |
| 仕様 | ||
| 最大通信速度 | ・100Gb/s per port | |
| ポート数 | ・36x 100Gb/s non-blocking ports | |
| コネクタ | ・32x QSFP28 | |
| 電源 | ・1+1 冗長ホットスワップ電源 ・入力：100-127Vac / 200-240Vac |
|
| 管理ポート | ・1x RJ45 ・1x RS232 (console) ・1x USB |
|
| CPU | ・Intel Celeron 1047UE dual core | |
| メモリ | ・4GB RAM DDR3 16GB SSD | |
| OS | ・MLNX-OS(internally managed) | |
| サイズ | ・幅433.2mm×高さ43.6mm×奥行590.6mm ・1Uラックマウント |
|
| 重量 | ・11.978kg | |
Switch-IB 2 SB7780/7880 Series
×
| 項目 | ||
| 【SB7780 Series】 | 【SB7780 Series】 | |
| 仕様 | ||
| 最大通信速度 | 100Gb/s per port | |
| スイッチASIC | ・Infiniband | ・Infiniband-2 |
| ポート数 | ・36 | |
| コネクタ | ・QSFP28 connectors ・copper cables ・Optical modules |
|
| 電源 | ・1+1 冗長ホットスワップ電源 ・入力：100-127 Vac / 200-240Vac |
|
| 管理ポート | ・100/1000Mb/s Ethernet ports ・RS232 port over DB9 ・USB port ・DHCP ・Familiar Industry Standard CLI ・Management over IPv6 ・Management IP ・SNMP v1,v2,v3 ・Web UI |
|
| CPU | ・Dual-core x86 | |
| OS | ・MLNX-OS | |
| サイズ | ・幅428mm×高さ43.6mm×奥行685.8mm ・1Uラックマウント |
|
| 重量 | ・11kg | |
HPE InfiniBand HDR
Managed/Unmanaged スイッチ
×
| 項目 | HPE InfiniBand HDR Managed/Unmanaged スイッチ | |
| 仕様 | ||
| 最大通信速度 | ・200Gb/s per port | |
| 最大スループット | ・16Tb/s | |
| ポート数 | ・40 | |
| コネクタ | ・QSFP56 | |
| 電源 | ・冗長ホットスワップ電源 | |
| サイズ | ・1Uラックマウント | |
HPE InfiniBand NDR
Managed/Unmanaged スイッチ
×
| 項目 | HPE InfiniBand NDR Managed/Unmanaged スイッチ | |
| 仕様 | ||
| 最大通信速度 | ・400Gb/s per port | |
| 最大スループット | ・51.2Tb/s | |
| ポート数 | ・64 | |
| コネクタ | ・QSFP | |
| 電源 | ・冗長ホットスワップ電源 | |
| サイズ | ・1Uラックマウント |
|
Ethernet スイッチ
Spectrum SN5600 / SN5400 Switches
×
| 項目 | |||
| 【Spectrum SN5600】 | 【Spectrum SN5400 】 | ||
| 仕様 | |||
| 最大通信速度 | ・800Gb/s per port | ||
| 最大スループット | ・51.2Tb/s | ・25.6Tb/s | |
| ポート数 | ・最大800GbE：64ports ・最大400GbE：128ports ・最大200GbE：256ports ・最大100GbE：256ports ・最大50GbE：256ports ・最大40GbE：128ports ・最大25GbE：256+1ports ・最大10GbE：256+1ports ・最大1GbE：1ports |
・最大400GbE：64ports ・最大200GbE：128ports ・最大100GbE：256ports ・最大50GbE：256ports ・最大40GbE：128ports ・最大25GbE：256+2ports ・最大10GbE：256+2ports ・最大1GbE：1ports |
|
| コネクタ | ・64x OSFP 800GbE + 1x SFP28 25GbE | ・64x QSFP-DD 400GbE + 2x SFP28 25GbE | |
| 電源 | ・1+1 冗長ホットスワップ電源 ・入力：208-264Vac |
||
| 管理ポート | ・100/1000Mb/s Management Port：RJ45 ・Serial Port：RJ45 ・USB Type 3 |
||
CPU |
・Hexa-core x86 | ||
| メモリ | ・32G | ||
| SSDメモリ | ・160GB | ||
| OS | ・MLNX-OS | ||
| サイズ | ・幅438mm×高さ86.2mm×奥行720mm ・2Uラックマウント |
||
Spectrum SN4700/SN4410/SN4600/ SN4600C Switches
- 400Gb/s（SN4700/SN4410）
- 200Gb/s（SN4600）
- 100Gb/s（SN4600C）
- 64 ports（SN4600C/SN4600）
- 32 ports（SN4700/SN4410）
Spectrum SN4700/SN4410/SN4600/ SN4600C Switches
×
| 項目 | ||||
| 【Spectrum SN4700】 | 【Spectrum SN4410】 | 【Spectrum SN4600】 | 【Spectrum SN4600C】 | |
| 仕様 | ||||
| 最大通信速度 | ・400Gb/s per port | ・400Gb/s per port | ・200Gb/s per port | ・100Gb/s per port |
| 最大スループット | ・12.8 Tb/s | ・8Tb/s | ・12.8 Tb/s | ・6.4Tb/s |
| ポート数 | ・最大400GbE：32ports ・最大200GbE：64ports ・最大100GbE：128ports ・最大50GbE：128ports ・最大40GbE：64ports ・最大25GbE：128ports ・最大10GbE：128ports ・最大1GbE：128ports |
・最大400GbE：8ports ・最大200GbE：16ports ・最大100GbE：48+32ports ・最大50GbE：48+32ports ・最大40GbE：32ports ・最大25GbE：128ports ・最大10GbE：128ports ・最大1GbE：128ports |
・最大200GbE：64ports ・最大100GbE：128ports ・最大50GbE：128ports ・最大40GbE：64ports ・最大25GbE：128ports ・最大10GbE：128ports ・最大1GbE：128ports |
・最大100GbE：64ports ・最大50GbE：128ports ・最大40GbE：64ports ・最大25GbE：128ports ・最大10GbE：128ports ・最大1GbE：128ports |
| コネクタ | ・32x QSFP-DD 400GbE | ・24x QSFP28-DD 100G ・8x QSFP-DD 400GbE |
・64x QSFP56 200GbE | ・64x QSFP28 100GbE |
| 電源 | ・1+1 冗長ホットスワップ電源 ・入力：100-264Vac |
|||
| 管理ポート | ・100/1000Mb/s Management Port：RJ45 ・Serial Port：RJ45 ・USB Ports |
|||
| CPU | ・Quad-core x86 | |||
メモリ |
・16GB | ・16GB | ・16GB | ・8GB |
| SSDメモリ | ・64GB | ・64GB | ・64GB | ・32GB |
| サイズ | ・幅428mm×高さ44mm×奥行568.5mm ・1Uラックマウント |
・幅428mm×高さ44mm×奥行568.5mm ・1Uラックマウント |
・幅428mm×高さ88mm×奥行568.5mm ・2Uラックマウント |
・幅428mm×高さ88mm×奥行568.5mm ・2Uラックマウント |
Spectrum SN3700 / SN3700C / SN3420 Switches
- 200Gb/s（SN3700）
- 100Gb/s（SN3700C/SN3420）
- 32 ports（SN3700 / SN3700C）
- 60 ports（SN3420）
Spectrum SN3700 / SN3700C / SN3420 Switches
×
| 項目 | |||
| 【Spectrum SN3700】 | 【Spectrum SN3700C】 | 【Spectrum SN3420】 | |
| 仕様 | |||
| 最大通信速度 | ・200Gb/s per port | ・100Gb/s per port | ・100Gb/s per port |
| 最大スループット | ・6.4Tb/s | ・3.2Tb/s | ・2.4Tb/s |
| ポート数 | ・最大200GbE：32ports ・最大100GbE：64ports ・最大50GbE：128ports ・最大40GbE：32ports ・最大25GbE：128ports ・最大10GbE：128ports ・最大1GbE：128ports |
・最大100GbE：32ports ・最大50GbE：64ports ・最大40GbE：32ports ・最大25GbE：128ports ・最大10GbE：128ports ・最大1GbE：128ports |
・最大100GbE：12ports ・最大40GbE：12ports ・最大25GbE：48+48ports ・最大10GbE：48+48ports ・最大1GbE：48+48ports |
| コネクタ | ・32x QSFP56 200GbE | 32x QSFP28 100GbE | 12x QSFP28 100GbE +48x SFP28 25GbE |
| 電源 | ・1+1 冗長ホットスワップ電源 ・入力：100-264Vac |
||
| 管理ポート | ・100/1000Mb/s Management Port：RJ45 ・Serial Port：RJ45 ・USB Ports |
||
| CPU | ・Quad-core x86 | ・Dual-core x86 | ・Dual-core x86 |
| メモリ | ・8GB | ||
| SSDメモリ | ・32GB | ||
| サイズ | ・幅428mm×高さ44mm×奥行559mm ・1Uラックマウント |
・幅428mm×高さ44mm×奥行568.5mm ・1Uラックマウント |
・幅428mm×高さ88mm×奥行432mm ・1Uラックマウント |
| 重量 | ・11.2kg | ・11.2kg | ・8.5kg |
Infinibandケーブル
NVIDIA Mellanox LinkX InfiniBand HDR DAC ケーブル
×
| 項目 | NVIDIA Mellanox LinkX InfiniBand HDR DAC ケーブル | |
| 仕様 | ||
| 最大通信速度 | ・200Gb/s | |
| 構成 | ・4x 50G-PAM4 | |
| コネクタ | ・QSFP56 | |
| ケーブル素材 | ・LSZH：低煙ゼロハロゲンケーブル | |
| 長さ | ・0.5m / 1m / 1.5m / 2m | |
NVIDIA Mellanox LinkX InfiniBand AOC ケーブル
×
| 項目 | NVIDIA Mellanox LinkX InfiniBand AOC ケーブル | |||
| 仕様 | ||||
| HDR 200Gb/s | EDR 100Gb/s | FDR 56Gb/s | FDR10/QDR | |
| 最大通信速度 | ・200Gb/s | ・100Gb/s | ・56Gb/s | ・10Gb/s |
| 構成 | ・4x 50G-PAM4 | ・4x 25G-NRZ | ・4x 14G-NRZ | ・4x 10G-NRZ (64b/66b) |
| コネクタ | ・QSFP56 | ・QSFP28 | ・QSFP+ | ・QSFP+ |
| ケーブル素材 | ・LSZH：低煙ゼロハロゲンケーブル | ・OFNP: 光ファイバー非導電性プレナム | ||
| 長さ | ・150m / 130m / 100m / 50m / 30m / 20m / 15m / 10m / 5m / 3m | ・100m / 50m / 30m / 20m / 15m / 10m / 5m / 3m | ・100m / 75m / 50m / 40m / 30m / 25m / 20m / 15m / 10m / 5m / 3m | ・100m / 50m / 30m / 20m / 15m / 10m / 5m / 3m |
Ethernetケーブル
NVIDIA LinkX Ethernet DAC ケーブル
×
| 項目 | SYS-E100-9AP/9APP/9AP-IA | |||||
| 仕様 | ||||||
| 400Gケーブル | 200Gケーブル | 100Gケーブル | 40Gケーブル | 25Gケーブル | 10Gケーブル | |
| 最大通信速度 | ・400Gb/s | ・200Gb/s | ・100Gb/s | ・40Gb/s | ・25Gb/s | ・10Gb/s |
| 構成 | ・8x 50G-PAM4 | ・4x 50G-PAM4 | ・4x 25G-NRZ | ・4x10G-NRZ | ・1x 25G-NRZ | ・1x 10G-NRZ |
| コネクタ | ・QSFP56-DD | ・QSFP56 | ・QSFP28 | ・QSFP+ | ・SFP28 | ・SFP+ |
| ケーブル素材 | ・LSZH：低煙ゼロハロゲンケーブル | ・PVC: ポリ塩化ビニル ジャケット | ・LSZH：低煙ゼロハロゲンケーブル | ・PVC: ポリ塩化ビニル ジャケット | ||
| 長さ | ・2.5m / 2m / 1.5m / 1m / 0.5m | ・2.5m / 2m / 1.5m / 1m / 0.5m | ・5m / 3m / 2m / 1.5m / 1m / 0.5m | ・7m / 6m / 5m / 4m / 3m / 2m/ 1m / 0.5m | ・5m / 4m / 3m / 2.5m / 2m / 1.5m / 1m / 0.5m | ・7m / 6m / 5m / 4m / 3m / 2.5m / 2m / 1.5m / 1m / 0.5m |
NVIDIA Mellanox LinkX Ethernet AOC ケーブル
×
| 項目 | NVIDIA Mellanox LinkX Ethernet AOC ケーブル | ||||
| 仕様 | |||||
| 400Gケーブル | 200Gケーブル | 100Gケーブル | 40Gケーブル | 25Gケーブル | |
| 最大通信速度 | ・400Gb/s | ・200Gb/s | ・100Gb/s | ・40Gb/s | ・25Gb/s |
| 構成 | ・8x 50G-PAM4 | ・4x 50G-PAM4 | ・4x 25G-NRZ | ・4x10G-NRZ | ・1x 25G-NRZ |
| コネクタ | ・QSFP56-DD | ・QSFP56 | ・QSFP28 | ・QSFP+ | ・SFP28 |
| ケーブル素材 | ・LSZH：低煙ゼロハロゲンケーブル | ・OFNP：光ファイバー非導電性プレナム | ・LSZH：低煙ゼロハロゲンケーブル | ||
| 長さ | ・100m / 50m / 20m / 10m / 5m / 3m | ・100m / 50m / 30m / 20m / 15m / 10m / 5m / 3m | ・100m / 50m / 30m / 20m / 15m / 10m / 5m / 3m | ・100m / 50m / 30m / 20m / 15m / 10m / 5m / 3m | ・100m / 50m / 30m / 20m / 15m / 10m / 7m / 5m / 3m |
Infiniband vs Ethernet
| Infiniband | Ethernet | 備考 | |
|---|---|---|---|
| 遅延値 | 非常に低い | 低い | InfinibandはEthernetに比べ、パケットのオーバーヘッドが少ないため高速 |
| 最大スループット | 400Gb/s | 400Gb/s | 2023年7月時点 |
| 最大伝送距離（目安） | 数十m | 数十km | メーカー・型番によって異なる |
| 輻輳 | SMによる集中管理のため輻輳しづらい | トラフィック集中時に輻輳リスクあり | |
| ネットワークループ | 発生しない | 接続構成によってループ発生のリスクあり | InfinibandはEthernetに比べ、メッシュ構造が容易に実現可能 |
| バケットルートの管理 | SMによる集中管理 | 各機器で管理 | |
| 主な用途 | ・GPUノード間接続 ・GPUサーバ～ストレージ間接続 ・ストレージ間接続 など |
・インターネット ・10m以上の遠距離接続 ・オフィス内LAN配線 など |