JANOG53 Meeting参加レポート　
～400Gbpsネットワークの現在地は？～

法人ビジネス推進本部　ソリューションエンジニアリング部の力石です。普段は「 VDIクラウド for デジタルツイン^®」サービスの主管や、マルチノードGPUクラスタの構築SEを担当しています。

今回、2024/1/17から3日間開催されたJANOG53 Meetingに参加しました。JANOGとは、公式ページにあるように、Japan Network Operators' Groupの略称で、インターネットにおける技術的事項、および、それにまつわるオペレーションに関する事項を議論、検討、紹介することにより日本のインターネット技術者・利用者に貢献することを目的としたグループです。

NTTPCとしてはこれまでに何度も参加しているイベントなのですが、私自身は今回が初めての参加になりました。私の参加の目的は大きく2つあり、1つは「VDIクラウド for デジタルツイン^®」サービス出展ブースの説明員として来場者へのサービス紹介、2つ目は最近担当することの多いマルチノードGPUクラスタ関連で、GPU間を高速に通信するためのインターコネクトネットワークやロスレスイーサネット（400Gbps以上）やその周辺技術の情報収集を行うためです。

NTTPCの「VDIクラウド for デジタルツイン^®」は、「NVIDIA Omniverse^™ Enterprise」や各種3D、コンピューターグラフィックソフトウェアが利用可能な環境を、VDI（Virtual Desktop Infrastructure：仮想デスクトップ基盤）で提供するクラウド型のサービスです。必要なリソース（GPU、CPU、メモリ、ディスク）に応じた従量課金で、特に最新のサーバー向けGPUを仮想GPU（vGPU）として利用できる点が大きな特長です。
2022年の3Qからサービスをスタートし、約1年半が経過しようとしておりますが、これまで順調にお客さまも増えてきております。特にデジタルツイン分野での利用が期待されていることにより、ＰＯＣとしてご利用頂くケースも多いと感じております。

今回、NTTPCからは本サービスと、健康経営^®支援サービス（写真左側）との同時出展でした。

3日間を通して、ブースには多くの方が訪問くださり、VDIクラウドを活用した新ビジネスのアイディアなど、様々な会話をすることができました。ご来場くださった皆さま、ありがとうございました。

今回はスペースの関係もあり、会場でVR体験会などは行いませんでしたが、テーブルに置いてあるVRゴーグル（MetaQuest2）とコントローラを使って、NVIDIA Omniverse^™のNucleus上で展開した仮想空間のAR,VRビューを体験することが可能です。デモなどもお見せすることができますので、ご興味のある方は是非当社までお問い合わせくださると嬉しいです。

※健康経営^®は、NPO法人健康経営研究会の登録商標です。

続いて、各社のブースを見学した模様を紹介します。今年は全部で130社の出展があったようです。私は前半２日間に参加しましたが、来場者も多く、会場は非常に盛り上がっていました。その中で今回の2つ目の目的でもある、GPUクラスタ向けの高速ネットワークの情報収集のため、各ベンダーの400GbpsSWやそれに関連するソリューション、パーツ類、さらには高速、高電力データセンターのブースを中心に見学しました。

GPUクラスタの構成要素の中で、モジュールやケーブルは非常に複雑で分かりにくいポイントの1つです。NTTPCでも取り扱いの多いNVIDIA DGX^™ Systemsには、ConnectXのNICが搭載されていますが、ジェネレーションによってポートの形状や規格が異なります。また、接続する速度やスイッチ、ケーブル長によっても選択するモジュールやケーブルの種別が異なるので、注意が必要です。詳しくは下図や、こちらのコラムもご参照ください。

展示で目に付いたのは、ネットワーク機器のサードパーティ製品の多さです。保守の観点などからサードパーティ製品を避けるお客さまもいらっしゃいますが、自社での検証環境としての採用であれば、コストを抑えることができ、事前に構成物品や構築イメージを確認することができるため、非常に魅力的だと感じました。現在の市場では、(インフレ、円安などの影響もあり）純正品の価格が高騰していますので、ケースバイケースでこういったサードパーティ製品を取り入れていくのはいいかもしれません。

その他、オープンソースのSONiCを使ったホワイトボックススイッチの展示もありました。最近海外のNIerから、オープンソースのネットワークOSを活用したソリューションの話をよく耳にします。

ネットワークスイッチもハードウェアとソフトウェアの分離が進んできた昨今では、ベンダーロックインされずにハードとソフトを自ら選択して、用途と予算で使い分けていくことができるので、今後主流になっていく可能性がある商材と感じています。次のステップとして、自社でも実際に検証をやってみたいと感じました。

最後に、セミナープログラムにも参加しました。
ちょうど今、業務で取り組んでいるテーマにぴったりな「AI（人工知能）の為のネットワーク」というAristaさんのプログラムを拝聴しました。

マルチノードGPUクラスタでは必ずと言っていいほど、インターコネクトのネットワークデザインが議論になります。GPUを極力遊ばせず、使用効率をいかに高めるかがこのシステムの鍵となります。
従来はノード跨ぎのGPU間通信を高速にするために、Infinibandでノンブロッキングのファブリックを組み、RDMAを利用する構成のほぼ一択でした。

ただ最近では、各ネットワークベンダーからの高速・広帯域イーサスイッチのリリースがあったり、RoCEv2でIPルーティングが利用可能になったこともあり、Infinibandからイーサネットへの置き換えも聞かれるようになりました。ここで重要となってくるのが、イーサネットでのロス（通信のオーバーヘッド）をいかに抑えるかであり、その中心がフローコントロール制御の技術です。

プログラムの中では、PFC（Priority Flow Control）やECN（Explicit Congestion Notification）といった値を適切にチューニングすることについての説明があり、最良なトラフィック分散には重要なファクターであると理解しましたが、その実現に対し、参加者からも様々な意見や経験談が飛び交っていました。技術者同士の生の議論に触れることができ、非常にいい勉強になりました。

私は開催期間3日間の内、前半2日間のみの参加でしたが、ブースの出展から、他社ブースの見学、最後にはプログラムにも参加でき、非常に充実したイベントになりました。普段からお付き合いのあるお客さまやメーカー、ベンダーさんも多く来場されており、改めて私達が今、実際行っている業務は多くの方に支えられて成り立っているものだと実感しました。

また、他のIT系のカンファレンスと比較すると、受動型ではなく参加型のイベントだと感じました。JANOG　Meetingは技術者が多く集まる場であり、参加者がただセッションを聞いているだけでなく、積極的に意見交換を行う機会があるので、参加してみて本当に楽しかったです。次回もぜひ参加したいと思います。