技術解説
DDNのストレージソリューションが提示する、AI時代に求められるデータ基盤の最適解
2021.09.17
大規模AI環境の構築で浮上する課題とDDNによる解決のためのアプローチ
近年、DDNは大規模AI（人工知能）の領域に注力しています。業種業界を問わずAIを活用した大規模データ分析はビジネスを成長させるための推進力となっており、多くの企業・組織がディープラーニングや画像分析、自然言語処理を用いた取り組みを進めています。
しかし、AIテクノロジーの導入には多くの難題が立ちふさがっており、導入プロジェクトを立ち上げてもPoCの段階で頓挫してしまうケースも少なくありません。その理由には、システムの開発や導入に時間がかかること、複数のAIシステムを導入した場合、その統合と最適化が非常に困難であること、また、導入当初のプロトタイプから量産体制へスムーズに拡張できない、といったことが挙げられます。
また、AIシステムの導入を成功させるためには数多くの知見と実績を持ったテクノロジーパートナーの存在が不可欠ですが、自社にとって最適なパートナーを見つけ出すのは至難の業です。
これらの課題を解決し企業・組織のAI活用を加速するために、DDNとNVIDIAはパートナーシップを締結、GPUコンピューティングの性能を最大限に引き出すことが可能な、統合ストレージソリューションの実現に取り組んできました。
そうした両者のパートナーシップの成果が、「DDN A3I（Accelerated, Any-Scale AI）ソリューション」です。これはAIのユースケースやワークフローに最適化された唯一*のストレージプラットフォームです。NVIDAのGPU性能を最大限に引き出す性能に加え、アプライアンス形態での提供による導入の容易性、そして、将来的なGPUの性能向上に伴うディープラーニング、およびAI活用モデルの進化にも対応可能な優れた拡張性を備えています。
図1 AIのユースケースやワークフローに最適化された「DDN A3I ソリューション」のラインナップ
製品ラインナップは2モデルを用意。最適化されたオールフラッシュで構成され高速なI/Oスループット性能と高いメタデータ性能、IOPSを提供する「DDN AI400X」、SSDだけでなくHDDとのハイブリッドにより高速かつ大容量ストレージ基盤を単独のプラットフォームで提供可能な「DDN AI7990X」が提供されています。
この2製品はNVIDIAのAIスーパーコンピューター「DGX SuperPOD」上で検証され高い評価を獲得しており、商用システムとしても長期にわたって安定した稼働を実現する高速ストレージシステムであることが実証されています（図1）。
AI活用で様々な有効性を発揮するストレージソフトウェア「EXAScaler」
A3Iソリューションには、AIおよびHPC向けに最適化されたDDNのストレージソフトウェア「EXAScaler」が実装されています（図2）。これはDDNがストレージシステムとして長期にわたり提供してきた並列ファイルシステム「Lustre」をコアとしたものです。
性能と拡張性に優れたLustreはHPCのファイルシステムとして確固たるポジションを獲得していますが、EXAScalerはLustre にDDN独自のAIワークロードのパフォーマンスの最適化、データ、ユーザー、サービス管理の機能を追加した統合ストレージソフトウェアです。その優位性について説明します。
1つが、ハイパフォーマンスな、コンテナオーケストレーションシステム「Kubernetes」のサポートです。今やコンテナ技術はAIシステムで不可欠なものとなっていますが、このKubernetes に対して、EXAScalerのCSI（Container Storage Interface）ドライバーはコンテナの永続的ボリュームを提供します。
さらに、永続的ボリュームは並列ファイルシステムと同じ名前空間を持てるため、容易にデータの共有が可能となります。
また、マルチプロトコルに対応していることもEXAScalerの特長で、Lustre のネイティブクライアントに加え、NFS、 SMB およびS3等もサポート。Windows環境、またはLustreが利用できない環境からも同じ名前空間にアクセスできます。
さらに、データサービスノードの追加によりスケールアウトも可能で、データサービス自体の性能を向上させることもできます。
運用管理面で威力を発揮するのが、EXAScaler I/O モニタリングです。リアルタイムでのI/O性能のモニタリングに加え、ファイルシステムの性能のほか、ユーザー、アプリケーション、クライアント別にI/Oの統計情報を取得できるので、管理者は問題の迅速な検知をはじめ、I/Oパターンやワークロードの特徴を把握することで、アプリケーションの最適化を図れるようになります。
図2 AIおよびHPC向けに最適化されたストレージソフトウェア「EXAScaler」
NVIDIA SuperPODで大規模検証済み、数々の先進的なAIプラットフォームで導入を加速
A3I ソリューションおよびEXAScalerは、NVIDIA SuperPODで検証されており、NVIDIAのAIスーパーコンピューター「Selene」のメインストレージとして採用されています。Seleneは2021年6月のTop500のリストでNo.6にランキングされる非常に高性能なAIスーパーコンピューターですが、40台の DDN A3I AI400X アプライアンスを採用することで、最大2TB/secのスループットと1.2億 IOPSという非常に高い性能を示しています。
なお、SuperPOD上で行われたA3IソリューションおよびEXAScalerの大規模検証の結果は、NVIDIAおよびDDNからリファレンスアーキテクチャ、もしくはブループリントとして提供されています（図3）。ぜひご参照ください。
このようにHPCの領域のみならず、AIの分野においても優れた性能と機能性を提供するDDNのストレージシステムは多くのAIプラットフォームで活用されています。
DDNはこれまでもHPCを中心とした大規模ストレージシステムを数多く提供してきました。さらに、NVIDIAとのパートナーシップによってAIストレージシステムに必要な最適化、効率化、高速化、さらに低コスト化をあらゆる分野で実現しています。また、スムーズな運用を支援する保守体制も合わせて提供しており、すべてのデータサイクルのステージに対する共通のAIプラットフォームとして提供可能となっております。
AIプラットフォームのストレージシステムをご検討の方は、DDN国内代理店であるNTTPCへお問い合わせください。
DDNについて ～統合ストレージベンダーとしてHPCで培った実績をエンタープライズにも拡大～
データダイレクト・ネットワークス (DDN）は、規模や容量、可用性のすべてにおいて非常に厳しい要件が求められるハイパフォーマンスコンピューティング向けのストレージシステムで、数多くの実績を積み上げてきた企業です。過去20年以上にわたって企業、政府機関、公共部門など1万社以上のお客さまへの導入実績を誇り、グローバルで10か所のデータセンターを保有しています。
さらに近年では、エンタープライズ向けにストレージシステムを提供する企業を相次いで買収、ソフトウェアディファインドストレージ(SDS)のNexenta社のマルチクラウドデータマネージメント機能、IntelliFlash社のエッジコンピューティング機能、Tintri社の仮想基盤ストレージ機能を統合、ストレージシステムのトータルプロバイダーとして、多彩な製品やサポートサービスを提供しています（図4）。
図4 HPC、AI、エンタープライズと、あらゆるデータに最適なストレージソリューションを提供
そして、DDNの日本法人であり100％子会社として2008年に設立されたのが、株式会社データダイレクト・ネットワークス・ジャパン（DDNジャパン）です。
この規模の会社としては珍しく大規模なベンチマークラボを東京に設置しており、数多くのベンチマークテストやPoCを国内外のお客さまに提供しています。
また、国内におけるサポートを可能とするエンジニアチームを擁しており、過去7年間で1.4エクサバイトに達する非常に大規模なストレージシステムを国内のお客さまに提供するなど、そのスピード感もますます加速しています。
DDNジャパンは学術機関を中心として数多くのストレージシステムを提供してきましたが、他にもライフサイエンス分野、メディア、クラウド、製造業など、非常に高性能なストレージ機能が要求される数多くの市場への導入を拡大させています。