生成AIの活用が企業にとって重要性を増すなか、データセンターの役割は「情報を蓄積・処理する場」から、「AIモデルの学習や推論を支える計算基盤」へと変化しつつあります。NVIDIAはこうした次世代のインフラを「AIファクトリー」と位置付け、AI時代の産業基盤として提唱しています。

近年は生成AIに加え、エージェントAI（Agentic AI）やフィジカルAIといった新たな活用領域が広がり、AIに必要な計算量は急速に増加しています。これに伴い、GPUだけでなく、高速ネットワーク、ストレージ、電力、冷却設備までを含めて最適化されたAIファクトリーへの注目が高まっています。また、NVIDIAは次世代プラットフォームであるNVIDIA Vera Rubin Platformや、分散推論基盤であるNVIDIA Dynamoを発表し、AIファクトリーを構成する技術スタックの具体像を示しています。

本記事では、AIファクトリーの基本的な考え方や従来のデータセンターとの違いを整理したうえで、主要な構成レイヤーや関連技術、規模別のシステム構成について解説します。

1. AIファクトリーとは？

AIファクトリーは、NVIDIAが提唱しているコンセプトで、AIモデルの学習や推論を大規模に実行するための計算基盤を指します。大規模言語モデル（LLM）が生成するテキストやコードは、内部的には「トークン」と呼ばれる単位で出力されています。AIファクトリーは、このトークンを継続的かつ大量に生み出すことを目的として、GPU・CPU・ネットワーク・ソフトウェア・電力・冷却設備までを統合した「工場」として設計されています。

NVIDIAはGTC 2026の基調講演において、AIファクトリーを「AI時代の産業インフラ」と位置づけています。従来のデータセンターがアプリケーションやデータを提供することを主な役割としていたのに対し、AIファクトリーは推論処理を通じて大量のトークンを生み出すことを目的とした基盤です。こうした考え方の変化を踏まえ、本セクションでは、AIファクトリーが求められる背景や従来のデータセンターとの違いについて整理します。

1-1. 生成AIの本格運用でAIファクトリーが求められる背景

AIファクトリーが求められる背景には、主に推論需要の拡大、AI活用領域の広がり、そして世界的なAIインフラ投資の拡大があります。
次にその詳細を整理しました。

• 推論ワークロードの増加
  チャット応答だけでなく、長文要約・ドキュメント検索（RAG）・コード生成・エージェントによる連続実行など、利用シーンごとに必要なトークン数が増えやすくなっています。特にエージェント型AIでは、1回の指示に対してAIが多段階の推論とツール呼び出しを行うため、1リクエストあたりのトークン消費が従来の生成AIよりも大きく膨らみやすい構造になっています。
• AI活用領域の拡張
  AIの活用領域が「生成AI」だけでなく「エージェントAI（Agentic AI）」「フィジカルAI」へと拡張しています。これらの領域では、学習・推論・シミュレーションなど多様なAI処理を支える共通基盤が求められます。
• 世界的なAIインフラ投資の規模拡大
  NVIDIAはGTC 2026で、2025年から2027年にかけて少なくとも1兆ドル規模の収益を見込むと説明しており、AIインフラ需要の大きさを示しています。こうした市場環境を背景に、ハイパースケーラーだけでなく、通信事業者・自動車メーカー・製造業・金融機関などにもAIファクトリー構築の動きが広がっています。

このような推論需要の拡大やAI活用領域の広がりを背景に、AIモデルの学習・推論に特化したインフラとしてAIファクトリーへの注目が高まっています。では、AIファクトリーは従来のデータセンターと何が違うのでしょうか。

1-2. 従来のデータセンターとの違い

AIファクトリーと従来のデータセンターでは、主な目的やハードウェア構成、設計思想、評価指標などが大きく異なります。代表的な違いを次の表にまとめました。「主目的」はそのインフラが何を生み出すかを、「主要計算リソース」は中心となる演算装置を、「評価指標」はシステムの価値や効率を測る主な基準を示しています。

この表から分かるように、AIファクトリーは単にGPUを大量に並べたデータセンターではありません。AIモデルの学習や推論を継続的かつ大規模に実行するために、GPU・ネットワーク・ストレージ・電力・冷却設備までを含めて最適化されたインフラです。特に近年の生成AIやエージェントAIでは、GPU性能だけでなく、GPU間通信の速度やデータ供給能力、さらには電力供給や冷却能力までがシステム全体の性能を左右します。そのためAIファクトリーでは、サーバー単位ではなく、ラックやデータセンター全体を1つのシステムとして設計する考え方が重視されています。

なお、NVIDIAがGTC 2026の基調講演でAIファクトリーをトークン生産や収益モデルと結びつけて語った背景や、戦略上の位置づけについては、別記事で詳しく整理しています。
▶︎ GTC 2026基調講演：Jensen Huangは、なぜ「GPU」ではなく「AIファクトリー」を語ったのか

2. AIファクトリーを構成する主要レイヤー

AIファクトリーは単一の製品ではなく、コンピュート、ネットワーク、ストレージ、ソフトウェア、そして電力・冷却を含む物理インフラまでを統合したアーキテクチャです。
本セクションでは、AIファクトリーを構成する主要なレイヤーごとに、その役割と代表的な技術を整理します

2-1. コンピュート層：GPU・CPU・NVLinkなどの処理基盤

AIファクトリーのコンピュート層は、AIワークロードを並列に処理するための演算装置で構成されています。中心となるのはAI推論・学習を担うGPUですが、それを支える役割として、複数の処理装置が組み合わされています。

• GPU：AIモデルの学習・推論を担う中核演算装置（例：NVIDIA Blackwell世代のB200・GB200、NVIDIA Vera Rubin世代のNVIDIA Rubin GPU）
• CPU：データの前処理・タスク制御・ホスト側の処理を担当（例：NVIDIA Grace™、NVIDIA Vera CPU、AMD EPYC™）
• NVIDIA NVLinkとNVSwitch：複数GPUをラック内で密結合し、単一の巨大な計算ドメインとして扱うための高速インターコネクト
• DPU（Data Processing Unit）：ネットワーク・ストレージ・セキュリティ処理をオフロードする専用プロセッサ（例：NVIDIA® BlueField®）

これらは「GPUを増やすだけ」では性能を引き出せず、CPU・DPU・GPU間インターコネクトを含めた全体で設計することが、AIファクトリーの特徴です。

なお、トークン生成に特化したLPU（Language Processing Unit）のような専用アクセラレータも近年登場しており、NVIDIA Vera Rubin platformで統合発表されています。詳細は後段の「AIファクトリーを拡張するソフトウェアとロードマップ」セクションで触れます。

GPU間通信を支えるNVIDIA NVLink™とNVSwitchの仕組みと世代別の帯域については、次の記事で詳しく整理しています。
▶︎ マルチGPU環境構築の鍵！NVLinkとNVSwitchが実現する超高速データ伝送とは

2-2. ネットワーク層：Spectrum-X イーサネット・Quantum-X800 InfiniBand

複数のGPUサーバーやラックを束ねてAIファクトリー全体として動かすには、ノード間・ラック間の通信も重要になります。AIファクトリーでは、用途に応じてイーサネットやInfiniBandなどの高速ネットワーク技術が組み合わされます。

• NVIDIA Spectrum™-X イーサネット：AIワークロード向けに最適化されたイーサネット
• NVIDIA Quantum-X800 InfiniBand：HPC・大規模分散学習向けの超低遅延ネットワーク

2-3. ストレージ層：データセット・モデル・RAGデータを支えるデータ基盤

AIファクトリーでは、GPUやネットワークだけでなく、ストレージも重要な構成要素になります。AIモデルの学習や推論では、大量の学習データ、モデルの重み、RAGで参照するドキュメントやベクトルデータなどを扱う必要があります。 特に深層学習の学習処理では、同じデータセットを繰り返し読み込むため、ストレージ性能が不足するとGPUがデータ待ちの状態になり、システム全体の性能を十分に引き出せない場合があります。 そのためAIファクトリーでは、学習データやモデル、RAGで参照するデータを効率よく扱えるよう、ストレージ基盤も含めて設計することが重要です。ストレージ層は、単なるデータ保管場所ではなく、GPUへのデータ供給や推論時の検索処理を支えるデータ基盤として位置づけられます。

2-4. ソフトウェア層：CUDA・Dynamo・AI Enterprise・NIM

AIファクトリーのソフトウェア層は、ハードウェア性能をAIワークロードの性能に変換する役割を担います。代表的な構成要素は次のとおりです。

• CUDA®：GPU向けの並列計算プラットフォーム。AI／HPCの基盤ソフトウェアとして長年使われてきた
• NVIDIA Dynamo：分散推論を最適化するAIファクトリー向けのOS（後述）
• NVIDIA AI Enterprise：本番運用に必要なセキュリティ・SLA・サポートを含むエンタープライズ向けソフトウェアスタック
• NVIDIA NIM™：学習済みモデルを推論エンドポイントとして提供するマイクロサービス
• NVIDIA NeMo™／NVIDIA® TensorRT™-LLM：モデル開発と推論最適化のフレームワーク

CUDAの基本構造やGPU並列処理の考え方は、次の記事で整理しています。
▶︎ いまさら聞けないCUDA：GPU並列処理の基礎技術
AI Enterpriseに含まれるソフトウェアスタックやNIM／NeMoの位置づけは、次の記事で整理しています。
▶︎ NVIDIA AI Enterpriseとは？：導入のメリットからアーキテクチャとライセンス・運用設計のポイントまで解説

2-5. 物理インフラ層：電力・冷却・ラック設計

AI ファクトリーは、GPUを高密度に配置するため、電力・冷却・スペースの要件が十両になります。主な特徴は次の3点です。

• 電力：高密度なGPU構成ではラック単位の消費電力が大きくなりやすく、施設側の電源容量がボトルネックになりやすい
• 冷却：空冷では対応が難しいケースが増えており、直接液冷や液浸冷却を前提とする構成が増加している
• ラック設計：NVIDIA GB200 NVL72やNVIDIA Vera Rubin NVL72のように、ラック単位で「単一の巨大GPU」として動作するリファレンス設計が広がっている

物理インフラ層の要件は、AI ファクトリーの規模を決定づける制約条件です。電力・冷却の前提を最初に設計しない場合、設置環境の選定や運用コストの面で課題が生じやすくなります

3. AIファクトリーの中核：Vera Rubin platform

Vera Rubin Platformは、NVIDIAがAIファクトリー向けに開発している次世代計算基盤です。エージェントAI時代を見据えて設計されており、NVIDIA Vera CPU、NVIDIA Rubin GPU、第6世代NVLink、NVIDIA ConnectX®-9、BlueField-4、NVIDIA Spectrum™-6などを統合したフルスタックアーキテクチャを採用しています。従来のデータセンターがサーバー単位の性能向上を重視していたのに対し、Vera Rubin Platformはラックやデータセンター全体を1つのシステムとして最適化することを前提に設計されています。そのため、コンピュート性能だけでなく、GPU間通信やネットワーク、電力・冷却までを含めた統合的な性能向上を目指しています。

本セクションでは、NVIDIA Vera Rubin Platformを構成する主要な技術要素と、それぞれがAIファクトリーのなかで果たす役割を整理します。

3-1. Vera CPU：AIファクトリーの制御とデータ処理を支えるCPU

Vera CPUは、AIファクトリーのホスト側処理を担うNVIDIA独自のCPUです。AIワークロードはGPUで実行されますが、エージェント型処理ではモデル呼び出し・ツール実行・コンテキスト管理といったCPU側の処理が多くなります。Vera CPUはこれらの処理をGPUと密結合で高速化し、AIファクトリー全体の制御と高速なデータ供給を支える役割を担います。

3-2. Rubin GPU：推論・学習処理を担う中核GPU

Rubin GPUは、Vera Rubin platformの中心となるAIアクセラレータです。NVIDIA公式の発表によると、Rubin GPUは新しいTransformer Engineを搭載し、NVFP4精度（AIの推論処理を高速化するための軽量な計算方式）で最大50ペタFLOPS（1秒間に約5京回の演算が可能）の推論性能を発揮します。学習・推論ともにBlackwell世代から効率改善が示されており、AIファクトリーにおけるトークン生産能力を引き上げる中核要素として位置づけられています。

3-3. 第6世代NVLink：72GPUを統合するインターコネクト

Vera Rubin platformでは、第6世代となる新しいNVLinkが採用されています。NVIDIAの発表によると、GPUあたり双方向で3.6TB/sの帯域(1秒間に約3.6兆バイトのデータを送受信できる)を提供し、72基のRubin GPUを単一の計算ドメインとして統合できる設計です。これは、ラックスケールでGPUを「1台の巨大マシン」として扱うNVIDIA Vera Rubin NVL72などの構成で活かされ、大規模モデルの学習・推論の効率を高めます。

3-4. 大規模コンテキスト推論への対応

長文ドキュメント全体や大量の検索結果を一括で扱う大規模コンテキスト推論（コードベース解析・長尺映像解析・大規模RAG等）は、AIファクトリーで増えているワークロードのひとつです。NVIDIAは2025年に、この用途向けの専用GPUとして「NVIDIA Rubin CPX」を発表していました。一方、GTC 2026時点のVera Rubin関連発表では、長コンテキスト・低遅延推論を支える構成要素として、専用推論アクセラレータ「NVIDIA Groq 3 LPX／LPU」も前面に出ています。
Groq 3 LPXに搭載されるNVIDIA Groq 3 LPU（Language Processing Unit）は、トークン生成に特化した推論用アクセラレータで、特に低遅延・長コンテキスト推論のdecode処理(トークン生成)を補完する用途に強みを持ちます。Vera Rubin platformでは、汎用的な学習・推論をRubin GPUが担い、これにGroq 3 LPX／LPUを組み合わせることで、「低遅延・長コンテキストのdecode処理」を専用プロセッサに分担でき、AIファクトリー全体の電力効率とトークン単価を最適化しやすくなります。

4. AIファクトリーを動かす「OS」：NVIDIA Dynamo

NVIDIA Dynamo 1.0は、AIファクトリーの「OS」と位置付けられているオープンソースの推論基盤ソフトウェアです。分散推論を効率化するために設計されており、複数のGPUやノードを横断して推論ワークロードを最適にスケジューリングします。

本セクションでは、Dynamoが解決する課題と、AIファクトリーにおいてどのような役割を担うのかを整理します。

4-1. Dynamoが解決する分散推論の課題

AIファクトリーで動かす推論ワークロードは、大規模モデルや高トラフィック環境では、単一GPUだけで処理しきれないケースが増えます。複数GPU・複数ノードに分散して動かすと、次のような課題が発生します。

• メモリ管理：KVキャッシュなどの中間データが各GPUに分散し、再利用が難しい
• トラフィック制御：KVキャッシュを意識しない割り当てにより、再計算やデータ移動が増え、リソース効率が下がる
• リクエストルーティング：どのGPUにどのリクエストを割り当てるかを最適化できない

Dynamoは、これらの課題を「インテリジェントなトラフィック制御」「最適化されたメモリ管理」「シームレスなデータ転送」という3つの仕組みで解決し、分散推論を本番運用レベルで動かすための基盤となります。

4-2. Dynamo 1.0の主な機能と性能改善

Dynamo 1.0は、2026年3月のGTC 2026に合わせて本番リリースされました。NVIDIA公式の発表によると、Dynamoを活用することで、Blackwell世代GPUにおける推論性能が最大7倍に向上したと報告されています。性能改善の倍率はワークロード・構成に依存します。これは、同じGPUハードウェアでもソフトウェア最適化により、トークン単価と処理スループットを大きく改善できることを示しています。
また、Dynamoは複数ノードにまたがる推論を前提とした設計のため、AIファクトリーのような大規模なGPUクラスタ環境で本領を発揮します。

4-3. DynamoとNeMo／NIMのエコシステム連携

DynamoはOSSとして公開されており、vLLM・SGLang・LangChain・llm-d・LMCacheといった主要な推論／LLM運用フレームワークと連携できます。これに加えて、NVIDIAの開発プラットフォームであるNeMoや、推論エンドポイントを提供するNIMとも組み合わせて使うことが想定されています。Dynamoが推論実行のスケジューリングを担い、NeMoがモデル開発・カスタマイズを、NIMが推論エンドポイント提供を担うことで、AIファクトリーのソフトウェア層が役割分担のはっきりした体系になります。
カスタムLLMの開発・運用を担うNeMoについては、次下の記事で整理しています。
▶︎ NVIDIA NeMoとは？カスタムAI・LLM開発を加速する全貌を徹底解説

5. AIファクトリーを規模別に見る構成と導入検討ポイント

AIファクトリーは、データセンター規模の大規模システムだけを指すわけではありません。研究開発・部門利用・全社運用といったフェーズごとに、適切な規模のシステムが用意されています。本セクションでは、ワークステーション規模からデータセンター規模までを整理し、導入検討のポイントを示します。

次の表において「想定用途」はそのシステムを使うフェーズを、「代表的な構成」は具体的な製品例を、「特徴」はそのスケールならではの利点を示しています。

このように、AIファクトリーは規模に応じてシステム構成が異なります。以下では、ワークステーション規模・ラック規模・データセンター規模の3つを中心に、検討時のポイントを解説します。

5-1. ワークステーション規模：DGX SparkとDGX Stationでの実装

研究室や個人開発者がAIモデルを試作する段階では、デスクトップサイズのAIワークステーションが選択肢になります。NVIDIAはGrace Blackwell世代として、NVIDIA DGX Spark™とNVIDIA DGX Station™の2モデルを提供しています。DGX Sparkは個人・少人数向けのコンパクトな構成、DGX Stationはデスクトップ最上位のハイエンド構成という位置づけです。

DGX Sparkの特長やDGX Systems内での位置づけは、次の記事で整理しています。
▶︎ NVIDIA DGX Sparkで変わるAI推論環境 ～特長から他モデルとの比較まで徹底解説～

これらは、PoC段階のモデルを手元で動かしたり、本番AIファクトリーに乗せたりする前の検証に使う「入口」として位置づけられます。

5-2. ラック規模：Vera Rubin NVL72とGB200 NVL72

ラック規模のAIファクトリーは、72基のGPUをNVLinkで単一の計算ドメインに統合するNVL72構成が代表的です。

• NVIDIA GB200 NVL72：Blackwell GPUを72基、Grace CPUを36基搭載し、ラック単位で1台の巨大GPUとして動作する液冷ラックシステム
• NVIDIA Vera Rubin NVL72：Vera Rubin世代のRubin GPUを72基統合した次世代ラックスケールAIスーパーコンピューター

これらは、兆単位パラメータのLLMの学習・推論を1ラックで高効率に処理することを狙った構成で、AIファクトリーの中核となる「製造ライン」に相当します。

5-3. データセンター規模：SuperPODとリファレンス設計

複数ラックを束ねたデータセンター規模では、NVIDIA DGX SuperPOD™などのリファレンス設計が利用されます。SuperPODは、多数のGPUを高速ネットワークで接続し、フルスタックのAIファクトリーとして機能させるための基本構成です。

データセンター規模のAIファクトリーは、電力・冷却・ネットワーク・運用がすべて連動するため、構築には専門的な設計が求められます。DGX SuperPODの構成要素や導入検討ポイントは、次の記事で整理しています。
▶︎ NVIDIA DGX SuperPODの概要と導入検討ポイント ― AIファクトリー時代のベストプラクティス

6. まとめ

本記事では、AIファクトリーの基本的な考え方から、従来のデータセンターとの違い、主要な構成レイヤー、そしてVera Rubin PlatformやNVIDIA Dynamoといった関連技術について整理しました。

AIファクトリーは、データを保管・処理することを主目的とした従来のデータセンターとは異なり、AIモデルの学習や推論を大規模に実行するために設計された計算基盤です。GPUだけでなく、ネットワーク、ストレージ、ソフトウェア、電力、冷却設備までを含めて最適化することで、生成AI、エージェントAI、フィジカルAIなどの多様なワークロードを支えています。また、Vera Rubin PlatformやNVIDIA Dynamoの登場により、AIファクトリーを構成するハードウェアとソフトウェアの全体像はより明確になりつつあります。今後は、ワークステーション規模の小規模環境から大規模データセンターまで、用途や目的に応じてAIファクトリーを設計・運用することが重要になるでしょう。

NTTPCは、NVIDIAエリートパートナーとして、AIファクトリーの規模・要件に合わせたGPU基盤の設計から構築・運用までをワンストップで支援しています。電力・冷却・ネットワークを含むラック設計、Vera RubinやBlackwell世代のGPUサーバー選定、Dynamo・NeMoなどソフトウェアスタックの導入支援まで、AIファクトリー構築のあらゆる段階でご相談いただけます。
▶︎ お問い合わせはこちら

※「NVIDIA」、「Vera Rubin Platform」、「NVIDIA Dynamo」「NVLink」「NVSwitch」「Spectrum-X」「Blackwell」「NVIDIA Grace」「Quantum-X」「CUDA」「NVIDIA AI Enterprise」「NVIDIA NIM」「NVIDIA NeMo」「TensorRT™-LLM」「ConnectX」「BlueField」「SuperPOD」は、NVIDIA Corporationの商標または登録商標です。
※「InfiniBand」は、InfiniBand(R) Trade Associationの商標です。
※「AMD」、「EPYC」 およびそれらの組み合わせは、Advanced Micro Devices, Inc. の商標です。
※「vLLM」は、vLLM Projectの登録商標または商標です。
※「LangChain」は、LangChain, Inc. の登録商標です