生成AIの業務活用が進む一方で、機密情報や個人情報を扱う企業では、クラウド型の生成AIサービスをそのまま利用することに課題を感じるケースが増えています。入力データの外部送信リスクや業界規制への対応、社内ガバナンスの観点から、利用できるサービスやデータの範囲が制限されることも少なくありません。こうした背景から、クラウドに頼らず自社のサーバーやPC上でLLMを直接実行する、いわゆる「ローカルLLM」によるオンプレミス構成への関心が高まっています。ローカルLLMであれば、入力データや推論結果が外部に送信されないため、セキュリティやコンプライアンス要件に対応しやすくなります。

一方で、生成AIをオンプレミスで運用するには、GPUサーバーの選定や推論環境の構築、モデル運用の仕組みづくりなど、従来の業務システムとは異なる設計が必要になります。そのため、「オンプレミスで生成AIを使いたいが、機器選定や設置場所の手配、セットアップなどハードルが多そうで不安」という方も多いのではないでしょうか。

本記事では、オンプレミスでの生成AI活用が求められる背景や代表的なユースケースを整理したうえで、必要となる構成要素や導入時のポイントを解説します。また、導入負荷を抑えやすいアプライアンス型の選択肢についても紹介します。

1. オンプレミスでの生成AI活用が求められる要件

生成AIの業務活用を進めていくには、企業ではデータ管理やガバナンスへの対応が重要な課題となっています。特に、金融・医療・公共・製造業など、機密情報や規制・契約上の制約を抱える業務では、クラウド型の生成AIサービスだけでは要件を満たせない場合があります。こうした背景から、自社が管理する環境内で生成AIを運用する「オンプレミス構成」への関心が高まっています。

本セクションでは、オンプレミスでの生成AI活用が求められる代表的なケースを3つの観点から整理します。

なお、クラウド型とオンプレミス型をコスト・性能・運用の面から比較する詳しい考え方は、次の記事で整理しています。
▶︎ GPUサーバー導入における、オンプレミスとクラウドの比較

1-1. 機密情報・個人情報を外部環境へ送信できない業務

企業内で生成AIを活用する際、大きな論点となるのが、機密情報や個人情報を外部環境へ送信できるかどうかです。多くのクラウド型生成AIサービスでは、プロンプトに入力した内容がサービス事業者側の環境で処理されます。そのため、設計図面、研究開発データ、顧客情報、契約情報などを扱う業務では、「データを自社管理環境の外へ出せない」という要件が課題になる場合があります。

近年は、入力データを学習に利用しない法人向けサービスや、データ管理機能を備えたサービスも増えています。しかし、業界規制や契約要件、社内ポリシーなどにより、外部環境へのデータ送信そのものが認められないケースもあります。このような場合、自社環境内で生成AIを運用できるオンプレミス構成が有力な選択肢となります。

1-2. 業界規制・社内ガバナンスで処理環境を限定する必要がある場合

生成AIを企業内で利用する際には、情報漏えい対策だけでなく、「どのデータを、どの環境で、どのように処理しているか」を把握し、説明できることが重要になります。特に大企業や規制業種では、生成AIの利用状況を管理し、監査や内部統制に対応できることが求められます。また、法令や業界ガイドライン、取引先との契約要件によって、データの保存場所や処理環境に制約が設けられるケースもあります。例えば、国内環境での処理が求められる場合や、アクセス権限の管理、ログの保管、監査証跡の整備が必要となる場合です。さらに、生成AIの利用拡大に伴い、利用者が利用可能なデータを適切に管理することも重要になっています。誰がどのAIを利用できるのか、どのデータを入力してよいのかといったルールが曖昧なまま運用が広がると、ガバナンス上のリスクにつながります。

こうした要件に対応するため、処理環境やデータ管理を自社で統制しやすいオンプレミス構成が選択されることがあります。

1-3. 社内データと密に連携した活用を進めたい場合

生成AIを本格的に業務へ組み込む場合、単体のチャット利用だけでなく、社内システムや業務データと連携した活用が重要になります。例えば、社内ドキュメントを検索・参照するRAG（検索拡張生成）や、ファイルサーバー、データベース、業務システムと連携するAIエージェントなど、生成AIを既存業務フローへ統合するケースが増えています。

こうした活用では、生成AIが継続的に社内データへアクセスするため、認証基盤やアクセス権限、データ連携方式などを含めて設計する必要があります。また、機密性の高いデータを扱う場合には、データを社内環境に保持したまま利用できることも重要な要件となります。

ここまで、オンプレミスでの生成AI活用が求められる主なケースを3つの観点から見てきました。共通しているのは、データの取り扱いや実行環境を自社で管理・統制できることが重要になる点です。オンプレミス構成では、生成AIの実行基盤を自社管理下に置くことで、外部環境へのデータ送信を抑えながら、ガバナンス要件への対応や社内システムとの連携を進めやすくなります。そのため、機密情報の取り扱いが多い業務や、既存システムと密接に連携したAI活用を目指す企業にとって、有力な選択肢となるでしょう。

多くの企業では、生成AIを“業務データまで含めて”活用できていない

すでに多くの日本企業で生成AIの業務利用が進んでいる。しかし、オンプレミスで生成AIを活用するには、機密情報や個人情報を外部環境へ送信しないこと、業界規制や社内ガバナンスに対応できること、社内データと安全に連携できることなど、前述した要件を満たす必要があります。しかし、実際には、生成AIを業務に導入していても、機密情報や社内データを含めて十分に活用できている企業はまだ限られています。IPAの「企業における営業秘密管理に関する実態調査2024」によると、業務における生成AIの利用について何らかのルールを定めている企業は52.0%にとどまり、約半数の企業では利用方針が明確に整備されていません。また、ルールを定めている企業の中でも、外部にもオープンな生成AIに入力できる情報を公開情報のみに限定している企業が14.8%、業務での生成AI利用を禁止している企業が26.2%を占めています。一方で、組織内に情報開示を閉じた生成AI環境で、秘密情報を含めたすべての情報を取り扱ってよいとしている企業は11.0%にとどまります。つまり、11.0%以外の多くの企業では、利用方針が未整備であったり、入力可能な情報が公開情報に限られていたり、そもそも業務利用が制限されていたりするため、生成AIを機密情報や社内データと組み合わせて十分に活用できているとは言いにくい状況です。こうした状況は裏を返せば、機密情報を含む社内データを安全に扱える生成AI環境を早期に整備することで、他社に先んじて生成AIの活用範囲を広げられる余地があるともいえます。外部環境への情報送信を抑えながら、自社管理下で機密情報を含むデータを扱えるオンプレミス型の生成AI環境は、生成AIをより実務に近い形で活用し、業務変革を進めるための現実的な選択肢となります。

2. オンプレミスで生成AIを動かす要素と導入のハードル

オンプレミスで生成AIを利用する要件に対応するためには、生成AIを自社環境内で安全かつ安定的に実行できる基盤が必要になります。オンプレミスで生成AIを活用する場合、クラウドサービスが提供していたAI実行環境を自社で用意しなければなりません。そのため、GPUサーバーやストレージといったハードウェアだけでなく、推論実行環境、AIモデルの管理基盤、セキュリティ対策、社内システムとの連携機能などを組み合わせて、生成AIを安全に活用できる基盤を構築する必要があります。

また、生成AIの性能や運用性は、利用するモデルだけでなく、GPU構成やデータ管理、ネットワーク設計などにも大きく左右されます。そのため、導入前に必要な構成要素や設計ポイントを整理しておくことが重要です。本セクションでは、オンプレミスで生成AIを動かすために必要な構成要素を整理するとともに、導入時に押さえておきたい設計・運用のポイントについて解説します。

2-1. オンプレミスで生成AIを動かすために必要な3つの要素

オンプレミスで生成AIを動かす環境は、大きく3つの構成要素から成り立ちます。クラウド型サービスでは事業者側が提供していたこれらの要素を、自社環境内で組み合わせて構築します。

• GPUを中心とした計算基盤
  LLMの推論や、必要に応じたファインチューニングを実行するための計算基盤です。生成AIでは、大量の計算を高速に処理する必要があるため、GPUが重要な役割を担います。また、モデルをメモリ上に展開して動かすため、モデル規模に応じたVRAM（GPUメモリ）容量も必要になります。
• 生成AIアプリケーションの実行環境
  利用者が実際に操作するアプリケーション層です。社内向けチャット、RAG（検索拡張生成）、業務システム連携用APIなどが該当します。実運用では、複数ユーザーからのアクセスを安定して処理するための実行基盤やソフトウェア構成も重要になります。
• モデル（LLM）
  生成AIの中核となるモデルです。オープンソースLLMや、自社向けに調整したモデルを利用します。利用するモデルによって、必要なGPU性能やメモリ容量、ライセンス条件などが大きく変わるため、用途に応じた選定が重要になります。

これら3つの要素を自社環境内で組み合わせることで、データを外部へ送信せずに生成AIを活用できるオンプレミス環境を構築できます。

なお、本番運用を見据えて商用サポートや管理機能を備えたソフトウェア基盤を検討する場合の一例として、NVIDIA AI Enterpriseのような選択肢があります。
▶︎ NVIDIA AI Enterpriseとは？：導入のメリットからアーキテクチャとライセンス・運用設計のポイントまで解説

2-2. 自前で構築する場合に直面しやすい導入のハードル

前述した要素をすべて自社で用意する場合、設計や運用の面でいくつか検討すべき事項があります。

代表的なものとして、次の4点が挙げられます。

• 初期投資とハードウェアの選定
  GPUサーバーの導入には、一定規模の初期投資が必要になります。特に、動かしたいモデルに対して十分なVRAM容量を確保できるかは重要なポイントです。
• 設置スペースとファシリティ要件
  GPUサーバーの設置には、設置スペースに加え、電源や冷却性能などデータセンター・サーバールーム側の要件も合わせて検討する必要があります。
• 構築・統合の複雑さ
  生成AI環境を実運用するには、OS、GPUドライバ、計算プラットフォーム、推論基盤、チャットアプリケーション、モデルなど、複数の要素を組み合わせて構築する必要があります。各ソフトウェアやライブラリの互換性も考慮しながら、安定して動作する環境を整備することが求められます。
• 運用・保守の体制
  オンプレミス環境は、構築して終わりではありません。アップデート対応や監視、障害対応、セキュリティ管理などを継続的に行う運用体制も必要になります。特に、生成AI基盤に関する知見を持つ人材が限られている場合、運用負荷が課題になることがあります。

このように、オンプレミスでの生成AI活用には、一定の設計・運用負荷が伴います。一方で、近年は導入に必要な要素をあらかじめ統合したアプライアンス型製品も登場しており、以前と比べてオンプレミス環境を導入しやすくなっています。

ローカルLLMを実際に導入・運用する際の流れの詳細は、次の記事で紹介しています。
▶︎ 【後編】ローカルLLM導入のためのGPU環境～導入後の運用と環境構築～

3. 導入のハードルを下げる「AI推論向け小型コンピューター」という選択肢：NVIDIA DGX Spark™

前セクションで整理したように、オンプレミスで生成AIを活用するには、GPU基盤の選定や実行環境の構築、運用体制の整備など、複数の要素を組み合わせて設計する必要があります。こうした導入負荷を抑える方法の1つが、生成AI実行環境・必要な計算基盤が統一設計された「AI推論用マシン」を使うことです。ゼロから個別に設計・検証を行う場合と比べて、構築や導入にかかる負荷を抑えやすい点が特徴です。

次では、アプライアンス型製品の一例として、NVIDIA DGX Sparkを用いた構成を紹介します。

3-1. 具体例：NVIDIA DGX Sparkを用いたオンプレミスの生成AI環境

NVIDIA DGX Sparkは、NVIDIA Grace Blackwellアーキテクチャを採用した「NVIDIA GB10 Grace Blackwell Superchip」と128GBの統合メモリを搭載するパーソナルAIコンピューターです。AIモデルの推論やファインチューニング、プロトタイピング用途を想定しており、単体では最大2,000億パラメータ規模、2台構成では最大4,050億パラメータ規模のモデル実行に対応するとされています。コンパクトな筐体でありながら、大規模言語モデル（LLM）をローカル環境で活用できる点が特徴です。
一般的なGPUサーバーと比べて大掛かりな設置スペースやファシリティ要件を抑えやすく、オフィスや限られたスペースでもオンプレミスAI環境を検討しやすくなります。また、クラウドに機密情報や社内データを送信せず、ローカルAIを1台で動かせるため、外部送信リスクを抑えながら業務利用を始めやすい構成といえます。 さらに、標準的なサポートに加えて、NVIDIA AI Enterpriseライセンスを追加購入することで、NVIDIAエンジニアによる技術サポートを受けることが可能になります。NVIDIA AI Enterpriseには、NVIDIA NeMo™、NVIDIA NIM™、NGC Catalogといったソフトウェアも含まれるため、ハードウェア故障以外の技術支援やソフトウェア活用まで見据える場合には、あわせて検討したい選択肢です。

DGX Sparkの特長や位置づけ、チャットアプリケーションとして利用した際の動作の様子は、次の記事も紹介しています。
▶︎ NVIDIA DGX Sparkで変わるAI推論環境 ～特長から他モデルとの比較まで徹底解説～
▶︎ DGX SparkでのLLM推論ベンチマーク ～チャットアプリとして使ってみた～

このようなアプライアンス型を起点にすれば、前のセクションで挙げた構築・検証・運用のハードルを抑えながら、オンプレミスでの生成AI活用を始めやすくなるでしょう。

4. 自社環境にゼロから構築する場合の支援

アプライアンス型は導入のしやすさが特徴である一方、ハードウェアやソフトウェアの構成は製品の設計に依存します。扱うモデルの規模や用途、既存のIT基盤との連携要件によっては、自社環境にゼロから生成AI基盤を組み上げる構成が適しているケースもあります。

NTTPCでは、NVIDIAエリートパートナーとして、こうした自社構築のケースについてもご支援しています。求めるモデル規模やワークロードに応じたGPUサーバーの選定から、推論基盤・アプリケーション層のソフトウェアスタック構築、運用設計まで、要件と既存環境を踏まえた構成のご提案・伴走支援が可能です。お気軽にご相談ください。

5. まとめ

本記事では、オンプレミスでの生成AI活用について、求められる要件から、必要な構成、導入時の考慮点、そしてNTTPCが支援できる構成パターンまでを整理しました。機密情報や社内データを扱う生成AI活用では、データ管理やガバナンス要件への対応が重要になります。こうした背景から、自社環境内で生成AIを実行できるオンプレミス構成への関心が高まる一方で、安定的に運用するには、ハードウェア構成や推論基盤、運用体制を含めた設計が求められます。

NTTPCは、こうしたオンプレミス生成AI環境の導入を支援しています。要件や規模に応じて、自社環境にゼロから生成AI基盤を組み上げる場合の選定・設計・構築・運用支援と、NVIDIA DGX Sparkに生成AIアプリケーションの実行環境を付加したAIアプライアンスのご提供の双方に対応可能です。
▶︎ お問い合わせはこちら

※「NVIDIA」、「NVIDIA AI Enterprise」、「NVIDIA DGX Spark」は、NVIDIA Corporationの商標または登録商標です。その他記載の会社名、商品名は、各社の商標または登録商標です。