こんにちは。西日本エリアでインフラやGPUの構築・設計を担当しているエンジニアの今井です。
このたび、NVIDIA DGX™ Sparkを利用できる環境が整ったため、以前から関心のあったLLM推論性能のベンチマーク検証を実施しました。
小型ワークステーションを用いた推論環境に関するお客さまからのお問い合わせも増えており、そうした背景も踏まえ今回の検証を行っています。

本記事では、DGX Spark上で複数の実行環境（コンテナ）・推論フレームワーク・LLMモデルを用いてLLM推論ベンチマークを実行した結果を紹介します。後半ではOpen WebUIを用い、ベンチマーク結果だけでは見えにくい実際の利用感についても少しだけ触れたいと思います。
これからLLM推論の検証や選定を行う方にとって、少しでも参考になれば嬉しいです。

1. はじめに

• 対象読者：

• 小型ワークステーションを用いたオンプレミス推論環境に関心のある方
• vLLMやSGLangなどの推論フレームワークをこれから試そうとしている方
• 数値ベースのベンチマーク結果に加え、実際の使用感も知りたい方

• 前提：

• DGX Sparkの初期セットアップは完了済であることを前提としています
• DGX Sparkの仕様解説や初期セットアップ手順については本記事では扱いません。初期セットアップについては下記の「DGX Spark User Guide」や、当社エンジニアが執筆した関連記事をご参照ください

DGX Spark User Guide：DGX Spark User Guide — DGX Spark User Guide
関連記事：DGX Sparkを2台でクラスタ化してAIエージェントを構築＆GPT-OSS-120Bを実行してみた｜GPUならNTTPC｜NVIDIAエリートパートナー

※DGX Sparkで利用可能な機能やユースケース全般については、以下の「Playbook」に詳しくまとめられています
Start Building on DGX Spark

• 注意事項：

本記事で紹介する検証内容および結果は、2025年12月時点における特定の環境および条件下で実施したものです。LLM推論環境の関連ソフトウェアは更新頻度が高く、実行環境はバージョン違いによって挙動や性能が変わる可能性があるため、本記事の内容はあくまで参考情報としてご利用ください。
なお、本検証では各LLMモデルの応答性能に着目しています。
生成される文章の品質や内容といった言語性能の評価を目的としたものではありませんので、あらかじめご了承ください。

2. ベンチマーク検証環境

2-1. 推論フレームワーク

本検証では、次のLLM推論フレームワークを対象としました。各フレームワークは最適化されたコンテナが提供されているため、それらを利用することにしました。

「SG Lang」については、LMSYS ORG（Large Model Systems Organization）よりDGX Spak向けに最適化されたコンテナが出ているため、NGC（nvcr.io）コンテナとの双方で比較しています。
DGX Spark Playbook内にも当該コンテナを用いたSGLangの利用例がありますので参考にしてください。
参考：dgx-spark-playbooks/nvidia/sglang at main · NVIDIA/dgx-spark-playbooks · GitHub

2-2. 使用モデル一覧（vLLM / SGLang）

検証に使用したLLMモデルは下表のとおりです。

※「llama3.3-70B」モデルについては、BF16では、Out of MemoryでGPUメモリ上に展開できないため、NVIDIAがHugging Face上で公開している量子化(NVFP4)モデルを利用
参考：nvidia/Llama-3.3-70B-Instruct-NVFP4 · Hugging Face

DGX Sparkは、128GBと比較的大きいサイズのGPUメモリを備えており、大規模なLLMでも単一GPUでの推論が可能です。
本検証では、この特性を活かし、小規模モデルから大規模モデルまでを幅広く動作させたうえで、モデルやパラメーター数の違いが推論性能にどのような影響を与えるのかを確認しました。

2-3. 使用モデル一覧（ollama）

ollamaについては、主にGGUF形式の量子化済みモデルを使用しています。
GGUFはllama.cpp系で利用されている量子化モデル形式であり、Hugging Face上のモデルを直接利用するvLLMやSGLangとは、モデル形式が異なります。
※gpt-ossモデルについては、ollamaでも「MXFP4」が利用可能です

3. ベンチマーク結果の見方

ベンチマークの結果を整理・比較するために、本検証で取得した値について以下に整理します。
LLM推論は単純な生成速度（スループット）だけでなく、初期応答の早さや、どの程度のモデルサイズを現実的に展開できるかといった要素も実際の運用設計に影響します。
モデルのメモリ展開サイズについては、おおよその理論値を見積もることは可能ですが、本記事では実際にモデルを展開した際の使用量も確認・記録しています。
なお、実利用では、KV Cacheなどのメモリ消費量なども考慮する必要があり、この点については注意が必要です。

4. ベンチマーク手法とパラメーター

ベンチマークには、vLLMに標準で提供されているvllm benchを使用しました。
vllm benchは、vLLMの推論性能を評価するために提供されている公式ベンチマークツールで、OpenAI 互換APIエンドポイントに対応しています。
今回の検証では、このOpenAI API互換という特性を活かし、vLLMに限らず、SGLang、ollamaといった他の推論フレームワークについても、vllm benchでベンチマークを取得します。

これにより、下記の3点で公平なベンチマーク結果を得ることができると考えています。

① クライアント側（ベンチマーク実行側）の実装を共通化できる
② 推論フレームワークごとの差分や、API実装や測定ロジックの違いによる影響を最小限に抑えられる
③ 実運用で一般的な「OpenAI互換API経由での推論呼び出し」に近い形で評価できる

また、今回の検証で使用したvllm benchのパラメーター設定は下表の通りです。
vllm benchでは同時実行数（並列数）を指定することが可能ですが、本検証では基本的な応答性能に着目するため、並列処理は行わず同時実行数は「1」に固定しています。
※パラメーターは必要な部分のみ抜粋して記載しています

※ollamaは、独自APIに加えOpenAI互換API対応でもあるのでvllm benchを用いた測定も可能ですが、vllm benchはHugging Face上のモデル利用を前提としており、トークナイザーとしてHugging Faceのものが使用されていました。

ollamaは独自のモデル管理（GGUF）を行っているため、vllm bench経由での測定では、ollama本来の挙動や性能特性を正確に反映できない可能性があることから、本記事ではvllm benchによるollamaの測定結果については参考値として扱い、結果の解釈には注意が必要です。
ただし、詳細は割愛しますが、ollama公式のベンチツールで測定した結果とそこまで大きな乖離はなかったことも補足しておきます。

5. ベンチマーク結果一覧

これまでの手順で実施したベンチマーク結果を以下に整理します。

今回の結果を見ると、openai/gpt-oss系モデルが全体として比較的良好な結果となりました。
20B/120BのいずれにおいてもTTFTが短く、Decode Throughputも「30 tok/s以上」と比較的高水準で、DGX Spark（GB10）上での推論用途として、性能と扱いやすさのバランスが非常に良いモデルという印象を受けました。

特に120B（gpt-oss）という大規模パラメーターモデルでも、一定のパフォーマンスを発揮できることを確認できた点は良かったと思います。
この点については、gpt-oss系モデルで採用されているMXFP4形式の量子化が、有効に機能している可能性が高いと思われます。

ollamaについてもllama系小規模モデルを中心に、比較的良好なDecode Throughputが確認できており、おおむね実用的な性能が得られていそうです。

また、実行環境の違いによる影響も一部で確認できました。
特にLMSYS ORG（Large Model Systems Organization）が提供するDGX Spark向けのSGLangコンテナでは、gpt-oss-20B/120BにおいてDecode Throughputが約20%向上しており、実行環境の最適化によって、性能改善の余地はありそうです。

一方で「NVFP4」に対して、個人的にやや期待していた部分もありましたが、今回の検証条件では性能向上は確認できませんでした。
モデルや推論フレームワークとの組み合わせ、あるいはパラメーター設定によって結果が変わる余地はありそうですが、少なくとも今回の構成では、必ずしもNVFP4が優位に働くとは言えない結果となっています。

6. チャットアプリとして実際に使ってみた体感

前章では、vllm benchを用いた数値ベースのベンチマーク結果について整理しました。
一方で、LLM推論環境を評価するうえでは、数値だけでは分からない使い勝手の部分も重要になります。
そこで実際にチャットとして利用した際に、ベンチマークで得られたDecodeThroughput（tok/s）の値がどのような体感につながるのかを試してみました。
ここでは、DGX Spark Playbooksに内にも記載があり、無料で利用できるOSSの「Open WebUI」を利用し、実際にモデルを切り替えながらチャットのやり取りをしました。

なお、Playbookでは下記URLにて「Open WebUI with Ollama」として公開されています。Open WebUIはコンテナ提供されており、ChatGPTライクなチャットインターフェースをすぐに使い始めることが可能で、ollamaと組み合わせることでモデルダウンロードもGUI上で行えます。

オンプレミス推論環境の検討の際には、Webフロントやアプリ開発が一つの検討事項になることも多いと思いますが、Open WebUIを利用することで、検証や実験用途としては十分な機能を手軽に揃えることができるため、初期検討や評価環境としておすすめです。（DGX Sparkの位置づけとも相性が良いですね。）
Open WebUI with Ollama | DGX Spark

6-1. Open WebUIのチャット画面イメージ

Open WebUIのチャット画面イメージを簡単にご紹介します。詳細は触れませんが、バックエンドの推論エンジンとの接続設定（Open WebUI上で設定可）を行えば、Webブラウザー上からすぐにチャット形式でLLMを利用することが可能です。
この画像からは「gpt-oss:120b」モデルが動作していることがわかります。

実際に少し長めの文章を出力させてみました。
本例の推論バックエンドは「ollama」です。ベンチマーク結果（Decode Throughput）は先述のとおり「40.65tok/s」であり、チャットとしての体感においては「待ち」を意識することなくスムーズに利用できている印象です。
※静止画のため、生成中のテンポを直接お伝え出来ない点はご容赦ください。

6-2. 体感の目安

あくまで、筆者の環境での超主観的な感想にはなりますが、下記にまとめておきます。
ちなみに、一般的に広く利用されているChatGPTなどは「30～50tok/s」と言われているようです。

7. まとめ

本記事では、DGX Sparkを用いて、複数の推論フレームワークおよびLLMモデルに対する推論ベンチマークと、実際の利用感の確認を行いました。
DGX Sparkの128GBという大容量メモリを活かし、120Bクラスの大規模なLLMを単体で実行・検証できる点が大きな強みであるとあらためて感じました。
もちろん、DGX Sparkは大規模GPUクラスタの代替ではありませんが、「ローカルで大きめのモデルを動かし、性能や挙動を把握する」という前段検証・評価用途においては、実用性の高いプラットフォームと言えるのではないかと思います。

今回は、LLM推論を中心とした検証に留まりましたが、128GBというDGX SparkのGPUメモリ容量を考えると、画像生成をはじめとした他の生成AIワークロードにおいても検証・評価用途として活用できる余地は十分にありそうです。
特に、

• 推論エンジンや量子化方式の比較
• モデルサイズごとの性能特性の把握
• チャット用途を想定したレスポンス確認

といった観点では、DGX Spark単体で完結した検証が可能であり、オンプレミス推論環境を検討する際の「最初の一歩」として適した選択肢の一つだと感じました。
「どのモデルを、どのフレームワークで、どのように使うか」を考えるきっかけとして、本記事の結果が少しでもヒントになれば幸いです。

※「NVIDIA」「NVIDIA DGX Spark」は、米国およびその他の国におけるNVIDIA Corporation の商標または登録商標です。
※「vLLM」はvLLM Projectの商標です。
※「Ollama」は、米国のOllama Inc.の商標または登録商標です。
※「Hugging Face」は、Hugging Face, Inc.の商標または登録商標です。
※「ChatGPT」は、米国Open AIの商標または登録商標です。