こんにちは、NTTPCコミュニケーションズの塩田です。普段は GPU クラスタの構築や RAG ChatBot の検証業務に取り組んでいます。

近年、生成AIの活用範囲はテキストや画像にとどまらず、ロボット制御の領域にも急速に広がりつつあります。本記事では、NVIDIAが提供するヒューマノイドロボット向け基盤モデル「NVIDIA Isaac GR00T」を実際にGPU環境上で動かし、シミュレーター上でロボットの推論動作を検証した結果をご紹介します。

1. NVIDIA Isaac GR00T とは

NVIDIA Isaac GR00T は、ヒューマノイドロボット向けに開発されたAIモデルです。カメラで見た情報（画像）や、人からの指示（言語）をもとに、ロボットの動きを生成することができる、いわゆる VLA（Vision-Language-Action）モデル の一種です。

従来のロボット開発では、「物をつかむ」「運ぶ」といったタスクごとに専用のプログラムやモデルを用意する必要がありました。一方、GR00Tは事前にさまざまな動作を学習した基盤モデルをベースとしており、追加学習（ファインチューニング）によって新しいタスクにも柔軟に対応できる点が特徴です。

また、GR00Tの大きな特徴として、「考える処理」と「動かす処理」を分けるデュアルシステムを採用している点が挙げられます。具体的には、次の2つのシステムで構成されます。

• 行動（System 1）：反射的に体を動かすような高速な処理（リアルタイム制御）
• 推論（System 2）：言語や画像を理解して行動を考える比較的ゆっくりした処理

このように処理を分けることで、人間のように「考えてから動く」と「反射的に動く」を使い分けながら、より自然で安定した動作を実現します。

本記事では、この GR00T を NVIDIA DGX Spark 上で実際に動かし、シミュレーター上でロボットの動作を検証した結果を紹介します。

2. 今回試したこと

今回の検証では、実機ロボットではなく、シミュレーター上のヒューマノイドロボットを対象にしました。
タスクとしては、テーブル上にあるリンゴをつかみ、指定された場所へ運ぶ動作を評価しています。

構成としては、GR00T の推論サーバーを起動し、別プロセスで動作する MuJoCo™ シミュレーターから推論サーバーへリクエストを送る形です。

大まかな流れは次の通りです。

この構成により、GR00T が出力した行動を使って、シミュレーター上でロボットがタスクを遂行できるかを確認できます。

3. 検証環境

今回の検証環境は次の通りです。

4. セットアップ

環境構築は、Isaac GR00Tの公式リポジトリに従って実施しました。

git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
cd Isaac-GR00T
bash scripts/deployment/spark/install_deps.sh
source .venv/bin/activate
source scripts/activate_spark.sh

基本的には公式手順に沿って進めます。
ただし、ロボットシミュレーション関連の依存関係やPython仮想環境が複数関係するため、実行するターミナルごとにどの仮想環境を有効化しているかを意識する必要があります。

特に、推論サーバー側とシミュレーター側で使用する環境が異なる点には注意が必要です。

5. 推論の実行方法

GR00Tの推論は、主に次の2ステップで実行します。

1. GR00Tの推論サーバーを起動する
2. MuJoCoシミュレーター側のクライアントを実行する

5-1. 推論サーバーの起動

まず、GR00Tの推論サーバーを起動します。

本検証環境では、公式手順を参考にしつつ、検証条件に合わせて次の公開モデルを使用しました。

• cloudwalk-research/GR00T-N1.6-G1-PnPAppleToPlate

実行コマンド例は次の通りです。

source /path/to/Isaac-GR00T/.venv/bin/activate
source /path/to/Isaac-GR00T/scripts/activate_spark.sh

python gr00t/eval/run_gr00t_server.py \
    --model-path cloudwalk-research/GR00T-N1.6-G1-PnPAppleToPlate \
    --embodiment-tag UNITREE_G1 \
    --use-sim-policy-wrapper \
    --device cuda:0 \
    --host 127.0.0.1 \
    --port 5555

サーバー起動後、次のようなメッセージが表示されれば準備完了です。

Server is ready and listening on tcp://127.0.0.1:5555

なお、検証用途ではローカルホストで待ち受ける構成にしています。
外部端末から接続する必要がある場合は、ネットワーク設定やアクセス制御を確認したうえで待ち受けアドレスを変更します。

5-2. シミュレーションの実行

次に、別ターミナルでMuJoCoシミュレーター側のクライアントを実行します。

source /path/to/Isaac-GR00T/gr00t/eval/sim/GR00T-WholeBodyControl/GR00T-WholeBodyControl_uv/.venv/bin/activate

python gr00t/eval/rollout_policy.py \
    --n_episodes 10 \
    --max_episode_steps 1440 \
    --env_name gr00tlocomanip_g1_sim/LMPnPAppleToPlateDC_G1_gear_wbc \
    --policy_client_host 127.0.0.1 \
    --policy_client_port 5555 \
    --n_action_steps 20 \
    --n_envs 1

このコマンドでは、10エピソード分のシミュレーションを実行します。
各エピソードで、シミュレーター上のロボットがリンゴをつかみ、指定された位置へ運ぶタスクを試行します。

6. 検証結果

今回の検証では、10エピソードの実行におよそ数分程度かかりました。
実行後、ターミナルに次のような形式で結果が出力されます。

results: [True, True, False, ...]
success rate: 0.4

True はタスク成功、False は失敗を表しています。今回の検証では成功率は 40% でした。また、その後複数回の実験を行ったところ、成功率は概ね 40〜60% の範囲で推移しました。

成功率を見ると、まだ安定しているとは言い切れないですが、ロボットが物体を認識し、手を伸ばし、つかみ、運ぶという一連の動作を行えている点は非常に印象的でした。

また、シミュレーション結果は動画として確認できるため、単にログを見るだけでなく、ロボットがどのように失敗したのか、どの動作が不安定なのかを視覚的に把握できます。

7. 実際に触って感じたGR00Tの魅力

今回の検証を通じて、GR00Tの魅力は大きく2つあると感じました。

フィジカルAIを実際に試せる

GR00Tはロボット向け基盤モデルを、実際に手元の環境で試せる点が魅力です。論文やデモ動画を見るだけでなく、自分の環境で推論サーバーを立ち上げ、シミュレーターを動かし、成功・失敗を確認できることには大きな価値があります。

フィジカルAIにおける VLAモデル・シミュレーターの関係を理解しやすい

GR00Tの検証では、モデル単体だけでなく、ロボットシミュレーターや低レベル制御との関係も見えてきます。
AIモデルが行動を出力し、その行動が物理シミュレーション上でどのように反映されるのかを確認できるため、フィジカルAIの全体像を理解するうえで良い題材になります。

タスクごとに専用モデルや専用ロジックを作り込むのではなく、基盤モデルをベースにさまざまなタスクへ適応していく。
GR00Tは、そのような将来像を実感できるプロジェクトだと思います。

8. 検証を通じて確認できたこと

一方で、今回の検証を通じて、シミュレーション環境での挙動や実機適用に向けて確認すべき点も見えてきました。

成功率にはばらつきがある

今回の検証では、タスク成功率はおおむね40〜60%程度でした。
シミュレーション上でのロボット動作は、環境条件や試行ごとの状態によって結果に差が出る場合があり、すべての試行で同じ結果になるわけではありません。
ただし、こうした試行ごとの違いを観察できること自体も、ロボットAIの検証としては重要です。どの場面でタスクが完了しにくいのか、どの動作で挙動に差が出るのかを確認することで、今後の改善ポイントを把握できます。

実機ロボットへの適用には追加検証が必要

今回の検証はMuJoCoシミュレーター上で動作実験を行いました。実機ロボットへ適用する場合には、センサー誤差やアクチュエーター特性、環境条件のばらつきなど、実環境特有の要因を考慮する必要があります。

これらの要因はシミュレーション上では再現しきれない場合があり、同一の制御ロジックであっても、実機環境では性能や挙動が変化する可能性があります。そのため、実機環境での利用に向けては、別途追加の検証が必要になります。

9. まとめ

今回は、NVIDIA Isaac GR00TをDGX Spark上で動かし、MuJoCoシミュレーター上でヒューマノイドロボットの推論動作を検証しました。

フィジカルAIは、今後さらに重要性が高まる分野です。GR00Tは、視覚・言語・行動を統合するロボット向け基盤モデルとして、ロボット開発の将来像を体感できるプロジェクトだと感じました。

GR00Tの公式リポジトリには推論だけでなく学習関連のコードも含まれており、ファインチューニングによるタスク適応の検証にも発展可能です。フィジカルAIやロボット基盤モデルに興味のある方は、ぜひ手元の環境で試してみてください。

今回検証で利用したDGX SparkをはじめとするGPU製品や、フィジカルAIの実行環境の導入をご検討の際は、ぜひNTTPCにご相談ください。お客さまの要件に応じたGPUソリューションを提案します。
▶︎ お問い合わせはこちら

※本記事に掲載しているコマンド、設定例、手順等は、2026年6月時点での情報をもとに作成しています。本記事の内容を実行した際に発生する損害について、弊社は一切の責任を負いません。また、設定手順等が記載通りに再現されない場合があります。

※「NVIDIA」「NVIDIA Isaac」「NVIDIA DGX Spark」「CUDA」は、米国およびその他の国におけるNVIDIA Corporationの商標または登録商標です。
※「MuJoCo」はGoogle DeepMindの商標です。
※「Unitree G1」はUnitree Roboticsの製品名です。
※「GitHub」は米国およびその他の国におけるGitHub, Inc.の商標です。