NVIDIAは10月21日、GTC Berlinで『NVIDIA Isaac™』オープン ロボティクス開発プラットフォームの拡張を発表しました。ヒューマノイドのリファレンス、データセット、ランタイムを追加し、ロボット学習フレームワークもアップデートします。『NVIDIA Isaac Lab 3.0』は一般提供が開始されています。
今回の拡張では、Agile Robotsが『NVIDIA Isaac GR00T』と『NVIDIA Jetson Thor™』を基盤としたヒューマノイドのリファレンス プラットフォーム『Agile ONE SN』を発表しました。NVIDIA側は、『NVIDIA Isaac』にランタイムやデータセット、リファレンス ワークフローなどを加えています。
- NVIDIA Isaac：https://developer.nvidia.com/isaac
Agile Robotsのヒューマノイド『Agile ONE SN』
『Agile ONE SN』は、『NVIDIA Isaac GR00T』を事前構成し、エッジAIプラットフォームの『NVIDIA Jetson Thor™』を搭載したフルスタックのヒューマノイド リファレンス プラットフォームです。提供開始は2027年初頭の予定です。
Agile Robotsによると、シミュレーション、トレーニング、展開の各ツールとワークフローを単一のプラットフォームに統合し、セットアップに要する時間を数週間から数日へ短縮するとのことです。
構成は次のとおりです。
- ボディ：『Agile ONE S』ヒューマノイド ボディで、身長は1.4メートル（4.59フィート）、重量は40キロ（88ポンド）です。31の自由度を備え、片腕当たり3キロの可搬重量に対応します。
- ハンド：2つの『WUJI Hand 2』5本指ハンドを備えます。それぞれ20の自由度があり、1kHzの力制御と触覚センシングに対応します。
- コンピューティング：『NVIDIA Jetson Thor』は2,070 FP4 TFLOPSの演算性能と128GBの統合メモリを備え、オンボードでのリーズニングとリアルタイム制御に使われます。
- センシング：頭部と手首のカメラ、LiDARセンサー、慣性計測装置などで、周囲の認識と相互作用を支援します。
- ソフトウェア：『NVIDIA Isaac GR00T』プラットフォームは、GR00T基盤モデル、データ収集から展開までの一連のワークフロー、協調した動きを実現する全身制御で構成されています。
- 安全機能：ロボット上の安全プロトコルと、ロボティクス向け『NVIDIA Halos』フルスタック安全システムとの統合を計画しています。
Isaacプラットフォームにくわわるデータとツール
トレーニング データの生成、ロボット学習の拡張、シミュレーション環境の構築、ロボット アプリケーションの展開を支援する新技術が追加されました。
提供が開始されたデータセット
『SimReady Central Library』は、シミュレーションに対応した2,000点以上のロボティクスおよび工場向けアセットを提供します。
ComauやファナックをはじめとするパートナーのアセットがHugging Face上に収録されています。
収録元は、ForgeCAD、Franka Robotics、LG Electronics、Palatial、Robotiq、Standard Bots、Universal Robots、Vertivです。
『Human 1M Dataset』には、多様な人間の活動、同期した3視点の動画、3Dハンド トラッキングが含まれています。どちらもHugging Faceで提供が開始されており、完全な『Human 1M Dataset』には、Cosmos Coalitionのパートナーがアクセスできます。
- SimReady Central Library：https://huggingface.co/blog/nvidia/simready-central-assets-robotics-ai-factories
学習フレームワークとランタイム
『NVIDIA Isaac Lab 3.0』は、AIエージェントに対応したオープンソースの学習フレームワークです。マルチGPUワークフローと、『Newton』や『NVIDIA PhysX®』などの物理エンジンを活用し、デスクトップからデータセンターまで、ロボット ポリシーのトレーニングと改良を可能にします。
『NVIDIA Isaac OS』は、『NVIDIA Holoscan』を基盤に構築されたオープンソースのランタイム フレームワークです。AI、センサー、制御、ロボット ハードウェアを接続し、シミュレーションから実機のロボットまで、決定論的なリアルタイム性能を実現するとのことです。
『NVIDIA DGX Station™』向けには、3つのオープンソースのリファレンス ワークフローを公開すると発表しました。内容は次のとおりです。
- 強化学習による『GR00T 1.7』モデルの改良
- 『NVIDIA Isaac Lab』での器用な物体操作スキルの学習
- ChatGPT Astraを使った合成データ生成に向けた、『NVIDIA Cosmos™』世界モデルの事後学習
これらのワークフローは、1X、Agile Robots、Humanoid、Maven Robotics、Mentee、MicroAGI、Rhoda、Sereact、Skild AIのソリューションによってサポートされる予定です。
安全プラットフォーム『NVIDIA Halos』
『NVIDIA Halos』は、『NVIDIA IGX Thor™』を基盤とするフルスタックの安全プラットフォームです。自動運転車とロボットについて、開発段階から実環境での大規模な展開への移行を支援します。
Agile Robots、Agility、Dexory、FORT Robotics、KIONは、倉庫向けロボットの安全性に向け、それぞれの安全アーキテクチャに『NVIDIA Halos』を統合しています。SICKは、産業用ロボットが固定された区域の範囲を超えて変化する状況に対応できるよう、動的な安全性の向上に向けて評価しています。
AdvantechとNexCOBOTは、『NVIDIA IGX』ベースの産業用コンピューティング プラットフォームを開発しています。Reynolds & Moore、Accenture、TÜV SÜDは、産業用フィジカルAIの安全な展開に向け、認証プロセスを加速しています。
パートナー各社の活用例
ABB Roboticsは、『NVIDIA Omniverse™』ライブラリと『RobotStudio HyperReality』を統合し、設置前のロボット システムのシミュレーションと仮想コミッショニングを行います。
KUKA Groupは、『Visual Components FactoryLens』に『Omniverse』ライブラリを活用し、工場のシミュレーション ワークフローにリアルタイム レンダリングを加えています。
Sereactは、『Isaac GR00T』と『Cosmos Transfer』を活用し、Universal Robotsの産業用ロボット アーム上で稼働する物品ハンドリング向け『Cortex』プラットフォームのトレーニングとポストトレーニングを行っています。
Humanoidは、『Jetson Thor』、『Holoscan Sensor Bridge』、『Halos』、『NVIDIA Isaac OS』を使い、産業分野での試験導入に先立ってロボットの動作を開発、検証しています。Hexagon Roboticsは、遠隔操作用の動画、自己位置推定、マッピング、物体の姿勢検出など、『AEON』の認識機能を構築しています。
Hugging FaceとPollen Roboticsは、『NVIDIA Isaac Lab』、『Isaac Sim』、『Newton』を使い、小型のオープンソース ロボット『Microduck』を構築しています。『Microduck』は、開発者や学生が実環境での新たな動作をトレーニング、変更、共有できるよう設計されています。
