背景
近年の衛星技術の進歩、特に時間的・空間的解像度の向上により、これまでにない詳細さと頻度で地球を監視することが可能になりました。これにより、ほぼリアルタイムのインフラ監視から、精密農業や動的リスク評価まで、AIを使用したまったく新しいユースケースへの扉が開かれました。これらの進歩により、NTTデータは複雑な課題に対処し、さまざまな業界のお客様に大きな新しい価値を提供することができます。衛星技術は急速に進化し続けており、長期的にはこのような機会が大幅に拡大すると予想されます。
衛星データに関する多くの成功事例において、堅牢で高性能なAI開発には大量の衛星データが不可欠であり、その取得は大きな課題です。これは、データ取得コストが高いこと、対象物や対象状況の出現頻度が低い場合は適切なデータを取得することが困難であること、データアノテーションに関連するコストが高いことに起因しています。
競争力を維持し、増大する需要に対応するためには、衛星データに基づくAI開発の合理化とコスト削減のための信頼できるソリューションを持つことが不可欠です。イノベーションセンタの衛星チームは、課題に対する最良のソリューションとして、合成データを特定し、合成データ生成技術を持つBifrost AI社と連携します。この連携は、Bifrost AIの合成データ技術がAI開発に与える影響を確認するとともに、開発ワークフローやビジネスプロセスへの統合も視野にいれています。
Bifrost AIについて
Bifrost AI（本社：サンフランシスコ、2020年設立）は、合成データ生成を通じて大規模で高品質なデータにアクセスできるようにすることで、物理的なAIの構築方法に変革をもたらしています。
プログラムからアクセスできるように設計された、物理的に正確な3Dシミュレーションエンジンが基盤であり、ユーザーは、希少/複雑/高リスクなどのシナリオの再現に適したデータセットを生成できます。通常、これらのシナリオについて、AIシステムの学習に十分な規模のデータを実際に得ようとすると、非常に高価であったり、または不可能といった課題に直面します。しかし、このアプローチにより、従来の3Dシミュレータや現在の二次元生成AIツールを上回るレベルの精度、自動化、カスタマイズが可能となり、AI開発を加速し、衛星データの可能性が最大限に引き出され、戦略的目標に向けてより迅速に行動するための新しい機会となることが期待されます。
Examples of synthetic images generated by Bifrost AI’s tool
連携の目的、スコープ
- Bifrost AIのテクノロジーの有用性の評価及び、既存のAI開発ワークフローにおける活用の容易さを判断する
- Bifrost AIのシミュレーションプラットフォームを使用して、合成データに対して特定の要件やシナリオに対応するためのカスタマイズが可能な範囲を評価する
- Bifrost AIの技術によって生成された合成データが、開発されたAIの性能に与える直接的な影響を分析する
POCは3か月間実施しました。対象となるAIモデルは、物体検出モデルと変化検出モデルであり、変化検出モデルは一般的な変化ではなく、特定の変化を対象としています。
PoC実施方法
テクニカルセットアップ:PoCでは、NTTデータの既存AIモデルと、各モデルが最初に開発された際に使用した衛星画像データセットを活用しました。
合成画像を含む新しいデータセットの準備及び、シナリオ毎に更新されたAIモデルのトレーニングと評価に関しては、次の一般的なアプローチを採用しています。
- 1．各モデル開発に使用する元のデータセットを、同じトレーニング、検証、テストデータの分布で準備する
- 2．対象物または変化検出対象物を元のデータセット画像に配置し、新しい合成画像を生成する
- 3．新しいトレーニングデータセットでトレーニングされていないモデルを再トレーニングする
- 4．元のテストデータセットで新しいモデルをテストする（変更していない合成画像を含まない）
データの詳細：物体検出モデルの元のデータセットとして2487枚の画像を使用し、変化検出モデルには414枚の画像を使用しました。どちらのデータセットも高解像度の光学衛星画像で構成されています。
評価：評価基準には、画像ベースのAIモデルの評価における一般的な基準である、リコール、平均精度（mAP）、およびF1スコア値を用いました。
結果及び得られた知見
AIモデルのトレーニングにおける合成データ使用の価値が証明され、少数の合成画像で得られたAI性能が大幅に向上しました。
- 物体検出では、合成物体を含むように86個の画像が更新されました
- 変化検出では、合成変更を含むように70個の画像が更新されました
このようにデータセットの小さな更新で、次の結果が得られています。
- 物体検出：mAPは約10パーセントポイント増加して0.89に達し、物体検出の再現率は4パーセントポイント増加して0.93に達しました。
- 変化検出：全体的なF1スコアは約3パーセントポイント増加し、精度は0.7、再現率は0.57に達しました。
これにより以下のようなことが判明しました。
- 合成データ生成プラットフォームのプログラムにより、データサイエンティストによる容易なBifrost AI技術活用、スムーズな導入が可能
- 物体位置や外観、ターゲットの変更を高度にカスタマイズできるほか、合成物体の外観を元の画像と一致させて、非常にリアルでアスペクト比が均質な画像が作成できます。
- Bifrost AI プラットフォームによって合成画像とともにアノテーションが出力されることから、追加のアノテーション付け作業は必要なく、追加のデータ購入やアノテーションコストをかけずにツール全体で性能向上のメリットが得られます。
技術的な知見と課題
物体検出シナリオでは、元のイメージと合成イメージの間に非常に高い類似性があることが観察されました。一般に、合成イメージは元のイメージと区別できません。一方、変化検出モデルの更新では、変更を示す実際のイメージと合成イメージの間に視覚的な不一致があるにもかかわらず、合成イメージがモデルの性能にプラスの影響を与える可能性があることがわかりました。結果の評価では、Bifrost AIのプラットフォーム内の変更の統合を改善すると、実際に性能が向上する可能性がありますが、現在の統合方法でも改善が可能であることが示されました。
今後の展望
NTTデータとBifrost AIの連携は、AIに関する深い専門知識と最先端のシミュレーションイノベーションを組み合わせることで、技術的にも戦略的にも大きなメリットが得られることを示しています。
PoCの成功により、インフラモニタリング、リスク予測、環境モニタリング、都市計画などさまざまな分野での応用が始まっています。
長期的には、NTTデータの新しい取り組みである「Marble Vision」が、地球全体（または特定の対象地域）の動的なデジタルツインを実現する、高時間・高解像度の衛星コンステレーションとして、お客様のニーズに合わせたAIベースの知見を提供することも想定しています。
NTTデータのAI及び衛星データ機能と、Bifrost AIの合成データ技術を統合することで、AIの性能、開発コスト、開発期間を最適化します。この協業はお客様の業務に革命をもたらし、NTTデータとBifrost AIのイノベーションリーダーとしての地位をさらに強固なものとなるでしょう。
