# EarthSight: A Distributed Framework for Low-Latency Satellite Intelligence > [!info] Talk metadata > - **会議:** [[MLSys2026]] Day 4 (May 21 / Thu)、Grand Ballroom 2、14:00 - 14:15 PDT > - **登壇者:** Ansel Erol（Georgia Institute of Technology）、Seungjun Lee（Georgia Institute of Technology / KAIST）、Divya Mahajan（Georgia Institute of Technology） > - **URL:** https://mlsys.org/virtual/2026/oral/3792 > - **OpenReview:** https://openreview.net/forum?id=c3O6DnhUYm > - **GitHub:** https://github.com/scai-tech/earthsight > [!abstract] 概要（MLSys サイト） > 衛星画像の低遅延配信は、災害対応・インテリジェンス・インフラ監視などの時間的制約の厳しいアプリケーションにとって不可欠である。しかし従来のパイプラインは、撮影した画像をすべてダウンリンクしてから解析する方式に依存しており、通信帯域幅の制約から数時間から数日の遅延が生じる。このボトルネックに対し、衛星上でオンボード ML を実行して送信画像の優先順位を付けるシステムが登場しつつあるが、これらは各衛星を孤立した計算ノードとして扱うため、拡張性と効率に限界がある。衛星間での冗長な推論やタスクの増加は、搭載電力と計算コストをさらに圧迫する。本研究では、衛星画像インテリジェンスを軌道と地上にまたがる分散意思決定問題として再定義するランタイムフレームワーク EarthSight を提案する。EarthSight は 3 つの技術革新を導入する。(1) 共有バックボーンを用いたマルチタスク推論により複数ビジョンタスクの計算を償却する衛星上マルチタスク推論、(2) ユーザリクエストを集約し優先度を予測しコンピュート予算を割り当てる地上局クエリスケジューラ、(3) モデルの選択性・精度・実行コストを統合し低価値画像を早期棄却する動的フィルタ順序付け。EarthSight は地上局からのグローバルコンテキストと軌道上のリソース適応型意思決定を活用し、厳しいダウンリンク帯域幅と搭載電力予算の下でスケーラブルかつ低遅延な画像解析を実現する。既存のシミュレータを用いた評価により、画像あたりの平均計算時間を 1.9 倍削減し、90 パーセンタイルのエンドツーエンドレイテンシを 51 分から 21 分に低減することを示した。 ## テーゼ・問題設定 低軌道（LEO）衛星コンステレーションは地表の高解像度画像をほぼ毎日取得しているが、撮影した画像の配信には深刻な遅延が存在する。根本的な原因は、衛星と地上局の間のダウンリンク機会が短く断続的であることにある。接触時間は典型的に 10-15 分、1 日あたりの接触回数は 2-4 回程度にすぎない。従来のベントパイプ方式では全画像を FIFO でダウンリンクするため、高価値な画像が不要な画像の後に並び、次の接触ウィンドウまで待たされることになる。 この問題に対し、衛星上でオンボード ML を用いて画像を優先順位付けし、高価値画像を先にダウンリンクするアプローチが提案されてきた。しかし既存手法にはスケーラビリティ上の課題がある。 - **孤立ノードとしての扱い:** 既存システムは各衛星を独立した推論ノードとして扱い、コンステレーション全体のダウンリンク競合や帯域幅の状況を考慮しない - **タスク数増加への非対応:** 商用システムでは画像あたり多数の推論タスク（火災検知、船舶検出、土地利用分類など）を同時に実行する必要があるが、タスク数の増加に伴い計算資源が不足し、テイルレイテンシが急増する（16 タスクでベースラインの P99 レイテンシは 120 分超） - **電力とスループットの制約:** 衛星の AI コプロセッサ（Google Coral Edge TPU: 2W / 4 TOPS、NVIDIA Jetson Orin Nano: 7-15W / 67 TOPS）は推論に使える電力が 5-30W に限られる EarthSight の目標は、画像処理ボトルネックを緩和し、分類済み画像の割合を最大化しつつレイテンシを最小化することである。 ## 提案手法 EarthSight は衛星画像解析をグランドコンテキスト（地上局での大域的文脈）とローカルアダプテーション（軌道上での局所適応）を組み合わせた分散意思決定問題として定式化する。システムは 4 つの中核コンポーネントで構成される。 ### 1. 共有バックボーンによるマルチタスク推論 従来は 1 フィルタ = 1 モデルであったが、EarthSight では複数フィルタ間でバックボーンを共有する。類似した特徴を必要とするフィルタをドメイン固有のクラスタに分類し、各クラスタに専用の EfficientNet バックボーンを割り当て、軽量な多層パーセプトロンを予測ヘッドとして接続する。ハードパラメータ共有を採用し、バックボーンで潜在表現 $z = f_\text{backbone}(x)$ を抽出した後、必要なタスクヘッド $f^i_\text{head}(z) = y_i$ のみを条件付きで実行する。 パレート最適なマルチタスク構成では、メモリ使用量を 55.7% 削減しつつ精度低下は 0.5% 未満に抑える。 ### 2. 地上局スケジューラ（グローバルコンテキスト） 地上局に常駐するスケジューラが、軌道上の衛星ランタイムに必要な全情報を統合する。 - **先読みシミュレータ:** ダウンリンクウィンドウの時間的変動と帯域幅分布から、各衛星について次のダウンリンクで送信可能な最低優先度しきい値 $p^*$ と、棄却率 $r_\text{reject}$ を予測する - **スケジュール生成:** 衛星の撮影予定位置と関心領域（AOI）の交差を R-tree インデックスで効率的に検索し、対象画像ごとのフィルタリング条件を選言標準形（DNF）の論理式にまとめる - **スケジュール圧縮:** ユニークな論理式の数は 6 時間で 256 未満であるため、ルックアップテーブルと 1 バイトインデックスの列として符号化し、約 25 倍の圧縮を達成する。ネットワークオーバーヘッドは日次ダウンリンク量の 0.1% 未満 帯域幅に余裕がある場合は全画像がダウンリンクウィンドウに収まるため分類をスキップし電力を節約でき、帯域幅が逼迫している場合のみ高精度に優先順位付けを行う。 ### 3. ローカルアダプテーション（動的信頼度しきい値） 衛星上のランタイムは、地上からのスケジュールに基づきつつ、リアルタイムの電力状態と帯域幅利用状況に応じて信頼度しきい値 $\alpha$ を動的に調整する。 $\alpha_t = \min(1,\;\alpha_{t-1} + \lambda_1(r_{\text{power},t} - 1) + \lambda_2(r_{\text{dep},t} - r_{\text{reject}}))$ ここで $r_{\text{power},t}$ は現在の電力レベルと目標電力レベル（最大充電量の 70%）の比、$r_{\text{dep},t}$ は低優先度と判定された画像の割合、$r_\text{reject}$ は地上局から指示された目標棄却率である。電力が潤沢で帯域幅にも余裕がある場合は $\alpha$ が低く（偽陽性を許容）、逆に電力が逼迫し帯域幅も不足している場合は $\alpha$ が高く（高信頼度でのみ受理）なる。 重要な洞察として、偽陽性（低価値画像を高優先度と誤判定）はレイテンシに軽微な影響しか与えない。高優先度画像の偽陰性（見逃し）を防ぐため、下限しきい値 $\beta$ は固定で低い値に設定し、$p_\text{compute}$ という中間優先度階層を設けて、推論済みだが棄却された画像を保証付き低優先度画像より先に送信する。 ### 4. 動的フィルタ順序付け（ユーティリティ関数） 各画像に対してどのフィルタを次に実行するかを、ユーティリティ関数に基づき貪欲に選択する。この問題は Stochastic Boolean Function Evaluation（SBFE）の一種であり NP 困難だが、以下のヒューリスティックで近似する。 $U_\phi(f_i, \mathcal{E}) = \frac{(1 - p_i) \cdot \text{tpr}_i \cdot n_i}{t_\text{eff}(f_i, \mathcal{E})}$ - $(1 - p_i)$: フィルタ $f_i$ が False を返す確率（異常は稀であるため、False を返すフィルタほど早期棄却に寄与） - $\text{tpr}_i$: 真陽性率 - $n_i$: そのフィルタが無効化しうる DNF 項の数 - $t_\text{eff}(f_i, \mathcal{E})$: 実効実行時間（バックボーンが未実行ならバックボーン実行時間を加算） ### パイプライン実行 xPU（GPU/TPU）でのフィルタ実行と CPU でのフィルタ選択・重みロードをパイプライン化する。現在のフィルタ実行中に、画像が棄却されると仮定して次の最適フィルタを CPU 側で投機的に選択しプリロードする。予測が外れた場合でも代替フィルタをプリフェッチしておくことで、アイドル時間を最小化する。 ## 実験・主要結果 ### 評価セットアップ - **コンステレーション:** Planet Dove の 153 衛星の軌道と地上局配置を使用したシミュレーション - **ハードウェアトレース:** Google Coral Edge TPU（2W、4 TOPS）と NVIDIA Jetson AGX Orin Nano（7-15W、67 TOPS）の実機計測値をシミュレータに注入 - **タスクシナリオ:** 自然災害監視、軍事インテリジェンス、都市観測の 3 種 - **データセット:** 分類に EuroSAT・ADVANCE・PatternNet、セマンティックセグメンテーションに LandCover.ai・LoveDA・DeepGlobe LC を使用 - **ベースライン:** Serval（Tao et al., 2024）のパイプライン方式（静的フィルタ順序、地上局からの計算スケジュールなし） ### 画像あたり計算時間の削減 | プラットフォーム | 手法 | 平均時間 (秒) | 高速化 | |---|---|---|---| | Jetson | ベースライン | 2.46 | 1x | | Jetson | EarthSight ST | 1.86 | 1.32x | | Jetson | EarthSight MT | 1.33 | **1.85x** | | Coral | ベースライン | 7.82 | 1x | | Coral | EarthSight ST | 5.86 | 1.33x | | Coral | EarthSight MT | 4.15 | **1.88x** | マルチタスクモデルとフィルタ順序最適化・パイプライン実行の組み合わせにより、画像あたりの平均優先度付け時間を最大 1.9 倍削減した。 ### エンドツーエンドレイテンシ（P90） 高計算負荷シナリオ（インテリジェンス・都市観測）で顕著な改善を達成した。 - **インテリジェンスシナリオ（Coral）:** P90 レイテンシを 47 分から 21 分に削減 - **都市観測シナリオ（Coral）:** P90 レイテンシを 51 分から 21 分に削減 - **自然災害シナリオ:** 計算負荷が低いため改善幅は小さいが、電力消費の削減に寄与 ### 消費電力の削減 | 手法 | TPU (%) | GPU (%) | |---|---|---| | ベースライン | 27.95 | 171.96 | | EarthSight ST | 11.11 | 69.46 | | EarthSight MT | **8.91** | **61.49** | 生成電力に対するコンピュート消費割合を大幅に低減した。GPU ベースラインでは消費電力が発電量を超過（171.96%）していたのに対し、EarthSight MT では 61.49% に抑制した。 ### アブレーションスタディ 都市観測シナリオでの各コンポーネントの寄与を検証した結果、全コンポーネントが相互補完的に機能し、完全な EarthSight が全パーセンタイルで最低レイテンシを達成した。 - **先読みシミュレータ除去:** P90 で約 30 分（EarthSight の 20 分に対し +10 分） - **固定フィルタ順序:** 動的順序付けを除去すると P90 で約 29 分 - **静的ランタイム:** 動的しきい値を除去すると P90 で約 22 分 動的しきい値が静的しきい値を全指標で上回ることも確認された（動的: 平均 7.0 秒 / P90 20.0 分、最良の固定しきい値 0.2: 平均 11.9 秒 / P90 44.7 分）。 ### 厳密解との比較 2,473 個の合成論理式スイートにおいて、EarthSight の貪欲ヒューリスティックは厳密解と比較して平均優先度付け時間の相対誤差が 7.5% にとどまり、中央値は一致した。 ## 結論・Takeaway - 低遅延な衛星画像解析は、地上での大域的スケジューリングと軌道上での局所適応的推論実行の協調設計を要する**分散スケジューリング問題**である - EarthSight は衛星を孤立ノードではなくコンステレーション全体の一部として扱い、地上局からのグローバルコンテキスト（帯域幅予測・タスクスケジュール）と衛星上のローカルアダプテーション（動的信頼度しきい値・ユーティリティベースのフィルタ順序付け）を統合した - マルチタスクモデルによるバックボーン共有はメモリ 55.7% 削減・精度低下 0.5% 未満で、エッジデバイス上でのマルチタスク推論を実現可能にする - 今後の方向性として、混合精度推論フレームワークや、異なる停止点を持つインテリジェントランタイムによる解析能力のさらなる拡張が示唆されている - コードはオープンソースで公開されている（https://github.com/scai-tech/earthsight）