ドローン（UAV）が人や車の近くを飛ぶとき、単に「そこに物がある」という幾何学的な情報だけでは不十分だ。歩行者に対してはより大きな余裕を取り、駐車車両や壁とは異なる扱いが求められる──しかし従来の知覚・経路計画スタックは多くの場合、それらを単なる占有領域として扱ってしまう。本論文（arXiv:2610.22092v1）は、この「ヒューマンアウェア安全ギャップ」を埋めるために、視覚観測を文脈依存の安全制約に変換し、リアルタイムでオンボードに配信するモジュール型パイプラインを提案する。

主なアイデアと構成 - 視覚処理（Perception）: BLIPの小さなViTエンコーダ（約86Mパラメータ）を共有し、シーンの短いキャプション生成とテキスト条件付きセグメンテーションを並行で行う。得られたマスクは深度と融合して3D重心を算出することで、物体を位置付けする。入力は小型デバイス向けに圧縮されており、前段は約10Hzで稼働する。 - 推論（Reasoning）: 軽量LLM（Qwen-2.5-0.5B）を用いて、各物体カテゴリに対して「動的か（is dynamic）」「境界箱の大きさ（bbox size）」といった安全性に関する判定を出す。ただしLLMは毎フレームで起動するのではなく「クラスごとに1回」だけ推論を行い、その判定をキャッシュすることで推論負荷を抑える。未知クラスのときはローカルの安全知識ベースを検索する retrieval-augmented generation（RAG）で文脈を補い、出力はJSONスキーマに従うよう文法で厳格化して誤生成を減らす。 - 行動（Action）: 各検出に持続的なIDを与え、短期的な遮蔽物による検出欠損時にも地図内でその物体を一定時間（論文では保持時間3秒）保持する。これにより一時的に隠れた歩行者の安全制約がすぐに消えてしまう問題に対処する。LLMの出力は直接操舵を命じるのではなく、プランナーが使う“unsafe box”や拡張マージンとして注入される。

オンボード実装と性能の要点 - ハードウェア: Jetson Orin NX（16GB）上で動作を確認。エンコーダ＋セグメンテーション＋LLM＋知識ベースを同時に稼働可能。 - レイテンシ: 視覚パイプラインは約10Hzで動作。LLMによる推論（キャッシュミス時）は約0.75–0.8秒かかるが、これは制御のクリティカルパスには載せず、クラスごとに一度だけ行う設計。 - 設計上の対比: 画像をそのまま大きなVLMに渡すモノリシック型と比べ、「圧縮してから推論する」モジュール型は文脈トークン数を大幅に削減し、同等のオンボード性能をより小さいリソースで実現できると主張している。

評価（Gazebo シミュレーション）と主な結果 - 都市環境での低高度航行（歩行者・車両混在）: 幾何学的プランナーのみと比べ、衝突イベント数が平均で約3倍減少（衝突イベント/実行: 1.35 → 0.45, p=0.038)。ただし経路長は伸び（回避のための迂回）、ピークジャークが増えるなどのトレードオフが見られた。 - 意味を使った着陸（moving actors が近くにいる状況）: 単純な深度のみのMPCは成功率34%だったのに対し、RAG＋文法制約付きLLMを用いる本手法は96%と大きく改善。なお、LLMをRAGなしで使うと誤推論により性能が悪化（6–12%）し得ることが示された。

制限と慎重な解釈 - シミュレーション中心: 実験は主にGazebo上の閉ループシミュレーションで行われており、実世界のセンシングノイズ、照明変化、未知カテゴリの多様性などでは追加の検証が必要である。 - 入力解像度の制約: エンコーダ入力を224ピクセルに制限しているため、遠方や小物体（特に歩行者）検出の信頼性は低下する。論文はこの点を重要な限界として挙げており、保守的な歩行者マージンや短期保持で緩和しているに過ぎない。 - キャッシュと未知カテゴリ: 本評価では多くの実験で「ウォームキャッシュ」に入っているカテゴリだけが観測され、オンラインでのRAG呼び出しは限定的だった。未知カテゴリが現れたときの挙動や、キャッシュ失敗時のロバスト性評価は今後の課題である。