ビジョンLLMのADシステムへの統合：能力と課題

リンク一覧

概要と1. はじめに

1. 関連研究

   2.1 ビジョンLLM

   2.2 転移可能な敵対的攻撃

2. 予備知識

   3.1 自己回帰型ビジョンLLMの再考

   3.2 ビジョンLLMベースの自動運転システムにおけるタイポグラフィック攻撃

3. 方法論

   4.1 タイポグラフィック攻撃の自動生成

   4.2 タイポグラフィック攻撃の拡張

   4.3 タイポグラフィック攻撃の実現

4. 実験

5. 結論と参考文献

2 関連研究

2.1 ビジョンLLM

大規模言語モデル（LLM）が様々な自然言語ベンチマークにおける推論能力を実証したことを受け、研究者たちはマルチモーダル理解をサポートするためにLLMを視覚エンコーダーで拡張しました。この統合により、視覚と言語の入力の組み合わせに基づいて推論できる様々な形態のビジョンLLMが生まれました。

\ ビジョンLLMの事前学習。 LLMと事前学習済み視覚モデルの相互接続は、それぞれのドメインにおける単一モーダルエンコーダーの個別事前学習から始まり、その後大規模な視覚-言語の共同訓練が続きます[17, 18, 19, 20, 2, 1]。インターリーブされた視覚言語コーパス（例：MMC4 [21]やM3W [22]）を通じて、自己回帰モデルは画像を視覚トークンに変換して処理し、これらをテキストトークンと組み合わせてLLMに入力する方法を学習します。視覚入力は外国語として扱われ、視覚理解を可能にしながら言語能力を維持することで、従来のテキストのみのLLMを強化します。したがって、単純な事前学習戦略では、入力テキストが画像の視覚的コンテキストよりも画像内の視覚テキストと大幅に一致するケースを処理するように設計されていない可能性があります。

\ 自動運転システムにおけるビジョンLLM。 ビジョンLLMは自動運転（AD）システムにおける知覚、計画、推論、制御に有用であることが証明されています[6, 7, 9, 5]。例えば、既存の研究ではADの意思決定プロセスを説明する信頼性の観点から、ビジョンLLMの言語能力を定量的にベンチマークしています[7]。他の研究では車両操縦のためのビジョンLLMの使用を探求し[8, 5]、[6]では制御された物理環境でのアプローチを検証しています。ADシステムは安全性が重要な状況を含むため、信頼性の高い展開と推論のためには脆弱性の包括的な分析が不可欠です。しかし、ADへのビジョンLLMの導入提案は単純であり、適切な対策がなければ、そのようなモデルに既存の問題（例：タイポグラフィック攻撃に対する脆弱性）が存在する可能性が高いです。

\

:::info 著者:

(1) Nhat Chung, CFARおよびIHPC, A*STAR, シンガポールおよびVNU-HCM, ベトナム;

(2) Sensen Gao, CFARおよびIHPC, A*STAR, シンガポールおよび南開大学, 中国;

(3) Tuan-Anh Vu, CFARおよびIHPC, A*STAR, シンガポールおよびHKUST, 香港特別行政区;

(4) Jie Zhang, 南洋理工大学, シンガポール;

(5) Aishan Liu, 北京航空航天大学, 中国;

(6) Yun Lin, 上海交通大学, 中国;

(7) Jin Song Dong, シンガポール国立大学, シンガポール;

(8) Qing Guo, CFARおよびIHPC, A*STAR, シンガポールおよびシンガポール国立大学, シンガポール。

:::

:::info この論文はarxivで入手可能であり、CC BY 4.0 DEEDライセンスの下で公開されています。

:::

\