# Big Bird ## 概要 Big Birdは、通常のTransformerの自己注意機構が系列長Nに対しO(N^2)の計算量を要する問題に対応するため提案された、計算量を線形O(N)に抑えつつ表現力を保つ効率的な自己注意機構である。接続元・接続先を隣接行列とみなしたとき、通常のTransformerはすべての要素が埋まった密な隣接行列に相当するのに対し、Big Birdは3種類の疎な注意を組み合わせる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.4) ## 3種類の注意 - **ランダム注意**: 各位置ごとにあらかじめ決めた固定数の位置のみを注意対象とする疎な注意。 - **近傍注意(周辺窓注意)**: 各位置ごとに固定の近傍のみを注意対象とし、近傍情報が重要だという事前知識を利用する。 - **グローバル注意(大域注意)**: 1つ2つの固定位置がすべての位置を注意対象とする(またはその逆)。実際の入力にはない仮想的な位置をグローバル接続用に用意することもできる。 3種類とも1位置あたりの注意対象数がO(N)であるため、合計の注意対象数もO(N)に収まり、系列長を数千程度まで長くしても計算できる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.4) ## 位置付け 『ディープラーニングを支える技術』第4章は、自己注意機構の致命的欠点であるO(N^2)の計算量に対する解決策の代表例としてBig Birdを紹介し、同様の方向性を持つ手法としてLambda Network(入力全体の特徴ベクトルを全体に適用し位置依存処理を限定)、Attention Free Transformer(AFT、ヘッド数を次元数と一致させ計算を要素ごとの演算に変換)を挙げる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.4) ## 関連 - source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] - 概念: [[注意機構]] / [[スパース注意]] / [[Transformer]]