## Memo - [[DAMO Academy]]の論文 ## Structure ### 1. Standpoints ### 2. Contributions ### 3. Major Ideas ### 4. Results - ロバスト性解析 - 二次計算とメモ リの複雑さを軽減するためにアテンションモジュールを慎重に設計しているが、最良の結果を得るために短い固定サイズの入力を実質的に使用 - ![[Pasted image 20230325190400.png|400]] - 入力シーケンスを長くするとTransformerベースのモデルが急速にMSEが悪化 ### 5. Discussions & Limitations ## Abstract [[Transformer]]は、自然言語処理やコンピュータビジョンにおける多くのタスクで優れた性能を達成しており、このことは時系列コミュニティにおいても大きな関心を呼んでいる。Transformerの複数の利点の中でも、長距離の依存性と相互作用を捉える能力は、特に時系列モデリングに魅力的であり、様々な時系列応用におけるエキサイティングな進歩につながる。本論文では、時系列モデリングのためのTransformerスキームを系統的にレビューし、その長所と限界に焦点を当てる。特に、時系列Transformerの発展を2つの観点から考察する。ネットワーク構造の観点から、時系列解析の課題に対応するためにTransformerに施された適応と修正を要約する。アプリケーションの観点からは、予測、異常検知、分類などの一般的なタスクに基づいて、時系列のTransformerを分類する。経験的には、ロバスト分析、モデルサイズ分析、季節・トレンド分解分析を行い、時系列におけるTransformerの性能を研究する。最後に、有用な研究指針を提供するために、将来の方向性について議論し、提案する。継続的に更新されている対応するリソースは、GitHubリポジトリで見ることができます1。 ## 1. Introduction ![[Pasted image 20230325181930.png|600]]