# 時系列データのための大規模言語モデル
**著者**: [[Hirofumi Tsuruta]] ([[SAKURA Internet]])
**発表**: Zenn, 2024-07-10
**URL**: https://zenn.dev/tsurubee/articles/00446669b6c83a
**参照サーベイ**: Large Language Models for Time Series: A Survey [Zhang+ 2024, arXiv:2402.01801]
> [!abstract]
> サーベイ論文「Large Language Models for Time Series: A Survey」[Zhang+ 2024] を参照し、LLM の時系列データへの応用方法を 5 つのカテゴリ(Prompting・Quantization・Aligning・Vision・Tool)に分類して解説した技術記事。GPT-3・LLaMA-2 を用いたゼロショット時系列予測が教師ありモデルと同等以上の性能を示しうる実例(LLMTime)を紹介し、手法選択の指針を示す。
## 時系列モデルの進化
著者は時系列モデルの発展を 4 世代で整理する。
1. **統計モデル** — ARIMA 等(2000 年以前)
2. **ニューラルネットワーク** — RNN 等の深層学習
3. **事前学習済みモデル** — BERT・GPT ベース
4. **LLM 中心モデル** — 本論の主題
## 5 アプローチの詳細
→ [[LLM時系列アプローチ]] に集約。概要のみ記す。
### Prompting
数値時系列をテキスト形式に変換して LLM に直接入力する手法。
- **PromptCast** [Xue+ 2023, arXiv:2210.08964]: テンプレート駆動のプロンプトで文から文へ予測。PISA データセットを公開。
- **LLMTime** [Gruver+ 2023, arXiv:2310.07820]: スペース区切りの桁単位トークン化でBPEの数値分解問題を解決。GPT-3・LLaMA-2 でゼロショット予測。興味深い点として GPT-4 が GPT-3 より性能低下する現象を報告。
### Quantization
VQ-VAE・k-means で数値を離散インデックスに変換する手法。DeWave [Duan+ 2023] が EEG を離散化して自然言語へ翻訳。音声分野(SpeechGPT・AudioLM)でも活用。
### Aligning
時系列埋め込みと言語空間を整合させる手法。2 方向がある。
**相似性マッチング型** — MTAM [Han+ 2023, arXiv:2208.06348](正準相関分析+Wasserstein 距離で脳波と言語を整合)、ETP [Liu+ 2024](心電図↔テキスト対照学習)、TENT [Zhou+ 2023](IoT センサ↔テキスト)。
**LLM バックボーン型** — **One Fits All** [Zhou+ 2023, arXiv:2302.11939]: GPT-2 の self-attention・feedforward 層を凍結(FPT)し、位置埋め込みのみをファインチューニング。パッチングで局所意味情報を抽出。分類・異常検出・補完・予測など 7 タスクで最先端。画像事前学習モデル(BEiT)からの転移も有効。
### Vision
時系列を画像(折れ線グラフ・チャート)に変換してマルチモーダル LLM に入力する手法。Wimmer+ 2023 は CLIP ベースモデルで株価チャートから指数予測。
### Tool
LLM がコード・API 呼び出しを生成して間接的に時系列タスクを実行する手法。ToolLLM [Qin+ 2024] は天気予報・株価予測 API を統合したフレームワーク。
## アプローチ選択指針
| アプローチ | 前提 | 強み |
|-----------|------|------|
| Prompting | 少量〜なし | ファインチューニング不要、ゼロショット可 |
| Quantization / Aligning | 十分な訓練データ | 複雑なパターン対応 |
| Aligning(相似性型) | 時系列+テキストペア | マルチモーダル活用 |
## 著者の評価
著者は「One Fits All」を特に注目。異分野の大規模事前学習知識を流用できるため、時系列固有の事前学習コストを削減できると評価。Aligning は「時系列と言語がペアとなるタスクの有力選択肢」と指摘。
## 主要参照論文
- Large Language Models for Time Series: A Survey [Zhang+ 2024] arXiv:2402.01801
- LLMTime [Gruver+ 2023] arXiv:2310.07820
- PromptCast [Xue+ 2023] arXiv:2210.08964
- One Fits All [Zhou+ 2023] arXiv:2302.11939
- MTAM [Han+ 2023] arXiv:2208.06348
- VQ-VAE [Oord+ 2017] arXiv:1711.00937