# FASTAR AT&T's Fast Automated Restoration Platform。AT&T の長距離電気通信網は光ファイバ light-guide システムと Digital Cross Connect System で構成されるが、バックホウによる掘削・列車脱線・氷嵐などに起因するケーブル切断は10万回線超に影響しうる。FASTAR はこうしたケーブル切断からのサービス復旧時間を数時間から数分に短縮するために開発された(Source: [[@1996__McGrawHill__Handbook of Software Reliability Engineering - Chapter 5 The Operational Profile]] §5.8.1)。 ## アーキテクチャ 2つの UNIX ベースシステムが復旧能力を管理する。**Restoration Node Controller** は200拠点超の AT&T デジタル中央局に配置され、Lightguide Terminating Equipment と Digital Cross Connect System を監視してケーブル切断や機器障害のアラーム条件を検知する。**Central Restoration System** は復旧プロセス全体を統括し、網内の未使用容量を使って障害箇所を迂回するようトラフィックを動的に再ルーティングする。ケーブル切断が起きると、両端拠点の Restoration Node Controller が検知・報告し、Central Restoration System が最適な DS3 復旧経路を計算して各拠点の Digital Cross Connect System に指令を送る(ch.5 §5.8.1)。 ## 運用プロファイルとテスト 2システムは運用スコープ(単一拠点 対 網全体)が大きく異なるため、それぞれ独立した運用プロファイルを構築した。ケーブル切断シナリオ(小規模75%・中規模20%・大規模5%、大規模切断は年10件程度と推定)に加え、データベースプロビジョニングや保守操作などの「背景イベント」も運用プロファイルに含めた。Central Restoration System では1日40,000件の背景イベントと最大50同時ユーザーを、Restoration Node Controller では1日500件の背景イベントを想定した。Network and User Simulator(Central Restoration System 向け)と Office Simulator(Restoration Node Controller 向け)という2つのシミュレータ環境を構築し、負荷・ストレス・安定性テストを実施した。安定性テストでは Restoration Node Controller の負荷を24倍加速(1日分を1時間で実行)、Central Restoration System は安定性テストで1.25倍・ストレステストで50倍加速した(ch.5 §5.8.2、詳細は [[運用プロファイル]] を参照)。 ## 成果 DS3経路の正しい報告・再ルーティング率は、負荷/ストレス/安定性テスト開始時の90%から出荷時点で99%超まで改善した。1988年11月(FASTAR以前)のニューアーク近郊のケーブル切断はDS3経路270本超・電話回線180,000本超に影響し、復旧に15時間以上を要した。FASTAR導入後、カンザスシティ〜セントルイス間で発生したDS3経路250本超の同規模切断は、目標としていた5分の復旧時間を大きく下回る時間で復旧した(ch.5 §5.8.1, §5.8.2.4)。開発チームは、SRE による検証がなければFASTARをリリースする確信を持てなかったと述べている(ch.5 §5.8.3)。 ## 関連 - ソース: [[@1996__McGrawHill__Handbook of Software Reliability Engineering - Chapter 5 The Operational Profile]] - 概念: [[運用プロファイル]] - 組織: [[AT&T Bell Laboratories]]