AI4SREでも、自然言語のテキストデータ（各種OSS、製品のドキュメントやブログ、issue、ソースコードなど）を事前学習した言語モデルと、様々なシステムのメタデータ（利用しているソフトウェア名や構成など）とそれに対応する時系列データをあわせた事前学習モデルを結合するようなことができれば、汎化能力をもった事前学習モデルをつくれるかもと思い始めた。 個別の現場への適用度をあげるために、[[InstructGPT]]みたいに人間のフィードバックを基にした強化学習でさらにチューニングしていく。 以下を統合できると、ほぼ熟練のSREエンジニアの高度なシステム理解を再現できるのでは、と整理できてきた。 {SREに関する言語的一般知、SREに関する数値的一般知} <-> {目の前のシステムの言語的具体知、目の前のシステムの数値データ}