# ByteDance 数十億ユーザー規模の製品に AI を組み込む企業。LLM を製品の将来を形作る最優先事項に位置づけ、10,000 GPU 超の AI クラスタを構築して LLM を訓練する。LLM 訓練本番システム [[MegaScale]] の開発主体。(Source: [[@2024__NSDI__MegaScale - Scaling Large Language Model Training to More Than 10,000 GPUs]]) 2023-09 時点で本番 LLM 訓練向け最大クラスタは 10,000 NVIDIA Ampere GPU 超。veScale(github.com/volcengine/veScale)で一部コンポーネントを OSS 化予定。 訓練クラスタの信頼性運用も主要な研究テーマで、High-speed Network チームと Applied Machine Learning チームが障害マシン検出器 [[Minder]]([[@2025__NSDI__Minder - Faulty Machine Detection for Large-scale Distributed Model Training]])を本番 ML システムで 1 年以上稼働させる。R-Pingmesh・Collie 等の RDMA/ネットワーク診断研究もこの系譜に連なる。(Source: [[@2025__NSDI__Minder - Faulty Machine Detection for Large-scale Distributed Model Training]]) 本番 LLM 訓練インフラの系譜はさらに拡張されている。堅牢な訓練インフラ [[ByteRobust]]([[@2025__SOSP__Robust LLM Training Infrastructure at ByteDance]], SOSP 2025)は MegaScale の RDMA 異常検知にとどまらず障害マシンの自動隔離と過剰排除へと発展させ、ストラグラー分析(what-if analysis)とその監視基盤 [[SMon]]([[@2025__OSDI__Understanding Stragglers in Large Model Training Using What-if Analysis]], OSDI 2025、ByteDance Seed)は訓練性能のボトルネックを体系的に診断する。(Source: [[@2025__SOSP__Robust LLM Training Infrastructure at ByteDance]], [[@2025__OSDI__Understanding Stragglers in Large Model Training Using What-if Analysis]]) 集団通信の信頼性も研究テーマで、研究組織 [[ByteDance Seed]] を中心に、集団通信の依存関係をトレースする [[Mycroft]]([[@2025__SOSP__Mycroft - Tracing Dependencies in Collective Communication Towards Reliable LLM Training]], SOSP 2025)を開発し本番環境にデプロイした。(Source: [[@2025__SOSP__Mycroft - Tracing Dependencies in Collective Communication Towards Reliable LLM Training]]) マイクロサービス RCA の研究にも関与する。Fengrui Liu・Zeyan Li・Xiao He・Rong Kang・[[Tieying Zhang]]・Jianjun Chen ら ByteDance 勢が CNIC/CAS の [[Changhua Pei]] および [[Dan Pei]](清華大)と共同で、SOP 強化型マルチエージェント RCA システム [[Flow-of-Action]]([[@2025__WWW__Flow-of-Action - SOP Enhanced LLM-Based Multi-Agent System for Root Cause Analysis]], WWW Companion '25)を開発した。LA=70.89% で ReAct の LA=47.67% を大きく上回り、GoogleOnlineBoutique + ChaosMesh ベンチマークで SOTA を達成。(Source: [[@2025__WWW__Flow-of-Action - SOP Enhanced LLM-Based Multi-Agent System for Root Cause Analysis]]) 訓練クラスタの運用にとどまらず、クラウドの本番運用(AIOps)も研究対象とする。[[The Chinese University of Hong Kong]] の [[Michael R. Lyu]] グループと共同で、クラウドのアラート診断フレームワーク [[LogPilot]]([[@2025__ASE__LogPilot - Intent-aware and Scalable Alert Diagnosis for Large-scale Online Service Systems]])を開発し、自社クラウド [[Volcano Engine]] Cloud の 12 本番サービスに展開した。Volcano Engine は LogPilot の LLM backend である Doubao シリーズも提供する。(Source: [[@2025__ASE__LogPilot - Intent-aware and Scalable Alert Diagnosis for Large-scale Online Service Systems]]) ByteDance のエンジニア(Shuai Wang・Tieying Zhang・Jianjun Chen・Rui Shi)は、Renmin University of China と共同でデータベースノブチューニングフレームワーク [[AgentTune]]([[@2025__SIGMOD__AgentTune - An Agent-Based Large Language Model Framework for Database Knob Tuning]], SIGMD 2025)を開発した。 監視インフラの歴史にも先行研究がある。ByteDance は 100 億次元超を処理する本番メトリクス監視システムを運営しており、元本番 TSDB [[tsdc]](Gorilla 類似の構造を持つが、メタデータがメモリの 80% 超を占めた)を [[Huazhong University of Science and Technology]] の [[Xuanhua Shi]] ら、[[National University of Singapore]] の [[Bingsheng He]]、[[University of Copenhagen]] の [[Yongluan Zhou]] と共同設計したインメモリ時系列データベース [[ByteSeries]]([[@2020__SoCC__ByteSeries - An In-Memory Time Series Database for Large-Scale Monitoring Systems]], SoCC 2020)に置き換えた。ByteSeries は Compressed Inverted Index(trie + p4nzenc64)と 3 段メモリ構造(Active Buffer→Static Segment→Compressed Segment)により、tsdc 比メタデータ 60% 削減・全体メモリ 50% 削減・多次元クエリ 1.8〜10.7 倍高速化を達成した。(Source: [[@2020__SoCC__ByteSeries - An In-Memory Time Series Database for Large-Scale Monitoring Systems]])実世界ベンチマーク(SSAG・AMPS)は ByteDance 社内ワークロードを使用して評価された。(Source: [[@2025__SIGMOD__AgentTune - An Agent-Based Large Language Model Framework for Database Knob Tuning]]) ByteDance の System Technology and Engineering(STE)チームは、チケットトリアージ自動化の研究対象としても継続的に取り上げられている。[[Nankai University]] の [[Shenglin Zhang]]・[[Ruowei Fu]] らが、知識グラフ拡張の fine-tuning-free 手法 [[OncallX]]([[@2025__ASE__LLM-Powered Multi-Agent Collaboration for Intelligent Industrial On-Call Automation]], ASE 2025)と、知識蒸留+強化学習による SLM ファインチューニング手法 CoTriage([[@2026__nkcs.iops.ai__Collaborative Knowledge Distillation and Reinforcement Learning for Automated Ticket Triage in Large-Scale Production Systems]])という、同一問題に対する 2 つの異なる技術路線を独立に本番デプロイした。(Source: [[@2026__nkcs.iops.ai__Collaborative Knowledge Distillation and Reinforcement Learning for Automated Ticket Triage in Large-Scale Production Systems]]) ByteDance の大規模クラウド基盤で発生する OS カーネルパニックの根本原因分析も研究対象で、[[Nankai University]] の [[Tianyu Cui]](筆頭)・[[Shenglin Zhang]](責任著者)・[[Yicheng Sui]]・[[Zeyu Che]]・[[Yongqian Sun]] との共同で、ログベース RCA フレームワーク LogSage([[@2025__FCS__From Chaos to Clarity - Log-based Kernel Panic Root Cause Analysis for Large-Scale Cloud Services]], Frontiers of Computer Science 2025)を開発した。20,000 件の本番障害ケースを含む実データセットで評価し、教師なしクラスタリング + LLM 要約(FILE)と GraphSAGE + 能動学習(GARCA)の 2 段パイプラインで F1=92.2% を達成、ByteDance のクラウド基盤に 6 ヶ月超デプロイして STE チームの RCA ワークフローに統合済み。同じ Nankai University グループとのチケットトリアージ研究(OncallX・CoTriage)に続き、ログベース障害診断という別ドメインでも ByteDance-Nankai の産学連携が確認された。(Source: [[@2025__FCS__From Chaos to Clarity - Log-based Kernel Panic Root Cause Analysis for Large-Scale Cloud Services]]) ## 関連 - ソース: [[@2025__FCS__From Chaos to Clarity - Log-based Kernel Panic Root Cause Analysis for Large-Scale Cloud Services]] / [[@2024__NSDI__MegaScale - Scaling Large Language Model Training to More Than 10,000 GPUs]] / [[@2025__NSDI__Minder - Faulty Machine Detection for Large-scale Distributed Model Training]] / [[@2025__ASE__LogPilot - Intent-aware and Scalable Alert Diagnosis for Large-scale Online Service Systems]] / [[@2025__SOSP__Robust LLM Training Infrastructure at ByteDance]] / [[@2025__OSDI__Understanding Stragglers in Large Model Training Using What-if Analysis]] / [[@2025__SOSP__Mycroft - Tracing Dependencies in Collective Communication Towards Reliable LLM Training]] / [[@2025__WWW__Flow-of-Action - SOP Enhanced LLM-Based Multi-Agent System for Root Cause Analysis]] / [[@2025__SIGMOD__AgentTune - An Agent-Based Large Language Model Framework for Database Knob Tuning]] / [[@2020__SoCC__ByteSeries - An In-Memory Time Series Database for Large-Scale Monitoring Systems]] / [[@2025__ASE__LLM-Powered Multi-Agent Collaboration for Intelligent Industrial On-Call Automation]] / [[@2026__nkcs.iops.ai__Collaborative Knowledge Distillation and Reinforcement Learning for Automated Ticket Triage in Large-Scale Production Systems]] - エンティティ: [[MegaScale]] / [[Minder]] / [[ByteRobust]] / [[SMon]] / [[Mycroft]] / [[ByteDance Seed]] / [[LogPilot]] / [[Volcano Engine]] / [[Megatron-LM]] / [[Zhuo Jiang]] / [[Tieying Zhang]] / [[ByteSeries]] / [[tsdc]] / [[OncallX]] / [[Ruowei Fu]] / [[Nankai University]] / [[Tianyu Cui]] / [[Shenglin Zhang]] - 概念: [[LLM分散学習]] / [[GPUクラスタ運用]] / [[Fault Localization]] / [[ログ解析]] / [[根本原因分析]] / [[データベースノブチューニング]] / [[時系列データベース]] / [[オンコール自動化]] / [[知識蒸留]] / [[グラフベースRCA]]