# Shanghai Jiao Tong University 中国の研究大学(SJTU)。GPU・LLM システム研究の複数論文に関与する。分散 LLM 推論の細粒度トレーシング [[eInfer]]([[@2025__eBPF__eInfer - Unlocking Fine-Grained Tracing for Distributed LLM Inference with eBPF]])に [[Shizhen Zhao]] が、eBPF ベースの LLM 推論プロファイラ [[ProfInfer]]([[@2026__MLSys2026__ProfInfer - An eBPF-based Fine-Grained LLM Inference Profiler]])に [[Haibo Chen]] が関与する。(Source: [[@2025__eBPF__eInfer - Unlocking Fine-Grained Tracing for Distributed LLM Inference with eBPF]], [[@2026__MLSys2026__ProfInfer - An eBPF-based Fine-Grained LLM Inference Profiler]]) 学内の研究所 [[Institute of Parallel and Distributed Systems]](IPADS)は、GPU カーネルの冪等性動的検証 [[PICKER]]([[@2024__arXiv__Microsecond-scale Dynamic Validation of Idempotency for GPU Kernels]])を手がける。(Source: [[@2024__arXiv__Microsecond-scale Dynamic Validation of Idempotency for GPU Kernels]]) 同大学HPCセンター副ディレクターの[[James Lin]]は、2026年ISC High Performance Conferenceの講演で、中国の[[LineShine]]スパコンによる[[Top500]]首位獲得の地政学的意味合いを論じるとともに、SJTUで進む「人間ではなくAIエージェントのために設計されたスーパーコンピュータ」という構想を紹介した。(Source: [[@2026__Glenn K. Lockwood Blog__ISC26 Recap]]) [[Ziyi Xu]] は [[Stanford University]] の [[Zhiqiang Xie]]・[[Swapnil Gandhi]]・[[Christos Kozyrakis]] と共同で、耐障害テンソル並列 LLM サービングシステム FailSafe を筆頭著者として発表した(arXiv 2025、MLSys 2026 Oral)。(Source: [[@2025__arXiv__FailSafe - High-performance Resilient Serving]]) [[Boyi Jia]]・[[Erci Xu]] は [[PrismLLM]]([[@2026__arXiv__A Few GPUs, A Whole Lotta Scale]])の共著者として、[[Alibaba Group]] 主導の少数 GPU による大規模 LLM 訓練エミュレーションシステムに参加した。(Source: [[@2026__arXiv__A Few GPUs, A Whole Lotta Scale]]) [[Institute of Parallel and Distributed Systems]] の [[Zhiyuan Dong]]・[[Zhaoguo Wang]]、および [[Shanghai Artificial Intelligence Research Institute]] の [[Haitao Song]] は、RDMA のプロセッサバイパス特性を活かした細粒度障害モデル対応の合意プロトコル R2aft を発表した(IEEE TPDS 2026)。(Source: [[@2026__TPDS__R2aft - A Speedy and Highly Available RDMA-Based Consensus Protocol]]) Chunyu Xue([[ByteDance Seed]] でのインターンシップ中の成果)と [[Quan Chen]](責任著者)は、[[ByteDance Seed]] と共同でマルチモーダルLLM訓練システム MegaScale-Omni を発表した(EuroSys 2026)。encoderとLLMバックボーンの並列化を分離しつつ同一GPU集合上でコロケーションする「encoder-LLM multiplexing」により、動的なマルチモーダルワークロード下で1.27×〜7.57×のスループット改善を達成した。(Source: [[@2026__EuroSys__MegaScale-Omni - A Hyper-Scale, Workload-Resilient System for MultiModal LLM Training in Production]]) [[Wenxin Zheng]](ByteDance でのインターンシップ中の成果)と [[Jinyu Gu]](責任著者)を含む [[Institute of Parallel and Distributed Systems]] の研究者は、[[ByteDance Seed]] と共同で GPU の Silent Data Corruption(SDC)を本番 LLM 訓練クラスタで特性調査し決定論的リプレイ診断システム SDCHunter を提案した(OSDI 2026)。共著には [[Bin Xu]]・[[Xingda Wei]]・[[Haibo Chen]] を含む。(Source: [[@2026__OSDI__SDCs in the Wild - Characterizing and Diagnosing SDC-defective GPUs in Production LLM Training]]) [[Zimeng Huang]]([[Alibaba Cloud]] と併任、共同筆頭著者)・[[Bo Jiang]](corresponding author)・[[Xinbing Wang]] は、データセンタースイッチのポートミラーリング機能で allreduce トラフィックを傍受し訓練とチェックポインティングを分離するシステム FlowCheck を発表した(EuroSys '25)。(Source: [[@2025__EuroSys__FlowCheck - Decoupling Checkpointing and Training of Large-Scale Models]]) [[Yechen Xu]] は [[Duke University]]・[[Microsoft]] の研究者と共同で、RNIC マイクロアーキテクチャリソースを経由した性能分離違反を体系的に示すテストスイート Husky を発表した([[@2023__NSDI__Understanding RDMA Microarchitecture Resources for Performance Isolation]]、NSDI 2023)。(Source: [[@2023__NSDI__Understanding RDMA Microarchitecture Resources for Performance Isolation]]) [[Guangtao Xue]]・[[Erci Xu]]らが、オンライン LLM 推論向けの継続トレーシング・診断システム [[StriaTrace]](OSDI 2026)を [[Alibaba Group]] と共同研究した。(Source: [[@2026__OSDI__StriaTrace - Efficient Tracing and Diagnosis for Online LLM Inference]]) ## 関連 - ソース: [[@2023__NSDI__Understanding RDMA Microarchitecture Resources for Performance Isolation]] / [[@2025__EuroSys__FlowCheck - Decoupling Checkpointing and Training of Large-Scale Models]] / [[@2025__eBPF__eInfer - Unlocking Fine-Grained Tracing for Distributed LLM Inference with eBPF]] / [[@2026__MLSys2026__ProfInfer - An eBPF-based Fine-Grained LLM Inference Profiler]] / [[@2024__arXiv__Microsecond-scale Dynamic Validation of Idempotency for GPU Kernels]] / [[@2026__Glenn K. Lockwood Blog__ISC26 Recap]] / [[@2025__arXiv__FailSafe - High-performance Resilient Serving]] / [[@2026__arXiv__A Few GPUs, A Whole Lotta Scale]] / [[@2026__TPDS__R2aft - A Speedy and Highly Available RDMA-Based Consensus Protocol]] / [[@2026__EuroSys__MegaScale-Omni - A Hyper-Scale, Workload-Resilient System for MultiModal LLM Training in Production]] / [[@2026__OSDI__SDCs in the Wild - Characterizing and Diagnosing SDC-defective GPUs in Production LLM Training]] / [[@2026__SIGCOMM__Pegasus - A Data Center Network for Bare-Metal AI Cloud]] / [[@2026__arXiv__OPUS - Towards Efficient and Principled Data Selection in Large Language Model Pre-training in Every Iteration]] - エンティティ: [[Institute of Parallel and Distributed Systems]] / [[Shizhen Zhao]] / [[Haibo Chen]] / [[James Lin]] / [[Ziyi Xu]] / [[Boyi Jia]] / [[Erci Xu]] / [[Zhiyuan Dong]] / [[Zhaoguo Wang]] / [[Haitao Song]] / [[Shanghai Artificial Intelligence Research Institute]] / [[Wenxin Zheng]] / [[Jinyu Gu]] / [[ByteDance Seed]] / [[Zimeng Huang]] / [[Bo Jiang]] / [[Xinbing Wang]] - 関連プロダクト: [[eInfer]] / [[ProfInfer]] / [[PICKER]] / [[LineShine]] / [[FailSafe]] / [[R2aft]] / SDCHunter / [[flowcheck-eurosys25]] ## 出典 - [[@2026__SIGCOMM__Pegasus - A Data Center Network for Bare-Metal AI Cloud]](共著者 Xingda Wei の所属。)