[[PFN’s Supercomputers]] ## 2024 - [[Kubernetes における cgroup v2 での Out-Of-Memory 問題の解決 - Preferred Networks Research & Development]] - [[Kubernetes scheduler simulatorのリソース同期機能の開発 - Preferred Networks Research & Development]] - [[eBPFを用いてPod ごとのインターネットトラフィック量を計測するツールの開発 - Preferred Networks Research & Development]] - [[PFIO のプロファイル機能実装 - Preferred Networks Research & Development]] - [[PFNにおけるアクセラレータ間通信の実際 - Preferred Networks Research & Development]] - [[PFCPにおけるログ基盤の設計と構築 - Preferred Networks Research & Development]] - [[CuPyにおけるCUDA Graph Conditional Nodesのサポート - Preferred Networks Research & Development]] - [[Kubernetes Mutating Admission Policyの調査、検証 - Preferred Networks Research & Development]] - [[Kubernetes環境におけるLog Alertの実現 - Preferred Networks Research & Development]] - [[Kubernetes の Validating Admission Policy のテストツールを開発しました - Preferred Networks Research & Development]] - [[1兆 (1T) パラメータ規模のLLMの事前学習検証 - Preferred Networks Research & Development]] - [[1,000億パラメータ規模の独自LLM「PLaMo-100B」の事前学習 - Preferred Networks Research & Development]] ## 2023 - [[FUSE 向け汎用 CSI ドライバ meta-fuse-csi-plugin - Preferred Networks Research & Development]] - [[分散キャッシュシステムにおける公平制御の実現 - Preferred Networks Research & Development]] - [[再計算を用いたMN-Core向けコンパイラの最適化 - Preferred Networks Research & Development]] - [[Kubernetes クラスタの PodSecurityPolicy を Gatekeeper に移行しました - Preferred Networks Research & Development]] ## 2022 - [[続・Apache Ozone をやっていた一年 - Preferred Networks Research & Development]] - [[GCP外のKubernetesクラスタでWorkload Identity Federationを使えるWebhookを公開しました - Preferred Networks Research & Development]] - [[KubernetesクラスタにおけるGPU-NIC割り当ての改善によるRDMAの高速化 - Preferred Networks Research & Development]] - [[PFNのKubernetesクラスタのCNI Plugin - Preferred Networks Research & Development]] - [[Kubernetesにおけるコンテナ起動時間高速化に向けた検討 - Preferred Networks Research & Development]] - [[操作ログ方式に基づくOptunaストレージ実装とNFS経由の分散最適化 - Preferred Networks Research & Development]] - [[2022年のPFNの機械学習基盤 - Preferred Networks Research & Development]] ## 2021 - [[Apache Ozoneをやっていた一年 - Preferred Networks Research & Development]] - [[MN-Core上の高速化に向けた可視化プロファイラ - Preferred Networks Research & Development]] - [[MN-Coreコンパイラを用いた深層学習ワークロードの高速化 - Preferred Networks Research & Development]] ## 2020 - [[MN-3の高精度電力計測にむけた取り組み - Preferred Networks Research & Development]] - [[TOP500とGreen500コンピュータの性能指標をどう読むか - Preferred Networks Research & Development]] - [[Preferred Networks におけるHadoop - Preferred Networks Research & Development]] - [[MN-3が動き出します - Preferred Networks Research & Development]] ## 2019 - [[CuPy カーネル融合の拡張 - Preferred Networks Research & Development]] - [[MN-2が動き出しました - Preferred Networks Research & Development]] - [[KubernetesのSchedulerを評価するためのシミュレーター「k8s-cluster-simulator」公開 - Preferred Networks Research & Development]] ## 2018 - [[分散深層学習とモデル並列性 - Preferred Networks Research & Development]] - [[分散深層学習を支える技術：AllReduceアルゴリズム - Preferred Networks Research & Development]] - [[DNN推論用ライブラリ「Menoh」リリースについて - Preferred Networks Research & Development]]