# DistBelief DistBelief は Google の第一世代の大規模機械学習システムであり、[[TensorFlow]] の設計はこのシステムの運用経験を一般化・簡素化して生まれた。[[@2016__OSDI__TensorFlow - A System for Large-Scale Machine Learning]] によれば、DistBelief は Caffe 風のモデル定義形式と [[Parameter Server]] アーキテクチャを組み合わせ、深層ニューラルネットワークの学習に大きな成果を上げた。parameter server は分散キーバリューストアに着想を得たアーキテクチャで、ミュータブルな状態を crucial とみなし大規模パラメータへの in-place 更新を可能にする。 一方で著者らは、DistBelief は拡張性の点で不十分だったと述べる。新しい最適化アルゴリズム(例: Momentum)を追加するには、C++ で書かれた parameter server の実装そのものを変更し、パラメータデータの表現形式を書き換え、write 演算内で任意コードを実行する必要があった。こうした変更は同システムのユーザーの大半にとって手が届かず、Python・Lua のような高レベル言語でモデルを書くことに慣れた研究者にとって高い実装上のハードルとなっていた。TensorFlow はこの課題への回答として、計算とミュータブルな状態を単一のデータフローグラフで統一的に表現し、parameter server の機能をユーザー空間のグラフ演算として再現する設計を採った。 ## 関連 - [[TensorFlow]](後継システム) - [[Parameter Server]](DistBelief が採用したアーキテクチャ) - [[Google Brain]] - ソース: [[@2016__OSDI__TensorFlow - A System for Large-Scale Machine Learning]] ## 出典 - [[@2016__OSDI__TensorFlow - A System for Large-Scale Machine Learning]](§1, §2.2, §4.1)