# データ発見 ## 定義 データ発見とは、利用者が大量の表やデータセットの中から、目的に合うデータの意味・所在・系譜・利用者を見つけ、分析へ使える状態にする取り組みである。 単なる名前検索ではなく、表と列の説明、検索タグ、プロジェクト、元データと派生データの関係、問い合わせ経験を持つ専門利用者を組み合わせる。(Source: [[@2010__SIGMOD__Data Warehousing and Analytics Infrastructure at Facebook]]) ## Facebookにおける実装 FacebookのアドホックHive-Hadoopクラスタには2万を超えるテーブルがあり、毎月数百人が問い合わせていた。 利用者が表・列の説明を追加・修正し、タグやプロジェクト名を付ける協調的なメタデータ編集によって、スキーマ変更とデータセットの変化に追随する検索可能な知識を育てた。 クエリログからはデータ系譜と、特定の表を頻繁に問い合わせる専門利用者を抽出した。 これらの機能は、HiveのWebインターフェースHiPalに統合され、クエリを作成する時点でメタデータ・系譜・問い合わせ先へ到達できるようにした。(Source: [[@2010__SIGMOD__Data Warehousing and Analytics Infrastructure at Facebook]]) ## 横断的知見 - **データウェアハウスの集中化は、格納先を一つにまとめるだけでは分析可能性を完成させない**: [[データウェアハウス]]が整理する企業内データの集約理由と、本ソースのFacebook運用を突き合わせると、複数の業務系データを横断できるようにした後で、表・列の意味、派生関係、専門知識を再び利用者へ接続するメタデータ層が必要になる。(Source: [[@2010__SIGMOD__Data Warehousing and Analytics Infrastructure at Facebook]], [[@2026__OReilly__Designing Data-Intensive Applications 2E - Chapter 1 Trade-Offs in Data Systems Architecture]]) ## 未解決の問い - 利用者が編集するメタデータの正確性・鮮度・網羅性を、クエリログ以外の情報でどう検証するか。 - 自動抽出した系譜が、HiveのUDF・独自スクリプト・外部テーブルを含む処理でどこまで完全になるか。 - 専門利用者への質問を、データ品質・アクセス権・個人の応答負荷を損なわずにどう提供するか。 - 現代のデータカタログ・データ契約・データメッシュは、Facebookが示した協調メタデータ編集とどの部分で同じ問題を解いているか。 ## 関連 - ソース: [[@2010__SIGMOD__Data Warehousing and Analytics Infrastructure at Facebook]] - 実体: [[Apache Hive]] / [[HiPal]] / [[Databee]] - 概念: [[データウェアハウス]] / [[導出データ]] / [[データ品質SLO]] ## 出典 - [[@2010__SIGMOD__Data Warehousing and Analytics Infrastructure at Facebook]] - [[@2026__OReilly__Designing Data-Intensive Applications 2E - Chapter 1 Trade-Offs in Data Systems Architecture]]