潜在的構成概念の測定 - yuuk1's Digital Garden

# 潜在的構成概念の測定 ## 定義潜在的構成概念(latent constructs)とは、直接測定できないものを測定するための方法の1つである。部屋の温度やWebサイトのレスポンス時間のように直接測定が可能なものと異なり、組織文化のような対象は「温度」を直接測定することができない。文化を測定するには、文化の構成要素(顕在変数と呼ばれる)を測定する必要があり、アンケート調査の質問によってその構成要素を測定する。あるチームの組織文化を説明するときにいくつかの特徴を挙げるとすれば、それらの特徴が組織文化の構成要素であり、その1つ1つを(顕在変数として)測定し組み合わせたものが、チームの組織文化(潜在的構成概念)を表す(Source: [[@2018__Impress__LeanとDevOpsの科学 - Chapter 13 計量心理学入門]] §13.1)。潜在的構成概念を扱う際は、測定したいものが何であるか明確に定義し理解するところから出発することが重要である。構成概念が同定されたら調査の質問文(調査項目, survey items)を作成する。多面的な概念は単一の質問では捉えられないため、元になっている考えの各側面について1つずつ質問を作成する。データを集めたら、その測定値が元の概念の核心部分を実際に反映しているかどうかを統計手法を用いて検証し、検証を経た測定値を組み合わせて単一の数値にまとめる(Source: [[@2018__Impress__LeanとDevOpsの科学 - Chapter 13 計量心理学入門]] §13.1)。 ## 妥当性と信頼性の検定構成概念を測定する調査項目がすべて実際に対象とする概念を測定しているかどうかを確認するため、以下の検定が行われる(Source: [[@2018__Impress__LeanとDevOpsの科学 - Chapter 13 計量心理学入門]] §13.3)。 - **弁別的妥当性(discriminant validity)**: 関連性がないと想定している項目が実際に無関係であることを検定する(例: 組織文化を捉えていないと考えている項目が、組織文化と関係していないことを確認する)。 - **収束的妥当性(convergent validity)**: 関連性があると想定している項目が実際に関連していることを検定する(例: 組織文化を測定していると想定した項目が、実際に組織文化を測定していることを確認する)。 - **信頼性(内部一貫性)**: 妥当性の検定に加えて行われ、各項目が回答者に同じように読み取られ解釈されるという保証を与える。構成概念がこれらの検定をすべてパスした場合、その構成概念は「良好な計量心理学的性質を示す」と言われる。この評価は定期的に繰り返し、変化がないことを確認する必要があり、特にシステムや環境の変化が疑われるときには欠かせない。予備検定(少人数によるもの)で構成概念がまとまって見えても、より多くのデータを収集した本検定で異なる構成概念に分かれることがある(Source: [[@2018__Impress__LeanとDevOpsの科学 - Chapter 13 計量心理学入門]] §13.4)。 ## 3つの利点潜在的構成概念は、対象となる概念を捉えるためにいくつかの測定値(顕在変数)を使うことで、不良な測定値や不良な回答者から調査結果を守る。具体的には次の3点による(Source: [[@2018__Impress__LeanとDevOpsの科学 - Chapter 13 計量心理学入門]] §13.1)。 1. 何を測定したいのか、構成概念をどのように定義するかについて注意深く考える助けとなる。 2. 測定対象のシステムの振る舞いとパフォーマンスについて複数の観点を提供し、不良なデータを除去する助けとなる。 3. 単一の不良データソースが誤解に基づくものであっても不良な回答者によるものであっても、結果を歪めることがより困難になる。 ## システムデータへの拡張潜在的構成概念に関する考え方は、アンケート調査だけでなくシステムデータにも拡大できる。すべての測定値は代理(surrogate)であり、測定する者が意識していなくても、測定値は1つのアイデアを表現している(例: 反応時間はシステムパフォーマンスの「代理」として使われる)。1種類のデータだけをバロメータとして使うことが不適切であっても、それに気づくことは難しいが、複数の測定値を収集していれば、測定値への意図しない影響(例: 測定値を収集するソースコードの変更)による変化が検知される可能性が高くなる。潜在的構成概念はこの意味でセーフガードとして働く(Source: [[@2018__Impress__LeanとDevOpsの科学 - Chapter 13 計量心理学入門]] §13.5)。 ## 調査手段としての選択(ch.14) 第13章が確立した妥当性・信頼性の検定手続きを前提として、第14章はそもそも「なぜアンケート調査を使うのか」「デリバリプロセスやツールチェーンの計測から直接得られる客観的なデータ(本書はこれを一貫して『システムデータ』と呼ぶ)ではいけないのか」という、一段上の問いに答える。著者らが挙げる理由は5つある(Source: [[@2018__Impress__LeanとDevOpsの科学 - Chapter 14 アンケート調査を採用する理由]] §14冒頭)。 1. データの収集と分析を素早く行える(本書の調査は4回とも4〜6週間で完了。同規模のシステムデータ収集は法的許可だけでも困難)。 2. システムデータでシステム全体を測定するのは困難である(IBMのディスクストレージシステムの事例:全レベルの計測値が正常を示す一方、顧客からの繰り返しのクレームが「インタフェース部分」という盲点を明らかにした)。 3. システムデータによる完全な測定は困難である(VCSの利用有無はチームに尋ねればわかるが、VCS管理下ファイルの「割合」はチェックインされていないファイル数をシステムが把握できないため算出できない)。 4. アンケート調査によるデータは信頼できる(本書の調査は2万3,000以上の回答を集めており、はっきりとした変化を起こすには数百人が潜在的構成概念の全項目について同じ方向に組織的に嘘をつく必要があるため、少数の人間が書き換えうるシステムデータより悪意ある行為に強い)。 5. アンケート調査によってしか測定できない事柄がある(組織文化の測定における離職率・定着率という代理指標の限界。[Google 2015]の調査研究が示す、組織文化がチーム・組織パフォーマンスの予測指標であるという知見)。理由4の論拠として第14章が直接挙げるのが、測定法や潜在的構成概念、統計手法の慎重な決定による測定値の妥当性と信頼性の確保であり、これは本ページが集約する第13章の検定手続き(弁別的妥当性・収束的妥当性・信頼性)そのものを指す(Source: [[@2018__Impress__LeanとDevOpsの科学 - Chapter 14 アンケート調査を採用する理由]] §14.4)。 ## データ収集の実務設計(ch.15) 第13章が構成概念の妥当性・信頼性の検定手続きを、第14章がアンケート調査という手段そのものを選ぶ理由を確立したのに対し、[[@2018__Impress__LeanとDevOpsの科学 - Chapter 15 データの収集方法]]はその調査を実際にどう実施したかという実務設計を扱う。対象母集団はDevOpsという用語に馴染みのある専門家・組織に絞り込まれ、2014年の開始から4年間にわたり横断的(cross-sectional)にデータを収集した。母集団を絞り込んだ理由は、(1) データ収集対象を絞れること、(2) 新しいソフトウェア開発・デリバリの専門用語に馴染みのあるユーザーに焦点を絞れることの2つである(Source: [[@2018__Impress__LeanとDevOpsの科学 - Chapter 15 データの収集方法]] p.198)。サンプリング手法としては、DevOps専門家の全リストが存在しないために確率抽出(probability sampling)を採用できず、メール・SNSを用いた紹介による抽出(referral sampling)/スノーボールサンプリング(snowball sampling)を採用した。スノーボールサンプリングには「標本が所属組織を代表していない可能性」「データが最初の勧誘対象に強く影響される」という2つの制約があり、できる限り多く・多様な対象者を勧誘することで影響を抑えた。さらに、調査結果が業界の実態を反映していないのではという懸念に対し、単一データソースへの非依存(業界トレンドとの比較)・外部専門家による毎年のレビュー・既存文献の精査・コミュニティからのフィードバック収集という4つの方法で対処してきた(Source: 同 p.198-203)。 ## 横断的知見 - **第13章(構成概念の検証手続き)・第14章(調査手段の選択理由)・第15章(標本抽出の実務)は、1つの調査研究を成立させる三層構造をなす**: 第13章は測定値(調査項目)が妥当性・信頼性の点で心理統計的に健全であることを確認する検定手続きを、第14章はその検定を経た調査手段がシステムデータより優れている理由を、第15章はその調査を実際に誰にどう届けたか(母集団の定義・標本抽出・スノーボールサンプリングとその限界の緩和)を扱う。この三層は「測定値の質」→「手段の選択」→「対象の選定」という順序で積み上がっており、いずれか1つが欠けても調査研究全体の説得力は損なわれる。特に第15章が示すスノーボールサンプリングの限界(標本が所属組織を代表していない可能性)は、第13章・第14章が確立した測定の妥当性・信頼性とは独立した種類の脅威であり、「良い物差しで測っても、測る対象(標本)が母集団を代表していなければ結論は一般化できない」という、測定論とサンプリング論が別の軸にあることを示す。標本抽出の設計とその限界の詳細な検討は [[研究方法論における妥当性概念]] が集約する。(Source: [[@2018__Impress__LeanとDevOpsの科学 - Chapter 13 計量心理学入門]] §13.1, §13.3, [[@2018__Impress__LeanとDevOpsの科学 - Chapter 14 アンケート調査を採用する理由]] §14.4, [[@2018__Impress__LeanとDevOpsの科学 - Chapter 15 データの収集方法]] p.198-203) - **第13章の検定手続きは、第14章が挙げる「アンケート調査データが信頼できる理由」の技術的な裏付けとして直接参照される**: [[@2018__Impress__LeanとDevOpsの科学 - Chapter 14 アンケート調査を採用する理由]] §14.4は、アンケート調査データが少数の人間によるシステムデータの改ざんより悪意ある行為に強い理由として「潜在的構成概念を用い、調査項目を慎重に検討して作成し……測定項目が妥当性と信頼性の点で心理統計的な基準に合致するかどうか、数種類の検定を実施し確認している」と述べる。この「数種類の検定」は、本ページが集約する[[@2018__Impress__LeanとDevOpsの科学 - Chapter 13 計量心理学入門]] §13.3の弁別的妥当性・収束的妥当性・信頼性(内部一貫性)の検定を指しており、第13章が確立した計量心理学的な検証手続きが、第14章の「なぜ調査を使うのか」という実務的な採用理由の土台になっていることが確認できる。方法論の正当化(13章)→実務的な採用理由の提示(14章)という一連の論証が2章にわたって展開されている。(Source: [[@2018__Impress__LeanとDevOpsの科学 - Chapter 13 計量心理学入門]] §13.3, [[@2018__Impress__LeanとDevOpsの科学 - Chapter 14 アンケート調査を採用する理由]] §14.4) - **「システムデータへの拡張」(ch.13 §13.5)が概念レベルで示唆する潜在的構成概念のセーフガード機能を、ch.14はシステムデータの具体的な限界の実例で裏づける**: 本ページの「システムデータへの拡張」節は、ch.13 §13.5に基づき「1種類のデータだけをバロメータとして使うことが不適切であっても、それに気づくことは難しい」と抽象的に述べるにとどまる。ch.14はこれを、IBMディスクストレージシステムの事例(システムログはすべてのレベルで正常を示していたが、インタフェース部分という捕捉できていない領域が存在した)と、VCS利用割合の算出不能性(チェックインされていないファイル数をシステムが把握できない)という2つの具体例で補強する。抽象的な安全装置としての機能(13章)と、その機能が必要になる具体的な失敗モード(14章:システムが把握できる範囲の外側にある事象)を突き合わせることで、「システムは自分の内部にあるものしか見えない」というch.14の主張が、ch.13の潜在的構成概念の理論的枠組みの中でどう位置づくかが明確になる。(Source: [[@2018__Impress__LeanとDevOpsの科学 - Chapter 13 計量心理学入門]] §13.5, [[@2018__Impress__LeanとDevOpsの科学 - Chapter 14 アンケート調査を採用する理由]] §14.2, §14.3) - **同一の測定対象(Westrumの組織文化3類型)について、ch.3は「何を測定するか」の設計判断を、ch.13は「その測定がなぜ信頼できるか」の検証手続きを担当する分業関係にある**: [[Westrumの組織文化類型]]は、Westrumコンティニュアム(リッカート尺度)に基づく質問群の作成過程を要約しつつ「測定手法自体の詳細(潜在的構成概念、リッカート尺度の理論)は第13章が扱う範囲であり、本ページでは深掘りしない」と明示していた。本ページが集約する第13章は、まさにその明示された役割どおり、Westrumの7項目(「情報は積極的に探し求められる」等)が弁別的妥当性・収束的妥当性・信頼性(内部一貫性)の検定をすべてパスし「統計的に妥当で信頼性がある」ことを確認する手続きと、その7項目が組織ではなくチームについて尋ねる設計になっている理由(下位組織の文化差、チーム単位のほうが正確に回答できる)を具体的に記す。2章にわたる分業を突き合わせることで、組織文化という同一の潜在的構成概念が「対象の定義(ch.3)→調査項目の作成→妥当性・信頼性の検定(ch.13)」という一連の計量心理学的パイプラインとして扱われていることが確認できる。(Source: [[@2018__Impress__LeanとDevOpsの科学 - Chapter 3 組織文化のモデル化と測定、改善の方法]] §3.2, [[@2018__Impress__LeanとDevOpsの科学 - Chapter 13 計量心理学入門]] §13.1, §13.3) - **本章が挙げるWestrumの引用年([Ron Westrum 2004])は、Westrumの組織文化類型ページが未解決の問いとして挙げていた原論文年代の推定を裏づける一次資料側の記述である**: [[Westrumの組織文化類型]]は本文中で「[Westrum 2014]」という引用を使う一方、未解決の問いでは「Westrumの原論文("A Typology of Organizational Cultures", *BMJ Quality and Safety* 13, 2004)」に言及し、2014年表記と2004年の原論文との対応関係を確定できていなかった。本章(ch.13 §13.1)は組織文化の類型論を「表13.1に示すRon Westrumの類型論[Ron Westrum 2004]を参考にした」と明記しており、少なくとも第13章の引用は2004年である。これは3章と13章という同一書籍内の2箇所の引用表記(2014年対 2004年)が食い違っている可能性を示す一次資料側の証拠であり、[[Westrumの組織文化類型]]の未解決の問いに残っていた年代確認に手がかりを与える。(Source: [[@2018__Impress__LeanとDevOpsの科学 - Chapter 13 計量心理学入門]] §13.1, [[Westrumの組織文化類型]]) - **障害通知の構成概念は、予備検定(少人数)と本検定(大規模データ)で結論が変わりうるという具体例を、[[研究方法論における妥当性概念]]が挙げる「構成概念妥当性(construct validity)」に一次資料の運用例として与える**: [[研究方法論における妥当性概念]]は[[@2025__CSUR__Methodology of Algorithm Engineering]]に基づき、構成概念妥当性を「ある構成概念の測度が意図した性質を正確に測っている度合い」と定義するが、その定義は抽象的な整理にとどまる。本章(ch.13 §13.4)が示す障害通知の調査項目の例――約20名の専門技術者による予備検定では単一の構成概念にまとまって見えたが、より多くのデータを収集した本検定では「自動化プロセス外部からの通知」と「システムからの予防的通知」という2つの異なる構成概念に分かれることが判明した――は、構成概念妥当性が失敗しうる具体的な実例(データ量や検定段階によって構成概念の妥当な分割が変わりうること)を提供する。抽象的な妥当性の分類(CSURの方法論論文)と、その分類が実務でどう検証・修正されるかの手続き(Accelerate ch.13)を並べることで、構成概念妥当性という概念に「一度きりの検証ではなく反復的な検証プロセスである」という側面が加わる。(Source: [[研究方法論における妥当性概念]], [[@2018__Impress__LeanとDevOpsの科学 - Chapter 13 計量心理学入門]] §13.4) ## 未解決の問い - 弁別的妥当性・収束的妥当性・信頼性(内部一貫性)を実際にどのような統計的検定手法(因子分析・Cronbachのα等)で計算するかは、本章では具体的な手法名や計算式に触れられていない。次章以降または付録で扱われるか要確認。 - ch.13 §13.1が引用する「[Ron Westrum 2004]」と、[[Westrumの組織文化類型]]の本文が使う「[Westrum 2014]」という2つの年表記のどちらが正しいか、あるいは両方とも別々の実在する文献(2004年のBMJ論文と2014年の別著作)を指すのかは、原論文にあたって確認する必要がある。 - 障害通知の構成概念で「予備検定と本検定で結果が食い違った」原因(サンプルサイズの違いか、対象者の属性の違いか)は本章では明示されない。 - システムデータにおける「代理(surrogate)」という考え方は、本書の他の章(第2章の4つの指標など)にどう適用されているか。第2章で使われる測定値(デプロイの頻度・変更のリードタイム等)がそれぞれ何の代理であるかを、本章の枠組みで再整理できるか。 - 第14章§14.4が言及する「コモンメソッドバリアンスのチェック」の具体的な統計的検定手法は、本章・第14章のいずれでも明示されず「付録Cを参照」とのみ記載される。付録Cが本wikiに取り込まれた際、第13章の弁別的妥当性・収束的妥当性・信頼性(内部一貫性)の検定手続きとどう関係するかを確認したい。 - 第14章§14.5が挙げる[Google 2015]の調査研究(200件超のインタビュー、180超のチームの250超の特徴を調査)は、アンケート調査単体で完結する調査手法なのか、他の手法(観察・インタビュー記録の質的分析等)と併用されているのか。第14章では詳細が示されない。 - 第15章が示すスノーボールサンプリングによる標本の特性(回答者の役職・組織規模・国などの分布)は、本ページが扱う潜在的構成概念の測定値(例えば組織文化スコア)の分布に系統的な影響を与えている可能性があるか。第15章は標本の代表性の限界を一般論として述べるにとどまり、具体的な測定値の分布への影響は検証していない。 ## 関連 - [[Westrumの組織文化類型]] — 本ページが扱う検定プロセスの適用対象。「何を測定するか」の設計判断を担当する隣接concept。 - [[研究方法論における妥当性概念]] — 構成概念妥当性を含む9種類の妥当性を体系的に整理する、より広い研究方法論のconcept。本ページはその一分野(計量心理学)における具体的な検定手続きを掘り下げる。標本抽出の設計と限界の詳細は同ページが集約する。 - [[統計的有意性]] — 妥当性・信頼性の検定を支える統計的検定の枠組み(隣接する主題領域)。 - 実体: [[Ron Westrum]] - 関連章: [[@2018__Impress__LeanとDevOpsの科学 - Chapter 13 計量心理学入門]](本conceptの主要出典)/ [[@2018__Impress__LeanとDevOpsの科学 - Chapter 3 組織文化のモデル化と測定、改善の方法]](対象の定義段階)/ [[@2018__Impress__LeanとDevOpsの科学 - Chapter 14 アンケート調査を採用する理由]](本ページの検定手続きを踏まえた、調査手段としてのアンケート採用理由)/ [[@2018__Impress__LeanとDevOpsの科学 - Chapter 15 データの収集方法]](調査を実際にどう実施したかの実務設計) - 書籍: [[LeanとDevOpsの科学［Accelerate］]] ## 出典 - [[@2018__Impress__LeanとDevOpsの科学 - Chapter 13 計量心理学入門]](Nicole Forsgren, Jez Humble, Gene Kim 著, 武舎広幸・武舎るみ訳, 『LeanとDevOpsの科学［Accelerate］』, インプレス, 2018, 第13章) - [[@2018__Impress__LeanとDevOpsの科学 - Chapter 14 アンケート調査を採用する理由]](同書, 第14章) - [[@2018__Impress__LeanとDevOpsの科学 - Chapter 15 データの収集方法]](同書, 第15章)