研究方法論における妥当性概念

# 研究方法論における妥当性概念 ## 定義妥当性概念(validity concerns)とは、経験的・形式的研究の各段階(タスク定義から結論導出まで)において、その段階の産物が意図した性質を実際に備えているかを問う一群の評価基準を指す。[[@2025__CSUR__Methodology of Algorithm Engineering]]は、アルゴリズムエンジニアリングの文脈でこれを9種類に整理し、それぞれがどの存在論的実体(タスク・設計・実装・研究デザイン・証明・測定・経験的結果)に対応するかを体系的に示した(Source: [[@2025__CSUR__Methodology of Algorithm Engineering]] Table 1, §5.3)。 - **生態学的妥当性(ecological validity)**: アルゴリズムタスクや設定が現実世界の状況・問題文脈をどの程度反映しているか(対応実体: Algorithmic task)。 - **設計妥当性(design validity)**: アルゴリズム設計の内部構造と論理が首尾一貫し、正当化され、説明可能である度合い(対応実体: Algorithm design)。 - **実装妥当性(implementation validity)**: アルゴリズム実装が意図した設計を忠実に具体化し、期待通りに振る舞う度合い(対応実体: Algorithm implementation)。 - **外的妥当性(external validity)**: 結果が関心対象のデータセット群にわたって一般化する度合い(対応実体: Empirical results)。 - **正当化妥当性(justification validity)**: 仮説や定理が演繹的論証によって説得的に支持されている度合い(対応実体: Theorems, hypotheses)。 - **論理的妥当性(logical validity)**: 証明で使われる三段論法が真理を保存する度合い(対応実体: Proofs)。 - **内的妥当性(internal validity)**: 観察された効果が交絡要因ではなく処理に帰属できる度合い(対応実体: Research design)。 - **構成概念妥当性(construct validity)**: ある構成概念の測度が意図した性質を正確に測っている度合い(対応実体: Measurement)。 - **結論妥当性(conclusion validity)**: 結果が仮説化された関連を実際に明らかにしていると合理的にみなせる度合い(対応実体: Empirical results)。これらのうち生態学的・設計・実装妥当性は存在論的実体(タスク・設計・実装)に直接対応し、外的・正当化・論理的・内的・構成概念・結論妥当性は認識論的な知識生成プロセス(形式的知識の証明、経験的知識の仮説形成→研究デザイン→計装→測定→結論)の各段階に対応する(Source: [[@2025__CSUR__Methodology of Algorithm Engineering]] Fig. 3, §4)。 ## 横断的知見 - （本ソースが本 wiki で初めてこの体系的な妥当性分類を扱う。以降、複数ソースが揃い次第、横断的知見を追記する。） ## 未解決の問い - 本論文の9つの妥当性概念は、ソフトウェア工学の実験計画論(Wohlin et al. 2012の internal/external/construct/conclusion validity)から借用したものと、デザインサイエンス研究(Larsen et al. 2020の design validity)から借用したものが混在する。これらの借用元となった個別分野(ソフトウェア工学実験・デザインサイエンス研究)は、それぞれの分野内でこれらの概念をどう独自に発展させてきたか。本 wiki は現時点でWohlin et al. 2012・Larsen et al. 2020を未 ingest。 - 妥当性への対応戦略として本論文が挙げる3段階(限界の記述による透明性確保 < 追加分析 < 研究デザイン段階での予期的対処)は、[[システム論文の評価基準]]が扱う「良いシステム論文の書き方」とどう関係するか。妥当性への対応戦略の強度と、論文の査読における評価の高さは相関するか。 - 内的妥当性と外的妥当性のトレードオフに対して、本論文は他分野の「複数研究デザインの統合戦略」(Roe and Just 2009)を挙げるに留まる。具体的にどのような統合戦略が存在し、アルゴリズムエンジニアリングにどう適用できるか。 ## 関連 - ソース: [[@2025__CSUR__Methodology of Algorithm Engineering]] - 関連 concept: [[アルゴリズムエンジニアリング]](本妥当性概念群が定義される母体となる研究枠組み)・[[システム論文の評価基準]](妥当性は「研究の内的な質」を、評価基準は「論文としての提示の質」を扱う、相補的な関係) ## 出典 - [[@2025__CSUR__Methodology of Algorithm Engineering]]