## 定義 システム論文の評価基準とは、独創性・現実性・教訓・選択・文脈・焦点・提示・文章スタイルの7つの観点から構成される、システム分野の論文(実システムの提示・未実装システムの提案・理論的トピック)を評価するための一連の問いの体系である。第9回 [[SOSP]](1983年)のプログラム委員会共同議長 [[Roy Levin]]・[[David D. Redell]] が、83件の投稿論文の査読経験から、委員全員に共通して見えた弱点を将来の投稿者が避けられるよう明文化した(Source: [[@1983__ACM SIGOPS OSR__An Evaluation of the Ninth SOSP Submissions - How and How Not to Write a Good Systems Paper]])。 ## 7つの評価基準 - **独創性(Original Ideas)**: 新しいアイデアを含むか、それを1段落で簡潔に述べられるか、既存研究との違いを具体的に比較できるか。 - **現実性(Reality)**: 記述するシステムは実装済みか未実装かを冒頭で明示しているか、実装済みならその実運用が何を示したかを具体的に説明しているか。 - **教訓(Lessons)**: 得られた教訓を明確に述べ、単一事例からの過度な一般化を避け、結論の前提となる仮定を明示しているか。 - **選択(Choices)**: 検討した代替案とその選択理由を説明しているか(単なる記述ではなく説明)、事後的に組み立てた「修正主義的な歴史」に陥っていないか。 - **文脈(Context)**: 議論の前提となる仮定が全て明示され、それが現実的かつ結果が仮定の摂動に対して頑健か。 - **焦点(Focus)**: 導入部に不要な記述が含まれていないか、既存研究への言及が読者の理解に必要な最小限に絞られているか。 - **提示(Presentation)**: 用語が使用前に定義され、前方参照が最小限に抑えられ、アブストラクトが本文執筆前に書かれ内容の目次ではなく仮定と結果を簡潔に述べているか、論文が未完成な状態で提出されていないか。 - **文章スタイル(Writing Style)**: 文法・綴り・語法が正しく、曖昧さ・俗語が避けられているか。 ## 科学・工学・芸術の3次元(Brown+ 2005) [[@2005__HotOS__The Many Faces of Systems Research - And How to Evaluate Them]](Brown, Chanda, Farrow, Fedorova, Maniatis, Scott; HotOS 2005)は、上記7基準とは異なる切り口で評価問題を扱う。個々の論文の書き方の巧拙を測る7基準に対し、本ソースはより手前の段階——論文がそもそも**どの評価次元(科学・工学・芸術)に属するか**を先に見極め、次元ごとに異なる評価尺度を適用すべきだと主張する。 - **科学次元**: 仮説の明確さ・実験の再現性・統計的検定の厳密さで評価する。 - **工学次元**: 現実世界の問題への適用可能性と有用性(強力さ×汎用性)で評価する。 - **芸術次元**: 優雅さ・単純さ・美しさという主観的基準で評価し、定量的成果と同じ物差しを適用すべきではないとする。 (Source: [[@2005__HotOS__The Many Faces of Systems Research - And How to Evaluate Them]]) ## 横断的知見 - 1983年の Levin & Redell(7基準)と2005年の Brown+(3次元)は、評価問題への取り組み方が階層的に補完し合う。7基準(独創性・現実性・教訓・選択・文脈・焦点・提示・文章スタイル)は次元を問わずすべての論文に適用できる**執筆・提示上の基準**であるのに対し、3次元(科学・工学・芸術)は論文の**性質そのものの分類**であり、分類した後に次元固有の評価尺度(仮説の厳密さ/実用性/優雅さ)を適用する必要があると説く。2005年の論文は1983年の論文を「最も近い先行研究」として明示的に参照し(参考文献[16])、両者とも「研究の種類によって異なる評価基準が必要」という立場を共有しつつ、7基準論文が主に執筆者向けの実践的チェックリストであるのに対し、3次元論文はより一段抽象化された査読方針・会議運営への提言(芸術次元専用のセッション設置等)にまで踏み込んでいる。(Source: [[@1983__ACM SIGOPS OSR__An Evaluation of the Ninth SOSP Submissions - How and How Not to Write a Good Systems Paper]], [[@2005__HotOS__The Many Faces of Systems Research - And How to Evaluate Them]]) - 両ソースとも「単一の評価基準をすべての論文に一律適用すること」を評価の失敗要因として挙げる点で一致する。1983年の論文は「文脈(前提条件の明示)」基準の欠如を、2005年の論文は「工学的指標を芸術的・科学的成果に誤用すること」を、それぞれ具体的な失敗パターンとして名指す。(Source: [[@1983__ACM SIGOPS OSR__An Evaluation of the Ninth SOSP Submissions - How and How Not to Write a Good Systems Paper]], [[@2005__HotOS__The Many Faces of Systems Research - And How to Evaluate Them]]) - 2005年の論文が扱う「工学」次元は、[[工学科学]] や [[人工物の科学]] が論じる自然科学と工学の性格の違い(自然法則の発見 vs 実用性からの遡行的な原理の構築)とほぼ同型の区別をシステム研究に適用したものであり、2005年の論文自身はこれら科学哲学・工学哲学の文献を引用していない。CS 分野の実務家が独立に類似の区別へ到達した事例として読める。(Source: [[@2005__HotOS__The Many Faces of Systems Research - And How to Evaluate Them]], [[工学科学]], [[人工物の科学]]) ## 未解決の問い - 1983年の SOSP プログラム委員会の基準は、査読プロセスが大きく変化した現代(二重盲検査読、リバッタル期間、オープンレビュー等の導入)のシステム系トップ会議(OSDI・NSDI・EuroSys 等)の査読基準とどの程度共通し、どの点で更新が必要か。 - 本ソースが指摘する「アブストラクトを内容の目次ではなく仮定と結果の簡潔な記述にする」という提示基準は、[[学術論文の読解技術]] が扱う「論文を読む」側の技術(議論が成立する条件の確認、具体例の構成)とどう接続するか。書く側の基準を満たした論文は、読む側の技術をどの程度不要にするか、あるいはしないか。 - 「修正主義的な歴史」(事後的に組み立てた合理的な論証で実際の研究経緯を偽装すること)という選択基準の指摘は、査読自体の公平性や再現性研究の議論とどう関連するか。 - Brown+ (2005) が提案する「芸術次元専用の審査プロセス」は具体案を欠いたまま open question として残されている。実際にシステム系会議(HotOS 自体を含む)でこの種の試みが行われた事例はあるか。 - 2005年の3次元(科学・工学・芸術)分類は、単一論文が複数次元にまたがる場合の統合評価(重み付け・優先順位)について具体的な手続きを示していない。1983年の7基準はこの統合の問題をどう扱っているか、あるいは扱っていないか。 ## 関連 - source: [[@1983__ACM SIGOPS OSR__An Evaluation of the Ninth SOSP Submissions - How and How Not to Write a Good Systems Paper]] / [[@2005__HotOS__The Many Faces of Systems Research - And How to Evaluate Them]] - 実体: [[Roy Levin]] / [[David D. Redell]] / [[SOSP]] / [[Aaron B. Brown]] / [[Michael L. Scott]] - 概念: [[学術論文の読解技術]] —— 論文を「読む」側の技術。本 concept は論文を「書く」側・査読する側の基準を扱い、相補的な関係にある。 / [[工学科学]]・[[人工物の科学]]・[[設計の科学]] —— 科学・工学の性格の違いという、2005年ソースが扱う次元分類の背景にある科学哲学・工学哲学の議論。 / [[コストを考慮したシステム評価]] —— ヘテロジニアスハードウェアを伴うシステムの評価「方法論」(何を測るか・コスト指標の選び方)を扱う姉妹concept。本conceptが論文の「提示」の巧拙を扱うのに対し、あちらは評価対象そのものの測定方法を扱い相補的。 ## 出典 - Roy Levin, David D. Redell, "An Evaluation of the Ninth SOSP Submissions -or- How (and How Not) to Write a Good Systems Paper," *ACM SIGOPS Operating Systems Review*, Vol. 17, No. 3 (July 1983), pp. 35-40. - Aaron B. Brown, Anupam Chanda, Rik Farrow, Alexandra Fedorova, Petros Maniatis, Michael L. Scott, "The Many Faces of Systems Research – And How to Evaluate Them," *Proceedings of the 10th Workshop on Hot Topics in Operating Systems (HotOS-X)*, Santa Fe, NM, June 2005.