感度監査は、政策関連のモデリング研究における感度分析の拡張です。 [1]感度監査の使用は、モデルに基づく研究の感度分析（SA）が、推論が政策や意思決定プロセスに反映される文脈において、モデルによって提供される証拠の堅牢性を示すことを目的とする場合に推奨されています（例えば、欧州委員会の影響評価ガイドライン[2]や欧州科学アカデミー[3]など）。
アプローチ
科学的研究が政策に反映されるような状況では、分析の枠組み、制度的背景、そして分析者の動機が非常に重要になる可能性があり、定量化された不確実性に焦点を当てた純粋なSAでは不十分となる可能性があります。枠組みの重視は、とりわけ、異なる規範や価値観を持つ様々な構成員にとって政策研究が重要であることから生じます。構成員はそれぞれ異なるストーリーを持ち、「何が問題なのか」、そして何よりも「誰がそのストーリーを語っているのか」という点が異なります。多くの場合、枠組みには暗黙の前提が含まれており、それは政治的なもの（例：どのグループを保護する必要があるか）から技術的なもの（例：どの変数を定数として扱えるか）まで多岐にわたります。
これらの懸念を適切に考慮するために、感度監査は感度分析の手段を拡張し、知識とモデルの生成プロセス全体の評価を提供します。これは、数値の「系図」を生成することで定量情報の質を伝えるために使用される手法であるNUSAP [ 4]から着想を得ています。同様に、感度監査はモデルとモデルに基づく推論の系図を提供するために開発されました。感度監査は、証拠の性質だけでなく、証拠に関連する確実性と不確実性の程度も党派的な利害関係の対象となる、敵対的な状況に特に適しています。これらは、ポストノーマル科学[5]またはモード2科学[6]で考慮される設定です。 ポストノーマルサイエンス（PNS）は、シルヴィオ・ファントヴィッツとジェローム・ラヴェッツ[ 5] [7] [8]によって提唱された概念であり、「事実が不確実で、価値観が対立し、利害が大きく、決定が緊急である」状況に適した調査方法論を提案している（ファントヴィッツとラヴェッツ、1992年：[8] 251–273）。モード2サイエンスは、1994年にギボンズらによって造語され、文脈主導型、問題解決型、学際的な科学的知識の生産様式を指す。センシティビティ・オーディティングは、以下の7項目のチェックリストで構成される。
1.数学を賢く使う：より単純な数学で済むのに、複雑な数学が使われていないか確認しましょう。モデルが本来の用途を超えて拡張されていないか確認しましょう。
2.仮定を探す:調査でどのような仮定が立てられたかを調べ、それが明確に述べられているか、あるいは隠されているかを確認します。
3.ガベージイン、ガベージアウトを避ける:モデルで使用されたデータが、結果が実際よりも確実に見えるように操作されていないか、または規制を回避するために結果が過度に不確実にされていないかを確認します。
4.批判に備える：他の人よりも先に自分の研究の問題点を見つけることが重要です。論文を発表する前に、不確実性とセンシティビティについて徹底的なチェックを行いましょう。
5.透明性を保つ：モデルを秘密にせず、一般の人々が理解しやすいように明確に公開しましょう。
6.正しい問題に焦点を当てる:モデルが正しい問題に対処しており、実際には存在しない問題を解決しているだけではないことを確認します。
7.徹底的な分析を行う:利用可能な最良の方法を使用して、不確実性と感度を測定するための詳細なテストを実施します。
感度監査で扱われる質問
これらのルールは、分析者が批判、特に影響評価に反映されるモデルベース推論に関する批判を予測するのに役立つことを目的としています。モデラーはどのような質問や反論を受ける可能性がありますか？考えられる例を以下に示します。
- Xが少なくとも30%不確実であることが分かっているにもかかわらず、Xを定数として扱った
- Xの5%の誤差は、Zに関するあなたの主張が脆弱であることを示すのに十分である。
- あなたのモデルは、もっともらしいモデルの一つに過ぎません。モデルの不確実性を無視しています。
- あなたは結果に対する信頼度を手段的に最大化しました
- あなたのモデルはブラックボックスです。なぜあなたの結果を信頼する必要があるのでしょうか?
- あなたは不確実性を人為的に膨らませた
- あなたのフレーミングは社会的に強固ではありません
- あなたは間違った質問に答えています
- あなたのシナリオは、システムの発展や進化の可能性の限られた範囲しか捉えていない。
欧州委員会ガイドラインにおける感度監査
感度監査については、欧州委員会の影響評価ガイドラインに記載されている。[2]関連する抜粋は以下のとおりである（392ページ）。
- 「[…]利害関係者の間で問題の本質について大きな意見の相違がある場合、…感度監査の方が適していますが、感度監査のステップの1つとして感度分析を実施することが依然として推奨されます。」
- 「感度監査とは、モデルに組み込まれた構造上の仮定や、問題の枠組みを設定する際に行われる主観的な決定など、あらゆる種類の不確実性の影響を幅広く考慮することです。」
- 「最終的な目的は、特定のモデルが政策決定をサポートするためにどの程度使用できるか、またその限界は何かを、オープンかつ正直に伝えることです。」
- 「一般的に、感度監査では、あらゆる形態の潜在的な不確実性を可能な限り考慮し、モデルの結果がどの程度信頼できるかを正直に伝え、第三者による批判を予測するという考え方が重視されます。」
SAPEAレポート
欧州アカデミーの政策科学協会SAPEAは、 2019年の報告書「複雑性と不確実性の状況下での政策科学の意義の解明」の中で、感度監査について詳しく説明しています。[3]
参考文献
- ^ Saltelli, Andrea, Ângela; Guimaraes Pereira, Jeroen P. van der Sluijs, and Silvio Funtowicz. 2013. 「あなたのラテン語をどう解釈するか。数学的モデリングの感度監査」 International Journal of Foresight and Innovation Policy 9 (2/3/4): 213–34. https://doi.org/10.1504/IJFIP.2013.058610.
- ^ 欧州委員会。2021年。「より良い規制ツールボックス」11月25日。
- ^ ab 欧州アカデミーによる政策のための科学アドバイス、複雑性と不確実性の条件下での政策のための科学の意味の理解、ベルリン、2019年。
- ^ Van der Sluijs JP, Craye M, Funtowicz S, Kloprogge P, Ravetz J, Risbey J (2005) モデルに基づく環境評価における不確実性の定量的および定性的な尺度の組み合わせ：NUSAPシステム. リスク分析 25(2):481-492
- ^ ab Funtowicz, SO & Ravetz, JR 1993. ポストノーマル時代の科学. Futures, 25(7), 739–755.
- ^ ギボンズ、マイケル、カミーユ・リモージュ、ヘルガ・ノヴォトニー、サイモン・シュワルツマン、ピーター・スコット、マーティン・トロウ (1994). 『知識の新たな生産：現代社会における科学と研究のダイナミクス』ロンドン：セージ社. ISBN 0-8039-7794-8。
- ^ Funtowicz, SO、Jerome R. Ravetz (1991). 「地球環境問題のための新たな科学的方法論」『生態経済学：持続可能性の科学と管理』ロバート・コスタンザ編、ニューヨーク：コロンビア大学出版局、137–152ページ。
- ^ ab Funtowicz, SO, & Ravetz, JR 1992. 3種類のリスク評価とポストノーマル科学の出現. S. Krimsky & D. Golding (編)『リスクの社会理論』（pp. 251–273）. ウェストポート、コネチカット州：グリーンウッド.
