アメリカ ヨーロッパ

Evidence Based Policy の問題点 ー リカルド・ハウスマン

4891
Pocket

ケンブリッジ ー 政府機関から慈善団体や支援組織まで、今や多くの組織が「証拠に基づく」プログラムや政策を求めている。政策が証拠に基づくものであることを求めることや、限られた時間や予算の範囲内において、そうした証拠が可能な限り確かなものであることを求めることは、理にかなったことである。しかし、そのアプローチの実施方法には、自分たちのなすことから学び改良するという私たちの能力に多大な危害を及ぼし、それらを損なう可能性があるのである。

 

RCTがゴールド・スタンダード

良い証拠を構成するものが何であるのかについての現在の「ゴールド・スタンダード」は、ランダム化比較試験、あるいはRCTと呼ばれるものである。これは2世紀前に医学で始まったもので、その後農学に広まり、そしてここ20年の経済学における大流行となった。その人気は、RCTで統計的推論における重要な問題に対処できるという事実に基づいている。

例えば、裕福な人々は高級な服を着る。では、高級な服を貧しい人々に配れば、彼らは豊かになるだろうか。これは(衣服と富の間の)相関が因果関係を意味しない例である。

ハーバードの卒業生はいい仕事につける。では、これはハーバードの教育が素晴らしいからなのだろうか、それともこれは人生で成功するような優秀な人々を選抜するのが上手いのだけだろうか。これは選択バイアスの問題である。

 

検証方法

RCTでは、試験に参加する人々を「処置」か「偽薬」(これにより「統制」群を作る)に無作為に割り当てることによってこれらの問題に対処する。介入後の2グループ間にいかに違いが見られるかを観察することによって、処置の効果が評価できるのである。RCTは、薬や少額融資、訓練プログラム、教育ツール、その他、無数の介入に用いられてきた。

さて、あなたが、教室での学習を改善する方法としてタブレットの導入を考えているとしよう。RCTを用いるなら、あなたは対象となる300校程度の学校を選択し、そのうち無作為に選んだ150校を、タブレットを受け取らない統制群に割り当てる必要がある。そしてタブレットを配布する前に、いわゆるベースライン調査を行って、子供たちが学校でどれだけ学習しているかを評価する。その後、150校の「処置」校にタブレットを配り、そして待つ。一定期間が経過したら、再度調査を実施して、タブレットを配った学校とそうでない学校の間で学習の違いが見られるかを見るのである。

本の配布にも効果がないことを示した4つのRCTの事例のように、調査の結果に有意な差がなかったとしよう。その結果からタブレット(あるいは本)は学習を改善しないと考えるのは間違いである。あなたの調査が示していることは、特定のタブレットと特定のソフトを使用した特定の教育方法や、そうした特定の概念を教えることにおいて、違いがなかったということなのである。

 

迅速なフィードバック・ループ

しかし、私たちが実際に知りたいことは、タブレットをどう用いたら学習を最大化できるのかである。しかしその設計空間は実に大きい。RCTでは2、3個以上の設計を一度に検証することはできないし、その検証スピードも非常に遅い。もっとうまくやる方法はないのだろうか。

次の思考実験を考えてみてほしい。タブレットにあるメカニズムを組み込み、それによって生徒が授業内容をどれだけうまく吸収できているかを、教師がリアルタイムで知ることができるようにする。そして、すべての教師には、様々なソフトや様々な方策、新しいツールの様々な使い方を自由に試せるようにする。迅速なフィードバック・ループによって、教師はパフォーマンスを最大化するために自分の方策を調整することができるだろう。

そしてそのうち、私たちは何人かの教師が非常に効果的な方略に出くわしたことを知ることになるだろう。すると私たちは、彼らの発見を他の教師たちと共有するのである。

 

機械学習アルゴリズムを社会実装する

この方法がいかに根本的に異なるものであるかに注目してほしい。300校のうち150校に特定のプログラムを実装させることで1つの設計の妥当性を検証する代わりに、この方法はそれぞれの教師に結果を探させることによって、設計空間を「巡回」しているのである。ベースライン調査の後に最終調査をするのではなく、この方法では常にパフォーマンスについてのフィードバックを提供する。計量経済学者に一元的な方法で学習させ、その実験結果をみんなに伝えるのではなく、この方法では分散的なやり方で学習をした教師たちが、自分たちの見つけたものを全体に報告するのである。

当然ながら、自分の方策を調節する際に、教師たちが因果関係と相関関係を混同することはありうるだろう。しかしそうした誤りは、彼らの誤った仮定が良い結果につながらないことによって、すぐさま明らかとなるはずだ。同様に、選択バイアス(別の方法で異なっているせいで、いくつかの場所で他よりも結果が良くなる)が起こるかもしれない。しかし、もし異なる文脈で異なる方策を必要とするのなら、このシステムはそれを遅かれ早かれ見つけることになるだろう。この方策は、臨床試験ではなく、機械学習アルゴリズムを社会実装するのに似ている。

 

政策領域においてRCTは間違った見方を提供してきた

ノーベル賞受賞者のアンガス・ディートンやラント・プリチェット、ダニ・ロドリックによる批判にもかかわらず、経済学、とくに国際開発の分野ではRCTが大流行である。彼らはRCTの推進者たちの過大な主張を非難している。その重大な欠点の1つが外的妥当性である。教訓は間違って広まる。仮にグアテマラの子供たちに微量栄養素を与えれば彼らの学習を改善することがRCTでわかったとする。ではノルウェーの子供達にも微量影響素を与えるべきなのだろうか。

私がRCTで主に問題だと思うのは、RCTは介入や政策、そして組織についての間違った見方を生み出すということである。(タブレットやメモ帳を学校に配布することのような)RCTで長い時間をかけて検証される2つあるいは3つの設計に対し、多くの社会的介入は数百万という設計可能性を持ち、それらの複雑な組み合わせによって結果は異なるのである。これは複雑性科学者スチュアート・カウフマンが言うところの「凹凸状適応ランドスケープ」につながるものである。

 

リーン生産方式のような学び方を学ぶことができる組織が必要

正しいパラメーターの組み合わせを得ることは非常に重要である。そのためには、ハーバードの国際開発センターのマット・アンドリュースやラント・プリチェット、マイケル・ウールコックが示唆しているように、物事を試し迅速なフィードバック・ループを通じてパフォーマンスについて素早く学習するという、進化的方策の実装が組織に必要なのである。

RCTは臨床治験には適切かもしれない。しかし、非常に広い政策領域において、RCTのムーブメントは研究開発部門の担当に監査役をあてるのと同様の悪影響を及ぼしてきた。それは、うまく機能するものを設計するための方法としては間違いである。工業におけるいわゆるリーン生産方式のように、学び方を学ぶことができる組織を作ることによってのみ、私たちは進歩を加速させられるのである。

 

Ricardo Hausmann(リカルド・ハウスマン)

元ベネズエラ企画大臣、元米州開発銀行チーフエコノミスト、現在はハーバード大学国際開発センター所長

国内独占掲載:© Project Syndicate

Pocket