なぜ科学者は疑い深くあるべきなのか

[本記事は、ティム・ファン・デル・ジー（Tim van der Zee）氏によるブログ記事を、許可を得てここに再掲載したものです。]

あくまで個人的な見解ですが、科学者は疑い深くなければなりません。

手ごわい問題について、安易な答えで満足してはいけません。

もっともらしいことを簡単に信じてはいけません…

…もっともらしい論文の結論を真に受けてしまってはいけないのです。
 

「疑念の生じる瞬間、教育に関する以下のような主張で合点がいくことがあります：

(a) エビデンスから導き出されたものではない（成人学習理論）

(b) 反証があっても続行される（学習スタイル、自己評価能力）

(c) 存在するエビデンスを超越する」

– ジェフ・ノーマン（Geoff Norman）

学術論文にはバイアスがかかっています。ポジティブな結果が広く知れ渡るのに対し、ネガティブ／無効な結果は、引き出しの中でホコリを被っています^1,2。このバイアスは、論文の投稿から出版まで、あらゆる段階で発生しています^3,4。これはときに、研究者を（意識的か無意識的かによらず）、「p-ハッキング」（統計試験を複数回繰り返した中から「成功」したものだけを報告する行為）などの問題行為に走らせることがあります⁵。さらに、研究者は、自分の研究結果にバイアスのかかった解釈をし、根拠のない表面的な言葉を使って、誤解を招くような引用をすることが多々あります⁶。引用の約28%が誤りまたは誤解を招くものであるにも関わらず、大半の読者は参考文献を確認したりはしないので、誤りに気付かれることはほとんどありません⁷。

問題はこれだけに留まりません。事前登録したプロトコルに準拠する必要のある臨床研究では、結果の報告を行わない、承認を受けずに結果を追加する、など、プロトコルに従わないケースが多発しています⁸。また、ポジティブな結果は積極的に報告されるのに対し、ネガティブなものは隠されがちです⁹。このような問題は臨床研究に限られたものではありません。一般的な学術論文でも統計データの誤りは頻出しており、全体の35%の論文で、結論に影響を及ぼし得るエラーがみつかっています^10,11,12。産業界に関わる著者らがメタ分析論文を大量に発表していますが、問題の解決には至っていません¹³。もっとも、元の研究の質が低ければ、メタ分析をする意味もありません（「garbage in, garbage out（ゴミを入れても、出てくるのはゴミ）」の原理とも呼ばれる）。質の低い研究の特徴の1つは、対照実験におけるコントロールグループ（対照群）を設定していないことです。また、より深刻なのは、想定外のプラシーボ効果が発生し得る不適切なコントロールグループを設定していることです¹⁴。これらの問題は、定量的研究や（準）実証主義的研究に限られたものではなく、より自然主義的な定性的研究でも同様の問題が見られます^15,16,17。

人間は嘘をつく

問題を挙げればきりがありませんが、1つだけ確かなことがあります。それは、人間は嘘をつく生き物だということです。現在のシステムは、嘘をつくことやミスリードすることがきわめて容易であるばかりか、それが助長される状態になっています。その一因と言えるのが、ポジティブな結果を歓迎する現在の出版システムです。出版システムの中にそのような動機が組み込まれているのに加え、個々の研究者が根本的な原因であることは言うまでもありません。ただし、事態を複雑化させているのは、とくに「技術実証」の術を持たない分野をはじめとする多くの分野で、このような問題が先天的に備わっているということです。たとえば、一般社会では、より高品質なスマートフォンを作れると考えれば、それを実行するだけですが、心理学などの分野でこれを実現するのは不可能に近いでしょう。なぜなら、心理学分野における変数は潜在的である場合が多く、直接観察することもできません。測定結果も間接的で、実測値を証明することは不可能である場合が多いからです。

よこしまな動機は、一朝一夕で消すことはできません。人間は変化に抵抗する傾向があります。それでも、多くの人々が科学を改善しようと戦っています。彼らの奮闘が実を結ぶ日が訪れるかどうかは分かりませんが、少なくとも、長い時間を要することは確かでしょう。

結論…

私がひねくれているだけなのかもしれませんが、いずれにせよ、注意深くあるに越したことはありません。情報に対し、懐疑的な姿勢を保つべきです。そして何より、自分自身の行いや自分自身の研究に懐疑的でいなければなりません。

私はしょっちゅう間違いを犯します。これが、私がブログを始めた最大の理由です。しかし、そこから学習し、間違いの頻度を少しでも減らせたらと考えています。そのためには、協力し合わなければなりません。自分をだますのは、いとも簡単だからです。

疑い深い科学者になりましょう。

そして、より良い科学者になりましょう。

参考文献

1. Dwan, K., Gamble, C., Williamson, P. R., & Kirkham, J. J. (2013). Systematic review of the empirical evidence of study publication bias and outcome reporting bias—an updated review. PloS one, 8(7).
2. Franco, A., Malhotra, N., & Simonovits, G. (2014). Publication bias in the social sciences: Unlocking the file drawer. Science, 345(6203), 1502-1505.
3. Coursol, A., & Wagner, E. E. (1986). Effect of positive findings on submission and acceptance rates: A note on meta-analysis bias. Professional Psychology: Research and Practice, 17(2), 136-137
4. Kerr, S., Tolliver, J., & Petree, D. (1977). Manuscript characteristics which influence acceptance for management and social science journals. Academy of Management Journal, 20(1), 132-141.
5. Head, M. L., Holman, L., Lanfear, R., Kahn, A. T., & Jennions, M. D. (2015). The extent and consequences of p-hacking in science. PLoS Biol, 13(3).
6. Brown, A. W., Brown, M. M. B., & Allison, D. B. (2013). Belief beyond the evidence: using the proposed effect of breakfast on obesity to show 2 practices that distort scientific evidence. The American journal of clinical nutrition, 98(5), 1298-1308.
7. Van der Zee, T. & Nonsense, B. S. (2016). It is easy to cite a random paper as support for anything. Journal of Misleading Citations, 33(2), 483-475.
8. http://compare-trials.org/
9. Jones, C. W., Keil, L. G., Holland, W. C., Caughey, M. C., & Platts-Mills, T. F. (2015). Comparison of registered and published outcomes in randomized controlled trials: a systematic review. BMC medicine, 13(1), 1.
10. Bakker, M., & Wicherts, J. M. (2011). The (mis) reporting of statistical results in psychology journals. Behavior Research Methods, 43(3), 666-678.
11. Nuijten, M. B., Hartgerink, C. H., van Assen, M. A., Epskamp, S., & Wicherts, J. M. (2015). The prevalence of statistical reporting errors in psychology (1985–2013). Behavior research methods, 1-22.
12. Nonsense, B. S., & Van der Zee, T. (2015). The reported thirty-five percent is incorrect, it is approximately fifteen percent. The Journal of False Statistics, 33(2), 417-424.
13. Ebrahim, S., Bance, S., Athale, A., Malachowski, C., & Ioannidis, J. P. (2015). Meta-analyses with industry involvement are massively published and report no caveats for antidepressants. Journal of clinical epidemiology.
14. Boot, W. R., Simons, D. J., Stothart, C., & Stutts, C. (2013). The pervasive problem with placebos in psychology why active control groups are not sufficient to rule out placebo effects. Perspectives on Psychological Science, 8(4), 445-454.
15. Collier, D., & Mahoney, J. (1996). Insights and pitfalls: Selection bias in qualitative research. World Politics, 49(01), 56-91.
16. Golafshani, N. (2003). Understanding reliability and validity in qualitative research. The qualitative report, 8(4), 597-606.
17. Sandelowski, M. (1986). The problem of rigor in qualitative research. Advances in nursing science, 8(3), 27-37.