出版論文の研究結果が再現できないこと(非再現性)はしばしば議題となるテーマであり、これは現代科学が直面する危機だと言われることもよくあります。そんな中、再現性について合意された定義がないこと、そして問題の背景や解決方法についての多様な意見が十分ではないことから、ネイチャーがアンケート調査を行いました。
出版論文の研究結果が再現できないこと(非再現性=irreproducibility)はしばしば議題となるテーマであり、これは現代科学が直面する危機だと言われることもよくあります。研究結果が再現できないということは、判断の誤り、実験デザインの不備、間引き報告、偶発的な統計結果などの可能性があるため、懸念される事態です。そんな中、再現性について合意された定義がないこと、そして問題の背景や解決方法についての多様な意見が十分ではないことから、ネイチャーがアンケート調査を行いました。
このアンケートは、再現性についての考え方と、研究結果の再現性を高める方法について、約1500人の研究者を対象に質問を行なったものです。主要な結果を以下に紹介します。
1. 再現性の危機は存在するか？
回答者の52%が「深刻な再現性の『危機』がある」と回答しました。一方、「再現性は問題でない」という回答はたった7%でした。
2. 再現性の問題に関係がない分野はあるか？
各分野の再現性について尋ねられると、73%の人が自分の分野の論文の少なくとも半数は信頼できると思うと回答し、態度に矛盾があることが明らかになりました。物理学と化学の研究者たちは、自分の分野の出版論文の質にもっとも自信を持っていました。
3. 再現研究の論文出版はどの程度困難か？
再現研究が成功して論文を出版したことがあるのは回答者の24%でした。一方、再現が不首尾に終わってその結果を出版したという回答は13%でした。再現できなかった研究結果を出版するのは難しいとの回答がいくつかありました。
4. 出版済み論文の結果について、何回ぐらい問い合わせを受けたことがあるか？
研究の再現性について議論するために他の研究者から連絡を受けたことのある研究者は、20%未満という低い数字でした。
5. 非再現性につながる要因は？
回答者の60%以上が、結果の一部だけを報告する選択的報告と、出版への圧力を挙げました。また、回答者の約50%が「検出力の低さ、または分析のまずさ」を挙げました。
6. 再現性を増大させ得る要素は？
回答者の90%が、「より強固な実験デザイン」、「より良い統計」、「より良い指導」の3要素が再現性を確保し得ると回答しています。「ジャーナルの基準強化」という回答は、69%というもっとも低い割合でした（それでも割合としては高いですが）。
これらの回答からは、再現性の危機はやはり存在するということが明らかです。回答者の70%が他の人の研究結果の再現に失敗したと言っていますが、再現の失敗について他の研究者から連絡を受けたという人はごく一部です。これは、研究者間のコミュニケーションギャップを示しています。また、ジャーナルが再現の失敗を報告する論文を出版したがらないことも、出版システムの抜け穴であり、科学の発展速度に直接的な影響を与えていると言えるでしょう。
この問題は根が深いため、科学に関わるすべての利害関係者たちが、より透明で強固なシステムを作るために協力していく必要があると思われます。資金提供者や研究機関が再現性の改善につながる方針を打ち立てるよう努める一方で、研究者側も、一人一人が責任感を持って、欠陥のない研究結果を、省略せずに報告しなければなりません。科学的進歩を「巨人たちの肩の上から遠くを見ること」と言うなら、どの巨人もまっすぐにしっかりと立っているようにしなければなりません。
関連記事:
How publishing replication studies and negative results helps science