査読に対する著者・査読者・編集者の見方は、多くの点で大きく異なります。そこで、テイラー&フランシス社は、2015年にこれまでで最大規模の国際調査を行い、レポートを発表しました。
ほとんどの研究者は、研究の質を評価する手段としての査読は信頼できるものだと考えています。しかし、査読におけるバイアスや、出版後査読といった新しい査読方式の有効性などに対し、折に触れて懸念が持たれることも事実です。査読に対する著者・査読者・ジャーナル編集者の見方は、多くの点で大きく異なります。そこで、テイラー&フランシス(Taylor & Francis)社は、2015年にこれまでで最大規模の国際調査を行い、「2015年の査読―グローバルな視点」(Peer Review in 2015 -A global view)と題したレポートを発表しました。
テイラー&フランシス社の調査は、過去にPublishing Research Consortium (PRC)とSense about Scienceが実施した調査に続くもので、査読システムの主な利害関係者たちの意見の変化を見定めようとするものです。
本調査における最も重要な質問(抜粋):
- 今日の研究者にとって、査読の目的とは何か? また、査読に対する期待度と現実にはどの程度の開きがあるのか?
- 査読における倫理的問題に関する知識は、どれくらい普及しているのか?
- 査読報告書を受け取るまでの期間、または査読期間に対する見解はどのようなものか?
- 研究に使われた全データを査読に利用することは現実的か、またそのことについて研究者はどう思っているのか?
- これまでとは異なる査読モデルに対する意見はどのようなものか?
レポートの背景
- 世界各国の7438名からアンケートへの回答を得た
- フォーカスグループ・インタビューは、英国・中国・南アフリカの6グループに対して行われた
- 調査対象の研究領域:科学、社会科学、人文科学、医学
レポートの主要調査結果
1. 査読ジャーナルに論文を掲載する上で最も重要な動機は、分野に貢献すること、そして研究を他者と共有することであるという点で、著者・編集者・査読者の意見は一致している。これは以前の調査結果と同じである。
2. できれば査読段階で剽窃を発見してほしいという点で、おおよそ意見が一致している。
3. 研究者は、ジェンダーバイアス(社会的・文化的性別による偏見・差別)は少ないが、地域・年功序列によるバイアスが多いと感じている。査読における差別を防止するには、二重盲検法(double blind)による査読が最も効果的だという意見が見られた。
4. 査読を待つ期間は1~6ヶ月間との回答が研究者全体で大方を占めているが、実際の著者は、2ヶ月までが妥当と考えている。
5. 論文の他に基礎データへの査読も行うかどうかに関して、回答者の意見はほぼ拮抗していた。PRCによる過去の調査では、「著者のデータも査読するべき」という考え方を支持する回答がより多く見られた。
6. 査読の3つの選択肢:オープン(査読者も著者もお互いに誰か分かっている)、オープンかつ公開(査読レポートが公開される)、出版後査読についてどう思うかは、意見がバランスよく分かれていた。
7. 人文・社会科学および科学・技術・医学分野の研究者のほとんどは、査読プロセスを通じて自分の論文が改善されるという恩恵に対し、10段階評価で8以上の評価を与えている。
8. 人文・社会科学分野の著者は、自分の論文の査読がどの段階まで進んでいるかについて、科学・技術・医学分野の著者よりも情報が少ないと述べている。
9. 査読者が丁寧なフィードバックを行い、削除すべき箇所を明確にし、読みやすくするための改善点を提案することが理想的ではあるが、現実的に査読者に望みうることは、方法を確認し、結果の重要性を判断し、ジャーナルの研究領域との関連性を照合すること等である、という意見で一致していた。
10. 英語ネイティブでない研究者の論文出版には、文法や言語の問題による不都合が生じる。そのため、言い回しや文法の訂正が必要な論文は、最初の確認段階や処理段階でかなりの量の編集作業が必要となり、その後査読に回されることもあれば回されないこともある。
テイラー&フランシス社の今回のレポートを通じ、著者・査読者・編集者には、コミュニケーションや査読期間などの点で査読を改善するための共通のゴールがあることが明らかになりました。本調査は査読に関する包括的で幅広い視点を提供していますが、Scholarly Kitchen(Society for Scholarly Publishing のブログ)のフィル・ディビス(Phil Davis)氏は、この調査の弱点を次のように指摘しています。「テイラー&フランシス社の調査やそれに類する調査(の弱点)は、査読を、特定の目的のために様々な状況で利用される多様なツールの集まりとしてではなく、概念とみなしていることだ」。彼は、「著者が査読に期待することとは何でしょう?」などと著者に尋ねるよりも、例えば「問題点を特定し、それを解決するツールを開発することができるでしょうか?」というように、より科学的で具体的な質問をした方が、査読にまつわる問題を掘り下げて、それらを解決する糸口が得られたのではないかと説明しています。
査読が、科学論文出版を支える柱の一つとして存在し続けることは間違いありません。査読に関する今回の調査は、レポートで次のようにまとめられています。「本調査では全体として、研究結果の質と妥当性を評価するまったく新しい方法よりも、既存のシステムの微調整を望むという、きわめて保守的な見方が示されました」。