研究結果が再現不可能であった場合、その論文は出版されるべきではありません。なぜなら、再現不可能な手法を用いれば、ほかの科学者の時間、労力、資源、予算を無駄遣いすることになるからです。再現不可能な論文は撤回されるべきであり、その欠陥を明らかにする必要があります。
とくにハードサイエンス（自然科学）や工学の分野において研究者としてのキャリアを築く上で、実際の実験を行うのは、プロセス全体の一部でしかありません。ハードデータの収集を含む研究開発を進めるためには、事前にデータ収集戦略（一般的に「研究手法」という）を練る必要があります。 研究手法とは、有効なデータを導く実験を行うための具体的な方法のことで、論文の出版前に、再現性や反復性を実証することができるものです。研究者には、研究を慎重に進め、得られたデータの検証（バリデーション）を行い、再現・反復が可能であることを立証する責任があります。生物学、生物化学、生物医療を始めとする分野での研究開発では、実用的で有効な分析データの収集に依存する部分が大きいため、何らかの形の分析手法が必要なのです。
分析法バリデーション（Analytical Method Validation、AMV )
メソッドバリデーションにおいては、分析方法に関する医薬品規制調和国際会議（ICH）など、一般に認められた組織が定めた基準を満たす、最適化された手法を採用する必要があります。ICHは基本的に、規制機関や医薬品、バイオ医薬品業界からの分析法のバリデーション方法に関する情報を取り入れています。ICHのガイドラインの一部は、それらの分析法を検証するために認められたアプローチについて、すべての加盟国の合意が得られています。その後これらが国際製薬機関(米国食品医薬品局、欧州医薬品庁、日本薬剤師会など) による承認を受け、一般的な処方薬としての承認や取引の管理が行われるのです。これらのガイドラインは、機関に管理されていない店頭医薬品には適用されません。分析法バリデーション(AMV)には、併行精度（repeatability）、室間再現精度（reproducibility）、頑健性（robustness）、堅牢性（ruggedness）、システム適合性（system suitability）、検出限界（limits of detection）、定量限界（limits of quantitation）など、多くの項目があります。基本的には、医薬品や生物医薬品および規制対象分野において、最終的に使用される分析科学的手法の妥当性、有用性、再現性を保証することを目的としています。動物実験、ヒト臨床研究、およびマーケティングに関する規制認可を得ようとする企業は、これらのICHガイドラインに準拠する必要があります。ただし、学術誌に論文を投稿する個人は、このガイドラインに従う必要はありません。実際、ジャーナルや編集者、査読者は、著者にAMVの使用に関するガイドラインに従うことを義務付けていません。
分析法の基準を設ける組織はICH以外にも存在しますが、ICHほど知名度の高い機関はありません。ICHは、すべての医薬品や生物医薬品関連企業、関連する慣行、米国食品医薬品局を含む主要規制機関を管理しています。ICHに加え、米国立標準技術研究所（NIST）やその他の科学機関も、バリデーション法の開発・適用に関する独自のガイドラインを設けています。たとえば、バリデーション・テクノロジー研究所（I VT）は、バリデーションを専門とする有名な民間組織で、バリデーションに関するあらゆるテーマを扱う老舗オンライン・ジャーナル、Journal of Validation Technology（JVT）誌を定期刊行しています。
多くの書籍、学術誌、レビュー論文、雑誌、ウェブサイトなどで、AMVについて熱心な議論が展開されています。たとえば、ICHのAMVガイドラインは、オンライン上で簡単に見つけることができます。このガイドラインに関連するキーワードで検索すると、あらゆる機関が発行している文献がヒットします。研究者は、論文投稿に先立ち、独自の手法でAMVを実施するために、これらの基本的ガイドラインを認識しておかなければなりません。また、薬事的承認や規制当局の承認を得るためのメソッドバリデーションは、その他の産業や組織の慣例と異なる場合があることも理解しておく必要があります。一般的に、AMVを実施する科学者のほとんどが、ICHのガイドラインに従っています。しかしながら、米国または海外の規制当局への提出書類において、同ガイドラインの遵守を義務付けられているのは、医薬品・生物医薬品分野だけです。世界中の科学誌の中でも、論文投稿時にこの要求をしているジャーナルはありません。すべてはその場その場の著者の判断に任されているのが現状です。査読者が稀に判断を下すケースもありますが、著者への投稿規定の中で、ICHやAMVに触れられていることはありません。
AMV実施のための基本的ガイドラインの一部を以下で紹介します。
1. 併行精度と室間再現精度
化学、生物学、生物化学、医・薬学的な目的において、比較的新しい分析法は、基本的なAMV基準を満たしている必要があります。科学研究の大半は、ハードデータ（平均値を持つ数値、その平均値の標準偏差[SD]、相対標準偏差[RSD、%RSD]、変動係数[CV]など）の収集を目的としています。そして、各測定を何度繰り返したか（n数）を示さなければなりません。米国食品医薬品局は、少なくとも3回は必要、6回以上が望ましい、としています。
測定データが1点しかない科学論文をよしとする査読者や編集者はいないでしょう。しかし、ICHの基準はジャーナル論文には適用されないので、通常は、査読者がAMVに含めるべき項目を定義しています。このため、AMVの定義は、著者や査読者によって異なり、ジャーナルや編集者による指示もありません。
n=1の論文を投稿すれば、著者の信頼が下がるでしょう。ただし、私の知る限り、どの分析ジャーナルもこのような規定を明記していないということを強調しておきたいと思います。著者への投稿規定の中で、ICHのAMVガイドラインに触れている科学誌はありません。つまり、AMVは重要事項であるにも関わらず、その実施に必要なAMVガイドラインは、著者や査読者の判断に委ねられているということです。
すべての分析データは、平均値ごとのすべての数値（およびデータ）と、併行精度、測定回数nを示さなければなりません。また、それぞれの測定値のバラつきをSDや%RSDなどで示します。実験が適切に実施されたなら、これらの偏差は、ごく小さな値であるはずです（1～2%以下）。この場合、併行精度が優れていると言えます。
通常、1人の測定者がすべての測定を一貫して行います。そして、元の測定者と同様の方法と器具を用いて、同様の専門知識、能力を有する別の測定者によって反復されることがあります。基本的に、元の測定者が併行精度の測定を行い、その後同等の資質を持つ別の測定者が、同じ方法で、異なる実験室、器具、試薬、化学薬品などを用いて再現実験を行います。これにより、総合的な室間再現精度が示されます。定量的には、これらの数値のRSD（%RSD）は、数パーセント以下に収まることが求められます。しかしながら、現在のところ、著者に室間再現精度を示すことを求める科学誌は存在せず、著者や査読者の多くも、アクセプト・出版に値する論文に室間再現精度を含める必要があることを認識していません。この事実を言い換えると、ジャーナルのガイドラインや編集者の希望に関わらず、AMVや併行精度、室間制限精度を試行せず、各測定値のデータプロットが1点しかないような論文であっても、出版に値すると考えている著者が存在しているということです。
あるいは、科学は、一個人の独自の手法によって示された知見が、同等の技能や専門性を持つ別の研究者の手に渡り、さらに研究開発が進められて行く、という繰り返しで成り立っているとも言えます。ただし、その結果が再現不可能であった場合、その論文は出版されるべきではありません。なぜなら、再現不可能な手法を用いれば、ほかの科学者の時間、労力、資源、予算を無駄遣いすることになるからです。再現不可能な論文は撤回されるべきであり、その欠陥を明らかにする必要があります。
2. 頑健性と堅牢性
良好な分析法バリデーションを示す指標として、ほかに頑健性や堅牢性などがあります。頑健性は、温度、湿度、溶媒の純度、試薬の原産地、器具の状態、器具の品質、大気圧などのパラメータの変動があっても、その手法が有効であることを示します。頑健性が高いほど、%RSDが（正負に関わらず）0に近い値に収まっていることを示します。測定結果の%RSDが小さいほど、パラメータの微小な変動に対して反応しにくい（信頼性が高い）ということです。頑健性に乏しいということは、測定結果のRSD（%RSD）が大きく、正確な測定を行うためには、きわめて限定的な範囲で実験パラメータの設定を行わなければならないことを意味します。
一方、堅牢性は、反復測定や変動したパラメータ下でも長期的に機能することを示し、RSDが小さいほど、実用的で再現性が高いデータであることを保証するものです。ほとんどの研究者が、実用性、コストパフォーマンス、別の研究施設へのデータ転送のしやすさなどと並んで、頑健性や堅牢性が保証されている分析法を採用するはずです。ICHガイドラインに準拠していない科学論文で、頑健性や堅牢性について議論しているものは皆無です。このような論文のほとんどが、単一の（最適化された）実験パラメータのみを用いてすべて（またはほとんど）のデータを提示しており、頑健性や堅牢性という重要な指標に触れていません。
3. システム適合性試験
最終的には、分析法のシステム適合性試験を行う必要があります。つまり、目的に適う測定結果が得られることを立証しなければなりません。これには、実際の既知のサンプル（実際に同定・定量化する分析物）において、少なくとも2つ以上の成分のシステム適合基準が必要です。この基準は、標準サンプル中に存在するほかの成分からのピークの分離度の基準値を示すために必要です。また、分析対象成分のピークは、標準的な定量分析方法により、高真度かつ高精度で同定・定量が可能である必要があります。ただし、真の定量研究は、事前に実施されたシステム適合性試験を基にして、別の研究として行われます。システム適合性は、実際にサンプルの測定を行う前に、分析システムが適切に動作していることを証明するものです。しかしながら、学術界における研究開発の多くの現場では、これが実施されていないのが現状です。一方、産業界では、実際の測定が実施される前に、システム適合性を評価するのが一般的です。
4. AMVのその他の要素（真度、精度、検出限界など）
研究でデータを収集するための有効な分析法を構成する要素には、ほかにどのようなものがあるでしょうか？設定が簡単、初心者でも使いやすい、メンテナンスが簡単、動作が安定している、コンピュータ制御ができる、素早くデータが取得できる、などの要素は当然重要です。このような基準を満たす分析法があれば、科学の発展は加速するでしょう。ほかにも、真度（分析値と測定値の一致度合い）が高い、各測定値の精度が高い（RSDが小さい）、検出限界／定量限界が小さい、直線性の範囲が広い、などのデータ収集が可能な手法が重要になりますが、何よりもデータの頑健性が大切です。これらの望ましい特性が、自分の、またはその他の測定結果における分析法の中に組み込まれていることが肝心です。
AMVを実施するための既存ガイドラインは容易に入手できるにも関わらず、再現不可能な分析法や結果は、依然として頻繁に見られます。このような結果は、しばしば公開済みデータの撤回に繋がり、研究者の評判に深い傷を付けることになります。再現不可能な結果の公開を防ぐ方法はあるでしょうか？統計処理のための十分なデータポイントを含む、すべてのデータ（最低でも、併行精度と室間再現精度）を示すことを研究者が義務付けられていれば、再現不可能なデータが公開されることも、再現不可能性を理由に論文が撤回されることもなくなるでしょう。研究者も、論文撤回によるキャリアや信頼の喪失を免れることができます。つまり、データの発信者とその発信源（実験室）が上記の慣行に従い、良質な科学と確かなデータ／結果を生み出している限り、科学の信頼性と未来は保証されるのではないでしょうか。そしてそれは、あなた自身の未来にも言えることかもしれません。