これは http://mitochondrion.jp/ に掲載している「医学日記」を、諸般の便宜のために、 1 記事 1 ファイルとして形成し直したものです。 簡単なプログラムで自動生成しているので、体裁の乱れなどが一部にあるかと思われますが、ご容赦ください。
6 月 20 日付で、朝日新聞が「統計的に有意」誤解の温床で有害 ネイチャー論文波紋という記事を掲載していた。「統計的に有意」かどうかを問題にするのはやめるべきだ、という Nature 誌の記事 (Nature 567, 305-307 (2019).) を紹介するものである。元となる Nature 誌の記事内容はまっとうなので、この問題に関心のある方は、ぜひ読まれると良い。著者はスイス University of Basel の動物学教授 V. Amrhein らである。
朝日の記事には書かれていないが、Amrhein らは、解析方法を「適切」に設定することで「有意差」を操作する不正行為について、次のような表現で批判している。
On top of this, the rigid focus on statistical significance encourages researchers to choose data and methods that yield statistial significancefor some desired (or simply publishable) result,or that yield statistical non-significance for an undesired result,such as potential side effects of drugs --- thereby invalidating conclusions.
このように統計的有意差にばかりが注目されるようになった結果、少なからぬ研究者は、データや解析方法を巧妙に選択するようになった。論文になるような望ましい結果については有意差が出るように、また、薬剤の副作用など望ましくない結果については有意差が出ないように、という具合である。こうして、研究結果が歪められるのである。
朝日の記事には、国立がん研究センターの後藤氏や、大阪市立大の新谷教授のコメントが掲載されている。この記事が、彼らのコメントの全体を適切に反映する形で載せているのかどうかは知らぬが、「有意差だけで価値判断するのは危険」とか「総合的に判断すべき」とかいう、漠然として曖昧な内容のコメントである。どうして、もっと踏み込んだコメントをしないのか。
Amrhein らは、有意差の有無で議論すべきではない、と主張し、いわゆる confidence interval で議論すべき、と主張している。なお、彼らは confidence interval という名称は誤解を招くとして compatibility interval と呼ぶべき、とも述べている。
p 値よりも confidence interval で議論すべき、というのは、だいぶ昔から言われていることであるが、それが近年になってまた強く言われるようになったのは、それだけ、この「『有意差』についての誤解」を悪用する論文が多くなっているからであろう。なにしろ、臨床医学において最も権威ある論文誌とされる The New England Journal of Medicine でさえ、あの程度なのである。なお、ここでいう「権威」とは、いわゆる impact factor のことであって、掲載されている記事の学術的水準や価値が高いという意味ではない。
ところで、Amrhein らの批判も、実は照準が少しずれている。彼らは「有意差なし」を「同等」と誤認してはならぬ、という点にばかり注目しているが、6 月 14 日に書いたように、実は「有意差あり」という結果も、実用上は意味がない。
そもそもの問題は、「両者は同等である」という帰無仮説を棄却する、という方法で検定しようという発想自体にある。この検定法は、たとえば基礎物理学においてニュートリノの質量が非零であることを証明したい、という場合には有効であろう。質量が厳密に 0 なのか、ほんの少しの正値なのか、という違いを問題にしているからである。しかし、この帰無仮説は、臨床医学や生物学実験では意味がない。我々が知りたいのは「プラセボと新薬の間に、ほんの僅かでも差があるのかどうか」ではなく、「経済性や有害事象のリスクを充分に超越する程度の効果があるかどうか」だからである。この観点からは、同等性の検定ではなく、非劣性試験や優越性試験を採用すべきである。
なぜ、このような不適切な帰無仮説を用いた検定がはびこっているのか。そのあたりの事情は、知らぬ。