世の中の様々な言説において、その根拠として「学術論文」が引用されるケースがままありますが、その信憑性は如何ばかりでありましょうか。

4月2日付で、日本経済新聞が「社会科学論文の26%、データ再分析で結論変わる　国際研究で検証」と題する記事を掲載しています。

記事によりますと、社会学や経済学などの論文データを再分析したところ、26％で元の結論と異なる結果が得られたとのこと。

（記事引用）
「143本の論文のデータを解析したところ、105本（74%）で元の論文とおおむね同じ結論が出た」
「著者が分析に使ったプログラミングコードを添えた論文の場合は、同じ結論が出る割合が9割と高かった」
「別の研究では、100件の論文のうち74%が再現、2%は逆の結果になった」

また、発表後に得られた新しいデータで検証した場合、49％しか同じ結論にならなかったとのことです。

こうした話題に触れますと、よく半ば冗談めかして語られる「A と B の優劣を論じる研究には、
① A が優れる、
② B が優れる、
③ A と B は同等、
の3種類の論文が存在する」という話を思い出します。

もちろん、これは揶揄を含んだ言い回しではありますが、社会科学の分野では、文脈や条件、分析方法の違いによって結論が揺れやすいという特性を、うまく表しているようにも思います。

記事でも、
「人の心や社会は複雑で、文脈や状況によって変化する」
との指摘があり、物理学や化学と比べてノイズの影響を受けやすいとのこと。

研究論文は、実験や分析で得られたデータに基づき「新たな発見」を主張するものですが、先行研究と同じ結論では論文として成立しにくいため、研究者が新しいデータや分析手法を模索することも多いようです。

その結果、時に再現しにくい論文が生まれることがあり、こうした論文が増えますと、研究成果を社会で活かしにくくなる、記事では、そのような懸念も示されています。

複数の研究を照らし合わせながら、静かに判断していくことの大切さを改めて考えさせられる内容でした。

• « 前の記事へ