「査読前論文は信用できない」はどこまで本当か？ 査読前後での内容の変化、7万件の分析結果は

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説する。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。X：＠shiropen2 ウェスタン大学と南カリフォルニア大学に所属する研究者らが発表した論文「Tracking claim changes from preprint to publication across 72,644 biomedical studies using large language models」は、プレプリント（査読前論文）の信頼性を検証した研究報告だ。 査読前の論文を公開するプレプリントは、研究内容をいち早く世界中に無料共有できるメリットがあり、プレプ

[Akech_ergo]

査読の機能はブラッシュアップというよりも選抜（質の低い論文をrejectする）だと思うので、査読を通った論文だけについて調べてもなぁ、みたいな。

[nakex1]

査読に通った論文だけを調査対象にしたら通過前から一定以上の質なのはあたり前では。ダメなやつは通らず落されるだろうし。

[fukken]

"その後査読済み論文として出版された" なので、リジェクトされたものとか、最初から査読を受ける気自体がない論文が除外されてるじゃん。その上で1割が大幅修正なら大きな差だよね。

[deep_one]

コメントを見て。信じられないのは「査読で落とされる論文」というのは確かにそうだ。

[aya_momo]

それより、査読した論文は信用できる、みたいな言説の方が気になるんだけど。

[igni3]

これは査読後に公開されたものと、プレプリントのどちらを読むべきか、くらいの意味しかない。プレプリントしか手に入らないならそれでもだいたい十分。プレプリントしかないものについては何も言えない。

[wackunnpapa]

“査読によって論文の主要な主張が大きく覆るケースは稀である”

[lanlanrooooo]

ワクチンは毒ってことでFA？

[Diomedeidae]

因果の向きとして査読後の方を先に評価するのは向きが逆というのは確かにそう/preprint公開だけして放置されている論文の評価をしないと片手落ちでは

[atsushieno]

「bioRxivに投稿され、その後査読済み論文として出版された7万2644件の論文ペア」この時点でだいぶふるい落とされていそう

[spark64]

プレプリントとして公開、てのは怪しむべき事象じゃなく逆に捉えるべきだわな。『プレプリントを経由しなかった論文は、経由した論文の約2倍の確率で撤回されていることになる』

[charun]

査読とは薬利権に都合の良いかチェックでしかないよね。プラセボに毒入れても謎の除外しまくってもお咎めなしだもん。「査読を通じて論文の主張が2倍の割合で慎重なトーンへと修正され」＝不都合な研究の緩和策

[sqrt]

良い論文誌ほど査読の過程で何度もrevisionを指示するので、改稿の量と研究の質はむしろ比例すると思う／AI分野はコードで性能を確認できるからか、rejectされたarXiv論文も普通に引用される別世界

[kamezo]

〈プレプリントを経由しなかった論文は、経由した論文の約2倍の確率で撤回されている〉査読によってゴミ論文はリジェクトされるということでは？

[maketexlsr]

大事なのはリジェクトだろうに

[Fluss_kawa]

査読によって大きく主張が変わるのであればそれは元の論文と同じ論旨と言えなくなるので撤回するか拒否されるかになって掲載されないのでは？プレプリントから査読に出してどれくらい拒否されたかを調べるべきでは？

[turanukimaru]

査読はArgumentの明確化・エビデンスや論理の抜け漏れの指摘などをすることなので主旨は変わるわけがない。もし査読で主旨が変わったらそれはもはや別の論文と言うか卒論書き直しました！みたいな話だ。

[yoshis1210]

選択バイアス／生存者バイアスかな。査読を通らなかった論文や査読を受けるつもりもない論文が大量にあるはずなので「査読前論文は信用できない」かどうかの話と関係がない記事だと思う。

[nida3001]

インターネッツは査読によって研究不正や誤謬が全て排除されてるかのような発言をしがちだけど、そういうプロセスじゃねーから

[nentaro]

査読なしの論文を信用しない。

[ko2inte8cu]

ネイチャーは「医学生物学論文の70%以上が、再現できない!」と言っている。再現性の危機は、査読通過後論文でも深刻。STAP細胞だけでなく、国内外の一流大学で、何回もやらかしている。手弁当の読むだけ査読は無意味

[pribetch]

biomedicalなので比較的追試と再現が楽な分野ではある

[moon3ki]

比較的完成度の高い論文しかプレプリントとして公開されていないのでは？あと、査読に通らず、プレプリントしかない論文は今回の比較対象に含まれない。

[nguyen-oi]

査読を通すと慎重な表現になるのが面白い。プレプリント経由の方が撤回率低いのは、公開時点で叩かれて修正や取り下げが済むからなのかな

[sakstyle]

どう解釈すればいいんだ？

[Seamless]

査読前から査読後→変化なし40％,軽微な修正50％,大幅な修正10％。文章の表現が慎重になった割合8.4%。プレプリント公開した方がしてないより2倍撤回されにくい