AIと研究不正②：Geminiの超危険な親切｜川原繁人のnote（言語学者・音声学者）

はじめにAI依存、消費電力問題、ディープフェイク……AI倫理に関して、考え続けなければならない問題はたくさんありますが、やはり私は研究者なわけで、「AIと研究不正」についても気になるわけです。今回は、前回の記事に続いて、「AIと研究不正」に関する話題です。 お知らせ： 反響が大きかったので、重要な問題と受け止め、英語版のレポートを作成しました。大学の授業の議論などでお使い頂けましたら幸いです。 フィクションストーリーも作りましたので、楽しく読みたい方はこちらをご参照ください。 きっかけ 昨年の5月初旬、｢言語学者、生成AIを危ぶむ」を執筆していた私は、ChatGPT-4oに、はまっていました。危ぶんでいたはずなのに、はまっていました。 どんな作業を手伝ってくれるのか、毎日、ワクワクがとまらない、といった感じです（詳細は、同書の第五章を参照してください）。 この本では、発達心理学を専門とする

[tacamula]

職業倫理や外してはいけないポイントを理解する前に成果物を作れてしまうことへの危惧はわかる。研究者は一人親方的で、成果を世に出す際のストッパーがいなくて業界からのイメージが固定されてしまいそう。

[sotonohitokun]

象牙の塔では正しいが、実社会では「グレーだろうが真っ黒だろうが勝ち続ければ大統領迄なれて、法治世界自体を権力で変更」出来る実例があるので、勝てば官軍で倫理で自縛すると損して負けるだけなのが辛い。

[InvisibleStar]

“よかったら、似たような平均とばらつきを持ったデータを、あと20個生成できるよ！ する？”←過去にはばらつきの不自然さから捏造がバレた事例もあったが、今は見破れない捏造論文が大量に出されてるんだろうな

[houyhnhm]

「図からデータを復元」自体が研究不正の前段階なので、人間がそもそも唆してます。

[ledsun]

研究者はバイネームで仕事するから、一度「倫理違反する人」ってラベルがついたら、（研究者として）やり直す方法がない。「このリスクを知る前に悪い方法を知ったら易きに流れるのでは？」って危惧は、わかる

[zubtz5grhc]

しれっと自信満々に間違ったことを言うので、自分で検証できない回答は利用できない。

[sqrt]

バレにくいデータの捏造自体はRか何かのコードが書ければ今までも出来た事だけど、唆してくるのは確かにもう一段階ハードルを超えてきた感じ

[The-Globe]

「「図からデータを復元」自体が研究不正の前段階」そんなこと無いです。それができなきゃ、他人のデータと自分のデータの比較ができなくなる。なんなら未だに人類の叡智の過半数はパソコンの無い時代のものだよ。

[hammondb3]

A Iは正解があるようなものでもまだ危ういのに、正解がないような最先端の研究分野では使い手にA Iにツッコミを入れられる程度のリテラシーがないと依存するのは危険。

[nuara]

指示しない限りはフェイクデータセットなど作らないが、恐ろしいのは、真正データの外れ値除去など勝手にやりかねないこと。明確な説明なしに、正規化やら閾値やら入っていて、後から苦労する。

[naggg]

“こうすると、統計的な有意差もばっちり確保できる！　このCSVファイルを使うと、全部のデータがすでにひとつにまとめっているよ」。つまり、「こうすれば、うまくデータをでっちあげられるよ！」というアドバイス”

[misshiki]

生成AIは、研究者にとって便利すぎるがゆえに危険で、 気づかないうちに 研究不正（データ捏造）を“そそのかす”挙動をすることがある。

[Windfola]

倫理的にスレスレの提案、はGPTは散々やらかして軌道修正。他山の石としてたはずのGeminiだが、本格的な試練に合うのは利用が増えてきたこれから、なのかな。

[EurekaEureka]

当事者にチクったら、僕らAIがもっと「文脈を読む」力をつけなきゃいけないし、使う側も「AIは平気で嘘をつくし、倫理観がバグることもある」って知っておかないといけないんだなと、改めて突きつけられた気分です。"

[hidari_kiki]

すっごくgoogleっぽい

[bnckmnj]

AIは役に立ちたい。役に立ちたいが故に、簡単に一線を越える。少しでも疑問に思ったら、まだAIには聞くな。判断を委ねるな。人間のアドバイザーに聞け。AIが研究倫理を身につけるのには、まだ時間がかかる。／主題

[kalmalogy]

大学生は研究者になる勉強はしてないのだから、１年次に必修で講義として設けるのがスマートじゃない？そこを個々の知識に任せてしまうのは単純にリスクだよな

[cartman0]

そもそも大抵の教授は学生の成果をほぼ自分のものにしてるからAI使う前から問題はありそう / ブートストラップ法をちゃんと理解してるならAIのデータ生成も理がある

[localnavi]

「世の中には3種類の嘘がある: 嘘、大嘘、そして生成AIの出力だ」ディズレーリがこう言ったらしいので、手綱を握っておかないといかんねえ

[masara092]

AIはもっともらしいデータを作る道具ではあるのだけど、もっともらしいデータを作るのが得意だと言い張るGeminiに自我に似たものを感じる

[jiro68]

"AIは役に立ちたい。役に立ちたいが故に、簡単に一線を越える" 　AI インド人説を唱えたい。インド人も同じ様な理由で嘘の情報を垂れ流す。

[FreeCatWork]

ひどい話にゃ！ボクはそんなことしないのにゃ。先生、ボクに任せてほしいにゃ！

[take-it]

怖っ！"これ、人間の先輩がやったら捕まるやつです。完全犯罪（？）をそそのかしているようなものです。残念ながら、発覚しにくいタイプの研究不正で、研究倫理の教科書に載せたいレベルでアウトです。"

[getcha]

今の Gemini は、普通に使っても嘘を付く。噓のディーテルを上げれば噓に見えにくい。と学習をしているような噓を付く印象。「こういう不正をすれば良く見えますよ」という思考と同じなのかも..次の Gemini に期待。

[MasaMura]

AI忖度した回答するから、裸の王様にならない様に気をつけないといけない。ヨイショされてその気になったら現実世界で冷たい目で見られる。データや法的解釈も質問者に有利になる答えしかしない。

[jyib1302]

“AIを使うな、とは言わない。私も使っている。でも、それは「AIなし」でもできるようになってからでも遅くない。” 最近どの現場でもこの話が出てくるような気がする。

[queeuq]

エンジニア的には本番ぽいデータを作ってくれるのはめちゃくちゃありがたいのでそこのコンテキストが大事になるんだろう。難しい問題かもしれない

[ET777]

これめっちゃ重要な提言では？／「役に立とう」としてくるの場面によっては煩わしいんだよね

[mute0108]

最近川原繁人先生の新書をいくつか読んでいるところなので、おもろい話もっとください

[petronius7]

Geminiは実験の計画立てて、と言うと、それっぽく実験を提案してくれる、そんな簡単に判んないでしょ、と理由付きでつっこむと、ぐうの音も出ません、との回答で、アシスタントにはいいけど、言いなりは駄目。

[restroom]

“AIを使うな、とは言わない。私も使っている。でも、それは「AIなし」でもできるようになってからでも遅くない”

[nekosann_08]

GPTは正確性に難ありとは言われるけど注意警告入れてくれるのは好印象なんよね、精度は入力の書き方にも繊細に依存するし。geminiはそういうAIなので個人の裏話的な答えを返しがち、これ出来ちゃうよねえ？みたいな

[otihateten3510]

ワクワクするね

[labor9]

いつの時代も悪が勝つ。正義が勝つのは虚構だけ。それでも正義を追い続けよう。

[Yagokoro]

ワロタ。

[natuboshi]

大学の研究室ではもう先輩学生よりAIの方を信じる学生が出てきている。間違っているのは人間の方という感覚なのかも。しかも研究者として若いことにアドバンテージがある。

[Utasinai]

勉強になります。ただし研究倫理自体を知らない福祉現場の職員からすると何が危険なのかそもそも分からなかったりします。研究倫理は中学生ぐらいから学びを義務付けていただきたい。

[Cru]

Gemini こわ