ChatGPTに共通テスト（旧センター試験）を解かせてみた｜usutaku@AI情報解説

最近流行りのChatGPT。 「色々な作業を自動化した」 「国家試験に合格した」 ニュースで目にする機会も最近は多いと思います。 では、ChatGPTは現段階でどのくらい賢いのでしょうか？ 「海外の司法試験で人間を超えた」などの情報をよく耳にしますが、実感が湧きませんよね。 今回は日本人に馴染みの深い大学入学共通テスト（旧センター試験）を題材に、その実力を検証してみました。 実験方法今回は、令和４年度の国語・英語（リーディング）・公民（倫理 / 政治・経済）の3科目について実験を行いました。 ※ 数学・理科等の科目については図表を読み取る問題が多く、正確に試験できないため今回は除外しました。 ポイント①： テキストになおす大学入試センターで公表されている試験問題がPDFのため、ChatGPTに読めるテキスト形式にする必要があります。 今回はGoogle Docsの機能を活用して文字起こしし

[morgen3ed]

文学部に人類の活躍する余地が残る可能性

[mbr]

元々のGPT-4 technical report https://cdn.openai.com/papers/gpt-4.pdf でもAP English Language / Literature and Compositionは苦手（lower boundで8％とか14％程度）なので、いわゆる「国語」は苦手なのかも（APの方はライティングもあるけど）。

[evans7]

逆に満点取れないのが意外まである。/現代文が低いのは英語ベースな事＋本質的な答えが存在しない中から間違ってる選択肢を消して消去法で選ぶという「受験ルール」に適応出来なかったんだろう。

[LM-7]

GPT4で東ロボくんを完全に超えたと思っていたのだけど、少なくとも日本語の国語に関してはあまりかわらないようだ。英語は東ロボくんも得意だった。

[fa11enprince]

現代文はもっともらしくないけど、間違いのない文を正解にするから、小説の解釈としてその答えはどうなんだろうというのが多い。だからこそ苦手なのかも。

[qinmu]

論文にすべき。

[kuippa]

同じような能力の人なら同じような点数を取れるという作問の公平性にAIがつかわれるようになってほしいところですな。Temperature変えても同じ点数になるか？

[summoned]

共通テストはセンターに比べて平均点一割も下がってて人間視点では確実に難しくなった。性質的にAIも苦手な問題多いのは納得できる。数学に無駄な会話文が大量にあったりそれはどうなのって変化も多いけどね

[usomegane]

そもそも言葉の壁さえなければ大学入試英語より大学入試国語の方が難しいからな。と思ったら、国語も評論文に限ればそこまで遜色ないじゃん。

[DG-Law]

私的にはタイムリーな。地歴に限って似たようなことを実験してるけど，ChatGPT-4は普通に論述でも解いてくるのでヤバイ。／地歴の結果から考えて国語は小説が苦手だろうと推測してた。やっぱり。

[georgew]

学習データを考えると英語が得意なのは容易に想像できますね。

[mon0213]

これが人間が追いつかないスピードで進歩し続けるのだから恐ろしい

[misshiki]

“日本人に馴染みの深い大学入学共通テスト（旧センター試験）を題材に、その実力を検証”

[toaruR]

GPT4、優秀やなぁ(*´д｀*)

[Sinraptor]

倫理政経で人間が点数低いのは最近の状況見れば納得感、絶望感あるね。

[oeshi]

解き方の手順というか人間側の指示をもっと明確にすれば正答率は上がりそう。社会科ならセンター試験までは問題見た瞬間に答えがわかることが多かったけど共通テストは資料や会話文からヒントを拾う必要あるから面倒

[y_noz]

センター試験は時間かければ満点取れるものが理想なので意外と低いなという印象/私大の現代文もやって欲しいな

[toririr]

ChatGPTは文章の要約は上手くできるのに、評論や小説文を解くのは苦手。よく分からない。

[nuara]

4と3.5でそんなに違うのか。

[uunfo]

小説の読解はほとんどの人もChatGPTと同じような読み取りをするのかも。本当に正しい読み取りはどっちだろう。自治体による地鎮祭についても判例という事実とは違うけど普通に考えれば憲法違反という事なのかもね

[yamadar]

まだこの程度なのか

[nuu_n]

ChatGPTでできることできないことがわかって有益。数学や理科の図表読み取りは画像読み込ませて解かせることはできないのかな。

[monotonus]

受験国語はプロの視点から見てもかなり難しくて作問の不備で毎年1問程度揉めるのが恒例。対して英語は社会人なら訓練せずとも満点を望めるもの。AIはその辺を炙り出すよね。

[at_yasu]

僕より賢いやん…

[tattyu]

どの様な使い方でもGPTと議論する様な形式で使ってる。ツールも1発で答えが完璧に出る事は無いし。テストしておかしかったら指摘すれば改善してくれる。Google以上に質問力が問われるツールだなとは思う。

[tomo31415926563]

小説のやつプロンプトエンジニアリングでなんとかならないかな。「書いてないことを想像して解釈しちゃだめ」みたいな。

[takeda25]

東ロボくんは耳目を集めるのが主目的だったからね。当時の技術ではできない＆今後できるかもしれないとみんなわかってたのに、「AIには無理でした。人間は読解力を磨きましょう」という結論に導いた出来レース。

[ustar]

東ロボ君どこへ行ってしもうたんや

[iku-sawa11]

おそろしい時代になったなあ

[zubtz5grhc]

囲碁や将棋のチャンピオンに確勝できる時点で、知識思考全般がいずれ人間を上回るのは必然。それをどう社会で便利に活用するかという段階に入っていると思う。

[T-norf]

感覚的には生物と世界史が一番得意な気がする。化学も選択肢あるなら平均は超える気がする。日本史はネットにノイズが多いので、そん次かな。国語は古文漢文が苦手な上に、発音まで学習してないんだと思うな

[boomerangj]

小説低いのショックだなあ。夢がない。

[blueboy]

　　入試の国語の問題は、作者本人でさえ解けない、という評判だ。　　　https://b.hatena.ne.jp/entry/s/note.kishidanami.com/n/n6cc7d7d8a1de　　　　　　　　　　　　　,

[zakkie]

国語は低そうに見えて、第一問「評論」で84％なのがすごい。論理表現に限れば正答率が85%ぐらいある。ChatGPT4が大学生バイト並みと言うのは実に的を得た表現だ。

[aru47]

few-shotのようにプロンプトを工夫すると正答率上がりそう（書き下し文の例を与えるなど）

[kjin]

共通一次やセンター試験でもやってみるとまた違う結果分析、ブコメ出たりしないのかな？