ChatGPTは日本の司法試験に合格できるか 弁護士ドットコムが実験 - 弁護士ドットコムニュース

米国のベンチャー企業OpenAIが開発した対話型人工知能「ChatGPT」に注目が集まっています。 共同通信の報道によると、米医療企業の研究チームが、ChatGPTに米国の医師国家試験を解かせてみたところ、正解率は52～75％で、合格ラインとされる60％前後に達しました。 また、司法試験を解かせる米国の実験では、7科目全体の平均こそ人間に負けたものの、2科目では平均を上回る結果をみせています。 では、ChatGPTに日本の司法試験を受けさせてみたらどうなるのか。弁護士ドットコムで実験をおこないました。 ●どんな仕組みで法律の学習をしていくのか ChatGPTは、同社が開発したGPTと呼ばれる大規模な言語モデルを組み込んだ対話型の人工知能です。2022年11月に公開されて以降、高度な応答ぶりが注目を集めており、日本語テキストによる質問に対しても、まるで日本人とチャットしているような自然な言葉

[gabill]

GPTの画期的なところは『言語について汎用的な知識を大量に得たら、その後の専門分野の知識は少ない学習量で習得できる』というところにあるので、専門特化してないChatGPTは進化前のイーブイに過ぎない。

[akitanaka510]

合わせて読みたいの部分に、あと10年でAIが弁護士に取って代わるという2015年の記事があった。あと2年…

[tamtam3]

正しい過去判例と六法全書をデータとして与え、過学習に注意しつつ最適化チューニングすれば、こ日進月歩のAI技術革新がこのまま続くと仮定すれば、一年後ぐらいには、司法試験合格ラインまでいける気がする。

[doroyamada]

現状ですでに正答率30%まで来ているってこと。

[shunkeen]

“日本の弁護士法上、弁護士・弁護士法人ではない民間企業が提供するサービスが、実際の事件について法律的な見解を述べるようなプログラムを提供することは、弁護士法72条違反を問われる可能性が高い”

[W53SA]

「この背景には、日本は米国と違いほとんどの裁判例がデータで公開されていないという問題があります。」

[daruism]

“日本は米国と違いほとんどの裁判例がデータで公開されていないという問題があります”民間において有償サービスで提供されているので不正確な表現

[kazgeo]

まさに「時間の問題」だな。

[elpibe]

“今後、日本の裁判のIT化により判例データの公開が進み、GPTの言語モデルが学習できるデータセットが充実すれば、ChatGPTとの「対話」を繰り返すことで正答率のさらなる上昇が期待できそうです。”

[ooblog]

#AI #ChatGPT #深津貴之 「法律~正確な判断や回答をすることは~深津式~応用~あくまで試験問題~正解率は30％~日本は米国と違い~裁判例~公開されていない~しかしながら~コピーアンドペーストするだけ~それ自体が大きな進歩」

[misshiki]

“正解率は30％、合格ラインをはるかに下回る結果”

[kamm]

興味深い記事だったけど、日本の法律周りはクソだなと思った。

[augsUK]

GPT-3に司法試験問題をfew-shot learningさせたモデルを一番活用するのは弁護士自身だなあ。

[korilog]

詰め込み式の日本の教育が変わるより、AIが使えない人間の首を切る方が早そうだな

[asuka0801]

“ChatGPT Plusが回答を忌避せずに、何らかの答えを必ず出力する命令プロンプトを作成しました” これが一番凄いのでは

[buu]

正答率が95%ぐらいになればもう弁護士いらないんじゃない？

[yamadar]

汎用モデルではなく、学習データを最適化したらどうなるんだろ