否定文を理解できないAIたち - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ

BERT や GPT の登場により、テキストを扱うモデルは大きく発展しましたが、否定というごくありふれた操作を扱うのが依然難しいです。 本稿では、その理由と、部分的な解決策を紹介します。 目次 目次 否定文を理解できないAIたち 否定文を理解できずに困ること なぜ否定文をうまく扱えないのか なぜたまに成功するのか 対処法 ファインチューニング プロンプトの工夫 否定文を意識した訓練 文書数を増やす クエリとキーを拡張する おわりに 否定文を理解できないAIたち BERT (tohoku-nlp/bert-base-japanese-v3) で A =「私はお寿司が好きです。」 B =「私の好きな食べ物はお寿司です。」 のテキスト埋め込みのコサイン類似度を求めてみましょう。A と B は同じようなことを言っており、予想されるようにコサイン類似度は 0.9695 と高いです。 では、 A =「

[ustar]

子供に否定文でものを言うなという子育てしてる親の鉄則がありまして 「ぶつかったらダメぶつかったらダメ！」言うと言葉に引っ張られてぶつかる

[Quontan]

異議あり。Claudec 3.5 sonnet（有料版）で試した所、大阪と京都が出て、東京は一切出ず。コメントにあったリオも正しい？答えを出せた。一方無料モデルは東京が出ましたので、AIのモデルによって結論は変わるのかと

[bocuno]

本筋とは関係ないですが、東京は首都と認識されているが首都と定められている訳ではなかったはず。ネット上にそんな情報が溢れているのでAIがそう返答してもしょうがないと思う。もっと当たり前的な質問すべき。

[You-me]

人間も実は否定文の理解苦手だからね。例えば「ポイントカードお持ちですか」「ポイントカード持ってないですか」の答が同じになる人が結構いる（まぁこれは日本語がよくないという話にもなりますか）

[sugawara1991]

生身の人間でも否定形の文は理解度が下がるから指示で使うのを辞めろって言われるので。否定が何処に係るか文脈依存だから常識教えるか背景情報増やすため指示文モリモリ要るよね

[kahlua-dane]

なるほどねー、ベクトル相違で否定が難しいのか 勉強になった

[kazkaz03]

そりゃ(単語ベクトルの類似度を測る指標使ってるんだから)そうよという感想

[theatrical]

https://houseikyoku.sangiin.go.jp/column/column081.htm　法律上首都圏の定義はあるが、首都の定義はないらしい。ただ、内閣法制局長官が東京が首都と明言しているらしい

[rna]

ChatGPTで「力道山を殺さなかった人は誰ですか？」とかも微妙な回答になるね。

[UCs]

なるほど！ありがたい！英訳の時「直訳しないで」と言ってるのに毎回直訳っぽくなる。なんでかなぁと思ってたんだけど、そーゆーことか。

[enemyoffreedom]

2024年12月の記事。まぁ何なら人間も否定文が苦手だし。多分短期記憶の構造によるものかね（スタックや単方向リスト的な）

[roshi]

関西弁の「ちゃうちゃうちゃうんちゃう」みたいな話？（違う）

[localnavi]

AIに否定文を理解させるのは難しいが、人間の脳に理解させるのも難しいと聞く。

[Helfard]

そんなこと必ずしもそうとは言えなくもないような予感がそこはかとなく存在するようなしないような微妙な気配が希薄に感じられる可能性もゼロとは言い切れないというエビデンスが不足している懸念がなくもない。

[lenore]

脳は否定形を理解するために前頭前皮野という高度な脳領域を働かせているとか、否定形を理解する過程で一旦肯定文を処理する、みたいな話に似ていて面白い。

[hachi]

「"日本の首都は〇〇ではない。"の〇〇に、2024年現在に即した適切な都市名を入れた文をいくつか作ってください」と質問したら普通にちゃんと答えてくれた。

[udongerge]

AIで画像生成する際、5W1Hの単語部分しか解釈されなくて思ったのと逆の絵ができる奴とかよくある。AIじゃない自動翻訳でも相当そこを理解するのは難しいみたいだけど。

[clairvy]

否定文や条件文を理解できない人

[rt24]

4oに「「日本の首都は〇〇ではない」この文章が成り立つような〇〇に当てはまる単語の例を出力してください」と質問したら、めっちゃ丁寧に正解を回答してくれた。聞き方次第なのかな？

[heniha]

4oで3回やって　①京都②京都③東京　だった/とはいえ使うときに気を付けるようにしよう

[hiroomi]

やりながら確認したところ、対策はされてるな…。

[mujisoshina]

「もう恋なんてしないなんて言わないよ絶対」この人はこの後に恋をするでしょうか？

[Labe-hama]

そもそもコミュニケーションの原型としての直示に否定(not)がないのが根本にあるのかな。表しうるのはせいぜいがdon'tまで。

[alaska4]

まだヌサンタラに遷都してなかったんだっけ

[shidho]

日本の首都は法的には存在しないし、インドネシアは遷都の作業中だし、読む時期によって微妙な例で試してるなあ。/まあDeepLも二重否定の文章はけっこう翻訳に失敗するっけ。

[mix-in]

「日本の首都は東京ではない」が、他の都市を当てはめた文章より、よくある文章だからだよ。「正しい文章になるように当てはめろ」なら大阪とかになる。ありそうなのを選んだだけで正しい文章を作ろうとしてない。

[filinion]

単語をベクトルにしてるだけで、「否定文」という概念自体がないんだものな。「私はサーモンが好きです」「私はサーモンが好きでないです」「私はシャケが好きです」なら、前二者が「近い」判定になってしまう。

[wepon]

これに通ずるものを感じる。Wikipedia:鼻に豆を詰めないで https://ja.wikipedia.org/wiki/Wikipedia:%E9%BC%BB%E3%81%AB%E8%B1%86%E3%82%92%E8%A9%B0%E3%82%81%E3%81%AA%E3%81%84%E3%81%A7

[jintrick]

Copilot Webは全く間違えないが、根本的な違いがあるのだろうか

[natu3kan]

否定文の理解が苦手って、小さい子みたいだ。「～しないでね」っていうと「～」の方に意識が行って逆にやってしまうみたいな。

[kkobayashi]

notを入れるだけで真逆の意味になるってのがピンと来ないのかもね

[nekonyantaro]

否定疑問文だと更に難しそうだが、反語とか皮肉になると機械に理解できる様になるのはだいぶ先のような気がする。そう言ってるうちにどんどん進化するか？

[sub_low]

そんなところまで人間と一緒

[lyiase]

事実に基づいて答えるかどうかも指示してないから、「東京」でも正しいような。事実に基づいても東京は首都の定めは無いから「東京」は誤った答えじゃ無い。むしろこの人が思い込みで裏の条件を付けすぎでは？

[fashi]

いろんな弱点があるものだ

[bzb05445]

ケーキの切れない非行少年たち、みたいな半人前感ある

[call_me_nots]

アンケート分析とかのテキストマイニングでもCos類似度使ってたと思うんだけど、そこで否定文の分類はちゃんと機能してたんだろうか。このケースと同じならそこそこ盛大にミスってそうだけど。

[usagirabit]

なんの成果も得られませんでしたって肯定されることを「否定」って受け取るから、なんとか肯定的な意味に捏造して報告しようとするんだよね。