LLMをガッツリ使いこなしている人だけが知っていること

GPT-4oの入力コンテキストは殆ど嘘だということ。 例えば、DRMをクラックした本とかを読ませて「なんて書いてある？」みたいなことを聞いてみると分かるのだが、後半については殆ど無視される。128Kトークンという巨大な入力コンテキストウィンドウを持っていることになっているが、これは殆ど嘘、ごまかしであり、出力を高速化するために「渡されたものの前のほうだけ読んで適当に回答する」ということをやってくる。でもこれについて問題視している人をほとんど見たことがないので、とっくにみんな生成AIには飽きていて使ってないんだと思う。 現実的な対策としては、RAGをがんばるか、あるいはテキストを分割して適切なサイズにしてから渡していって最後にその結果を統合するか。それか「OpenAIさんはそのレベルで信用できないことをやってくる」ということを前提にそもそも使わないか。

[tu_no_tu]

LLMを使いこなしている人は、長文理解では、geminiやclaudeの方が明確に優れている事を知っている。 長文の処理にChatGPTを使わない。

[mujisoshina]

ブクマカの中にもタイトルしか読まずにコメントを付けるAIが混ざっているのかもしれない。

[debabocho]

テキストの重み付けにクセがあるというか、先に重要なこと書くと教育されてる英語圏の人間との対話が多いので、結果的に長文読ませても終盤のテキストはフレーバー程度にしか加味しないみたいな挙動になってる？

[dekaino]

意識高い系の研究者が読む文献ってだいたい最初の方に結論とか要約があるんですよ。最後まで読まないと内容がわからないって娯楽小説の類ですか? だったらネタバレよくないなあってAIも気を利かせてるんですよ。

[tet00]

GoogleのNotebookLMは長文もしっかり読むし書いてないことは書いてないと答えるので重宝している。／id:cinq_na 「128k」はトークン数です。GPT-4oだと日本語1文字はおよそ0.8トークンなので、文庫本1冊くらいは読める計算。

[takamocchi]

チャットAIを学者や識者として使おうとしちゃダメ。「これやっといて」って部下や後輩に渡せるレベルの仕事をさせて、自分の作業効率底上げする事に使っている人が「ガッツリ使いこなしている人」。

[firststar_hateno]

GPT-4oも読書感想文は苦手なのですわね。

[yas-mal]

こういうの、再現手順を書いて欲しいかな。「青空文庫の何々をどういう形式でアップロードして、何々について聞いたら…」ぐらいの。

[colonoe]

id:firststar_hatenoのコメント、たまに冒頭だけしか読めてないブコメあるよね。　最近だとこれとか→　https://b.hatena.ne.jp/entry/4758921008751172800/comment/firststar_hateno

[verda]

最初の方に結論書かれているようなドキュメントなら要約せずそれ読めばええしな

[pecan_fudge]

アテンションの問題か？

[repon]

はてのさん、キレッキレだなw

[InvisibleStar]

意識高い系向け文献を読み込ませて要約させたことあるが、序論で書かれてる研究の背景が9割な要約になってこの研究の肝はそこじゃねえ！ってなった。勝手にネタバレ回避とか本当にしてたら余計な機能に他ならないし

[yoshi-na]

いや普通によく見る指摘だが？なんならGPT4o出てすぐくらいに比較されてただろ

[nnnmmmlll]

ネタバレに配慮してるのか

[Youmanson]

通しの構造を俯瞰で見通して回答をくれているのを理想として使用していても、後半の処理が適当になるのは自分だけじゃなかったのか。現状のものだとしても困った仕様だなぁ。

[doko]

それについては、MSのガモウさんが解説してるとおりだよね。プロンプトでうまいこと段階的・分割的にあれしたら多少変わるんでない。LLMで問われるのは常に人間の方だよ

[fujisong]

論文を要約させたら前半のみの要約だったので、これで終わり？って聞いたら、もちろん続きがあります。って、続きを要約し始めた。こいつすっとぼけやがってー、と微笑ましかったな

[peketamin]

保持しておいてくれないよね。長いテキストから誤字脱字を探してもらおうとしたらだいぶ前の方だけしかやってくれなかった。

[nobori_lupin]

文章内の検索はしてくれても、物語を理解して続きを書かせるのは無理という認識。

[queeuq]

人間に対して同じことをしても、ほとんど前半の内容になる気がするが？

[ryoma_robo]

“LLM Needle in a hay stack” で検索するとそういうテストしてる人がいるよ。あなたの観測範囲にいないだけ。

[paradoxparanoic]

LLMの性能って測りようがないもんな。中身抜かれてっても気づかないかも

[ya--mada]

マジで省エネしててムカつくんだChatGPT-4o。しつこく何度もインタラクション繰り返してやり直しを繰り返しても最初のテキトーな回答に戻る。

[Hidemonster]

とにかく出力を適正に評価できるかどうかが重要であり、評価するにはそれなりの知識と経験含めた能力が必要

[number917]

人間のアウトプットから学習してるから、行動原理がとことん人間と同じだもんな。前半部分カバーできてれば一応分かってる風の文章になるw

[sek_165]

長いコンテキストから必要な情報を取得するタスクをNeedle in a Haystack（干し草の中の針）というよ。難しいタスクだよ。

[stabucky]

たしかに、GPT4oならば「坊っちゃん」が丸ごと読める、というところまでは知っているが、実際読ませてないなあ。

[R1na]

時代はとっくにクロード。そんなことも知らないの？？？？

[tenjinjin]

えれれむって言われても分かるとかじゃないのか

[otihateten3510]

俺らみたいだな

[akakikureha]

確かに体感だけどRAGでもコンテキスト1万文字超えると精度悪くなる気がするわ

[sase]

ブコメ参考

[tettekete37564]

そういう使い方してないんで、、としか。

[zZwIwl]

色々な意味で人間らしい気もする。たまに間違ったり嘘ついたり最初しか読まなかったり。なので今のところ、優秀だけどたまにうっかりする部下や先生といった印象。

[knok]

今のChatGPTはさておき、そういう「長文に書いてある途中を読み飛ばさないか」を評価するベンチマークはあるし、研究対象だよ

[businessart]

LLMをガッツリ使いこなしてる人間はそんなことはあらかじめわかってる。3000トークンくらいに切るか、長文ならragを使わなきゃいけないことも知ってるんだよ。

[kazuph1986]

多分人間が作成した学習データもそうだから。最初だけ読んで批判することって人間だととっても多いものね。

[swiped]

claudeすごいよぉ…

[pankochang]

ブクマカは最後まで読んだ上で斜め上の変なブコメしだすやん