大規模言語モデル (LLM) の技術と最新動向

マルチメディア，分散，協調とモバイル（DICOMO2024）シンポジウムでの招待講演の資料です。 https://dicomo.org/

[myr]

ごまかす、は人間の主観的な見方では？ハルシネーションが起きる、が正確かと。でも人間で言うなら学習しなくなった爺さんが過去の考えをもとに動くのと同じやなとは思った。知識を更新し続けられるLLMは羨ましい。

[uehaj]

ファインチューニングで未知の知識を学習させようとしても、知らないことはハルシネーションでごまかすようになる。ファインチューニングは未知の知識を得るためではなく知識の使い方を教えるのに向いている

[acealpha]

本質的に人間だって間違うんだからその前提で動けばいいんだが生成AIに盲目的に正解を求める人間ども何とかならんのかな そういう意味では多数決的なマルチエージェントのほうが今後期待できるような。

[kwhrtsk]

実用上はRAGの存在感が上がっていくんじゃないかなぁ。埋め込みベクトルやセマンティックランカーのような全文検索と組み合わせるような方法だけでなく、GraphRAGとかHippoRAGのような方法も出てきててワクワクする。

[taiyow]

Transformerの全体像あたりから付いていけなくなったので講演を聞いてみたい。学会発表みたいなので動画はないか。

[gewaa]

人間もAIも同じって言う人よくいるけど、部分的に似ているだけで同じではないよね。

[sds-page]

人間とAIは全部同じとは言わんけど「もしもそれがアヒルのように歩き、アヒルのように鳴くのなら、それはアヒルに違いない」程度には似てるよ

[natu3kan]

バーチャルリアリティーも人工知能も10年おきくらいにハードの進化や技術革新が起きてブームになっては終わるを繰り返してるから。

[RySa]

人類が生み出したテキストデータの在庫は有限なのは当たり前でそこから知能を生み出すブレークスルーもまだまだ必要。それまでの停滞状態が長引くとAIバブル崩壊かな。

[nekomottin]

大規模言語モデルの研究は相当前からニュースを追ってたんだけど、まさかウワゴトと言い訳だらけの適当な人間モドキができあがるとは思わなかった　実用には耐えない割になろうとか小説系を剽窃しまくって最悪

[hirano1975]

学び

[misshiki]

全37ページのスライド資料。

[akyuna]

体の動きや感情と結びつかない知識は、いくら組み合わせたところで足し算にしかならないと思う

[puhu208n]

LLMは間違わないぞ。「言語としてどちらが自然か」のみで真偽を判断するだけ。だからミドルネームが「フセイン」のオバマ元大統領を「生まれつきイスラム教徒です」などと主張して断固譲らなかったりするだけ。

[skypenguins]

全体的にNLP寄りの話だった 画像言語モデルのCLIPの話とかあるんかなって思ったけど

[chintaro3]

教える人の指示に何の疑問も持たずに調教されるAIはちょっと怖い。性善説に依存しすぎ。AIハッカーとか簡単に作れる

[blueboy]

　パーセプトロン　の話が抜けている。　特徴抽出も。

[currypurin]

素晴らしいまとめ

[gabill]

シミュレーションによって無限にデータを増やせる自動運転のほうがテキスト生成より簡単なタスク…と将来は言われるようになったりして

[pecan_fudge]

人類が生成したテキストデータが枯渇に瀕しているとのこと。Web上には生成AIが生成したテキストデータも混在していると思うのでなくなることはないとは思うけれども、筋の良いデータといえるんだろうか

[ochikun]

最近進歩が早すぎて、最新動向が最新動向でなくなってたりするからなぁ。これは最新の最新動向か？

[maketexlsr]

これはなかなか良いな。周りに紹介するのに過不足ない感じ

[doko]

やっぱりちゃんとした人の作る資料はすげえなぁ

[irh_nishi]

確かに訓練データはもう大して増えないだろうなぁ。そしてこれ以上の性能向上は利用シーンに対するインパクトが小さいと思う。

[gnety]

ファインチューニングでは未知の知識の学習はできず、過学習が発生してハルシネーションを助長するという結果が示されている

[kotesaki]

メモ

[zgmf-x20a]

ブコメの「知らない事はハルシネーシヨンで誤魔化す」は正しくないだろうな。直接聞いた訳ではないけど、NIIの黒橋所長もなんで生成AIがうまく行くのか分からないという方かな？尤も生命昨日だってよく分からない。