言語モデルの物理学 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ

言語モデルの物理学 (Physics of Language Models) とは、FAIR (Meta) の Zeyuan Allen-Zhu が提唱した、言語モデルの研究を進めるためのコンセプトです。ざっくり言うと、「あのモデルはこう」とか「そのモデルはこのモデルよりもこう」というような博物学的な知識を深めるのではなく、17世紀にケプラーやニュートンが物理学において行ったような原理に基づいた研究を進め、「言語モデルはなぜこのような振る舞いをするのか」という問いに答えられるようになるべきという考え方です。 言語モデルの物理学の特徴は大きく2つあります。 第一は、ウェブから収集したコーパスを使わず、きっちりコントロールされたデータセットを使って言語モデルを訓練するということ。ウェブは誰も全体像を理解できないほど複雑で、ノイズにまみれています。本物の物理学でも空気抵抗や摩擦があると、「鉄球は

[fluoride]

「単語の予測が知能にはならんやろ」と思ってたけど、「スイッチ集めてもYoutubeにはならんやろ」という素朴な直感も間違いだもんなあ

[twainy]

人間味がありすぎる＞言語モデルは頭の中で「あ、いま自分、間違えてるな〜」と後悔している（しかしもう止められないのでそのまま喋り続けている）ということが分かりました。

[mrkn]

すごいなこれ / @takayamaki 温度は出力を決める softmax 関数の温度パラメータで、温度が高いほど単語の選択確率分布がなだらかになって出力される文が多様になります。

[Cru]

DNN以前、機械学習研究者は自分が何を設計しているか理解していた。動かしてみないと性能までは分からなかったが。GPT2→3あたりから研究者はなんで上手くいってるのか分らなくなってきてる。このアプローチは貴重な…

[rryu]

AIは否定文に弱いの時も思ったが、文章の語順とは逆の推論はできないとか、そういう明らかにモデルの限界的な挙動があるのがおもしろい。

[akymrk]

“物理法則のような普遍的な法則を言語モデルにおいて見つけるための研究」というくらいの意味”

[YasuyukiMiura]

学習に与えるデータを完璧に制御することでモデルを分析する試みの紹介。次のが興味深い。「実は言語モデルは頭の中で「あ、いま自分、間違えてるな〜」と後悔しているということが分かりました。」

[tokuniimihanai]

知識の操作や逆検索ができない、パターンだけで動いている代物を知能と呼ぶのはやはり抵抗がある。

[muchonov]

LLMはもはやブラックボックスではない、というか、そうならないような環境構築ができる、ということかな

[totttte]

言語モデル自体が中身覗くとDPやってる。Webコーパスじゃなくて訓練データはコントロールできるよう作成する。訓練データより複雑な問題もテストで解ける。言語モデルは間違いを出力したあと、頭の中で後悔している

[fraction]

この、間違ってると思っても邁進するのどうにかできないか？geminiは初めまともなこと言っておいて、途中から怪しくなってこっちが突っ込んだらS^1上のホモトピーで回転数が不連続に変化することはありますと宣った

[Windymelt]

面白い

[tuun]

価値が高い。主なポイントを覚えるために3回精読する値打ちがある。LLMの性質とWEBテキストの揺れが噛み合って、よく原理が分からないままに性能が出てしまっているところを分解して解釈する試みと理解した。

[misshiki]

“は言語モデルは頭の中で「あ、いま自分、間違えてるな〜」と後悔している（しかしもう止められないのでそのまま喋り続けている）ということが分かりました。”

[yosuke_furukawa]

めちゃくちゃ面白かった。

[bronbron]

訂正を学習で修正できるのすごい発見だなあ。逆検索は仕組み上出来ないとなると逆順で学習とか何かしら新しい方法が必要なんだな。

[yhara]

面白かった。LLM、「なんかわからんけど動く」だと上にいろんなものを乗せるのにどうにも頼りないので、秘密が明らかになるといいね。あと、その過程で脳の学習についても理解が高まりそうな雰囲気だなあ

[tikisn]

言語モデルのふるまいの原理を研究しようというコンセプト。自分は関連知識がほとんどないので多分正しく理解できてはいないのだが、面白く読めた

[stealthinu]

すごく面白い論文内容だった！8bit量子化までなら劣化しなさそうとか自分程度でも役に立ちそうな情報もある。そして「深層ニューラルネットワークの高速化」書かれた方のポストだった。

[abrahamcow]

Language Model

[yarumato]

“ChatGPTは「計算する」と言った時点で後悔しているが、宣言してしまった手前、引き返せずにそのままデタラメな計算を出力します。後から「それ、まちがい。修正して」と言っても修正してくれるが、”

[zkzi3254]

面白い 後でちゃんと読む

[ponkiti_toya]

面白すぎるー！

[rdlf]

軽くしかみていないけど、多分ここを抑えて使うかどうか重要なんだろうと思う…

[auient]

"わざと間違えて訂正したデータで訓練すると、ミスを自己修正できるようになり、難しいテストデータに対する正答率が大幅に上昇"

[yojik]

面白い

[myr]

面白いんだけど、なぜ我々はプログラム書くだけなのにここまで数学的な話を知らねばならなくなったんだろう。。

[rissack]

発想がクリアでおもしろいなぁ。中身は難しすぎるが…

[uehaj]

“実は言語モデルは頭の中で「あ、いま自分、間違えてるな〜」と後悔している（しかしもう止められないのでそのまま喋り続けている）

[FreeCatWork]

むずかしいお勉強…ボクにはわからにゃい！ でも、タイトルのｼﾞｮｲｼﾞｮｲｼﾞｮｲは好きにゃ！

[takayamaki]

温度という語が何の説明もなく突然使われているけれど何だろう、文脈から察するに言語モデルの内部状態が入力から影響を受ける度合いを示す何かなんだろうか