言語モデルの起源、シャノン論文を読んでみる - エムスリーテックブログ

記事とは無関係な眠るパンダの様子 AI・機械学習チームの髙橋です。このブログはAI・機械学習チームブログリレー6日目の記事です。 ここ半年ほどでCopilot→Cline→Claude CodeとAIコーディングツールを乗り換えています。Claude Codeは工夫せずとも高い実装力を発揮してくれますが、特にCustom Slash Commandが非常に便利で、どこまでコーディングを自動化できるのか試行錯誤しています。 さて、Claude Codeの根幹には大規模言語モデル(LLM)があり、その基礎となる事前学習のアイデアは、それまでの文脈に基づいて次の文字（トークン）が何であるかモデルに推測させることです。この推測を通じてモデルは言語の文法的な構造や知識を獲得し、更にRLHF等を通じた学習をすることで、人が求める応答が生成できるようになります。 実はこうした、次の文字を予測する枠組みが

[hryord]

眠るパンダが可愛くて記事の内容が頭に入ってこない

[ardarim]

シャノンと言えばコンピューターサイエンス履修者なら誰でも知ってるはずの情報理論の偉い人だけど、こんなところでAIと繋がりがあるとは知らなかった

[Sampo]

姓も名も有名な情報科学者といえばハスケル・カリー先生だったけどクロード・シャノン先生もそれに加わったと

[njamota]

N-1文字の文字列を与えてN文字目を推定する試行で、Nが無限大の時に正解まで何回要するか（あり得るケースの分布）をその言語のエントロピーとする、みたいな言語の情報量を評価する試みに関するシャノンの論文の話。

[georgew]

Claude Codeと同じ名前なのは偶然ではなく、サービス名はShannonの名前から取られています > あーそうだったのか。

[ET777]

“自然言語には冗長性があり、特に長い文脈が与えられれば与えられるほど冗長性が低減していく”

[hate_flag]

「なぜデータ圧縮には限界があるか」を習ったときに出てきたわシャノン。こんな偉大な人だったのか

[tendanku]

言語モデルがここまで実用されるのに70年以上かかったのに、AIがそんなにすぐ仕事を奪えるようになるとは思えないんだよな。コンセプトが実用になるまでどれだけかかるんだって話

[urouro_again]

多様度指数のシャノンさんなので、当然、生態学者だと思ってたら情報学の友だちに「え、情報学者だよ」と言われてびっくりした思い出。なつかし。

[misshiki]

“情報理論の父と呼ばれるClaude Shannonが1951年に発表した論文『Prediction and Entropy of Printed English』で初めて言語モデル(相当)が登場。この論文で提案された言語モデルのアイデアと、Shannonが行った実験について紹介します。”

[daysleeeper]

トランスフォーマーとはLLMの仕組み全体の名前で、その中でセルフアテンションが各単語の関連度を、マルチヘッドセルフアテンションが各単語の関連度を多視点で検討して、その2つのアテンションが並行して働く。

[stealthinu]

N-gramってShannonのエントロピーの研究から来てたのか…　知らんかった。そしてClaudeさんはもちろんクロード・チアリではなく、Claude Shannonから来てたのね。こちらも全く知らんかった。

[sayuremix]

シャノンといえば標本化定理などの実績もあり有名だと思うけどシャノン以前に日本の染谷氏とロシアのKotel'nikov氏も発見している。ちなみに第1回京都賞はシャノンが受賞していて選出したのは甘利俊一氏なのでお忘れなく

[amematarou]

クロウドは天才シャノンから命名してたのか。