GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク

大規模言語モデル（LLM）の「GPT-4」を手掛けた米OpenAIとペンシルベニア大学の研究者らは3月17日、「GPTはGPT：LLMの労働市場への影響の可能性に関する初期の考察」と題した論文を公開した。「GPT（Generative Pre-trained Transformer）モデルと関連技術が米国の労働市場に与える潜在的な影響を調査」したとしている。 調査の結果、米国の労働力の約80％が、GPTの導入によって少なくとも仕事の10％に影響を受ける可能性があり、約19％の労働者は仕事の50％に影響を受ける可能性があることが示されたという。 ほぼすべての職種に影響するが、特に現在高収入な職種のリスクが高いとしている。 調査は、学習達成度を表を用いて測定するルーブリック評価によって、職業別の人間の専門知識とGPT-4を使った場合を比較した。 方法は、1016の職業について、職業ごとに測定す

鳩山由紀夫元首相は２１日、自身のツイッターで、岸田文雄首相のウクライナ電撃訪問について「Ｇ７（先進７カ国）で自分だけ行ってないかららしいが、自分も欲しいという子供じゃあるまいし」と書き込んだ。「単にウクライナを支援しますではなく、戦争終結の和平提案を出すべき時だ」とも強調した。

【ソウル=甲原潤之介】韓国の尹錫悦（ユン・ソンニョル）大統領は21日の閣議で、元徴用工問題などの歴史問題に対する自らの立場を表明した。「日本はすでに数十回にわたり、私たちに歴史問題について反省と謝罪を表明している」と述べ、反日を政治利用しないよう呼びかけた。16日の日韓首脳会談で日本から謝罪表明がなかったと国内で反発がある点を意識し「韓国社会には排他的民族主義と反日を叫びながら政治的利益を取ろ