GPTの仕組みと限界についての考察（１） - conceptualization
GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク
◆ ＡＩが考えるには？ .1: Open ブログ
パーセプトロンという概念が現れたのは、1958年だった。 心理学者・計算機科学者のフランク・ローゼンブラットが1957年に考案し、1958年に論文を発表した。 パーセプトロンは1943年に発表された形式ニューロンに基づく。 ローゼンブラットはこの形式ニューロンの考え方を基にしてパーセプトロンを開発した。S層（感覚層、入力層）、A層（連合層、中間層）、R層（反応層、出力層）の3つの部分からなる。S層とA層の間はランダムに接続されている。S層には外部から信号が与えられる。A層はS層からの情報を元に反応する。R層はA層の答えに重みづけをして、多数決を行い、答えを出す。 （ → パーセプトロン - Wikipedia ） このあと、「小脳はパーセプトロンである」という仮説に基づいて、伊藤正男が生理学的に大きな成果を出した。 1970年頃、デビッド・マーとジェームズ・アルブスによって小脳はパーセプト
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
