タグ

ブックマーク / isobe324649.hatenablog.com (3)

  • 数式を使わないTransformerの解説(前編) - conceptualization

    2023/3/23 追記: こちら半年以上前に執筆したもので、その後私の理解も進んで内容的に更新したいところが結構あるため、近日中に非公開とさせていただき,更新後に再公開させていただくつもりです。現時点での記事の内容は、大きく間違ってはいないけどちらほら微妙なところがあるという感じです。 (ざっくり理解するだけでも良いという人にはそれでも良いかもしれませんが、そういう方向けには 今執筆中のこちらの記事 をおすすめします。) −−−− 最近話題のmidjourneyやDALL-E、凄いですよね。中身はディープラーニング(DNN)のようです。DNNといっても色んな技術がありますが、それらにはTransformerという手法が使われています。記事は、その手法がどんなものであるかを数式を使わずに説明してみよう、という主旨になります。 ※なお記事は機械学習のプロの研究者ではない私の独自の解釈が

    数式を使わないTransformerの解説(前編) - conceptualization
  • GPTの仕組みと限界についての考察(2.1) - conceptualization

    全3回のシリーズパート2の記事では、GPTの能力と可能性をAttention/Transformerの仕組みをふまえて考察します。 というつもりでしたが、凄く長くなってしまったのでパート2は以下の3回に分けようと思います。 (2.1)各技術の定性的な説明(記事) (2.2)Transformerのアルゴリズム詳細 (2.3)GPTの能力と可能性について 2.1 各技術の定性的な説明 自然言語の構造を考えてみる まず我々が使う言語についてちょっと振り返るところから話を始めましょう。 文や文章は、おおもとのデータである文字から始まって、単語、文節、句、節、文、文章、さらにその上の意味、という風に階層的な構造を持っていると我々は概念的に認識してますよね。 構文の階層 そして、各階層や階層間には、文法や語法といった言葉のルールがあります。 深層学習はその名の通り、層を深くしたニューラルネットワ

    GPTの仕組みと限界についての考察(2.1) - conceptualization
  • GPTの仕組みと限界についての考察(1) - conceptualization

    GPT4が登場してChatGPTが盛り上がってますね。 記事は、GPT(を支えるTransformerという仕組み)をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 (1)大まかな背景と概要:記事 (2)GPTの能力と可能性:実際の使用例とTransformerの仕組みを踏まえて説明 (3)GPTの限界と未来展望:Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い: トークン長とは何か? まずここから話を始めます。GPT-3は、パラメータ数が750億個(850GBの容量をう)でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク

    GPTの仕組みと限界についての考察(1) - conceptualization
  • 1