ブックマーク / coliss.com (1)

  • ChatGPTの仕組み、どのように機能しているか深く掘り下げて解説

    ChatGPTをすでに使用している人は多いと思います。また、使用していなくても興味があり、これから使用してみようという人もいるでしょう。 ChatGPTはその仕組みが分からなくても使用できますが、どのように機能しているのか分かると今よりさらに使いこなせるようになるかもしれません。 How ChatGPT works: a deep dive by Dan Holick 下記は各ポイントを意訳したものです。 ※当ブログでの翻訳記事は、元サイト様にライセンスを得て翻訳しています。 ChatGPTがどのように機能しているか 終わりに ChatGPTがどのように機能しているか ChatGPTなどの大規模言語モデル(Large Language Model、以下LLM)は、どのように機能していると思いますか? それらは驚くほどシンプルであると同時に非常に複雑なものです。 心の準備はいいですか? では

    ChatGPTの仕組み、どのように機能しているか深く掘り下げて解説
    dette
    dette 2023/04/26
    embedding や attention が所与のものではなく, これらが単なる文章を正解ラベルとした確率的勾配法によって自動的に獲得できるというのがすごいよなあ。
  • 1