225行のコードでGPTの仕組みを理解する
概要 LLMに関心があり、ChatGPTやtransformerの仕組みを理解したいと思っていたところ、雰囲気を掴むのにこちらの動画がとても参考になりました。 動画の内容としては、以下のコーパスを学習して、直前の数文字から次の1文字（単語ではないことに注意）予測機を作成するというものです。 この動画で完成するコードは以下で、225行しかなくとても読みやすいです。 また短いですがtransformerのエッセンスが詰まっていて勉強になりそうです。 このコードを読み解くことでGPTやtransformerがどのように動いているのか、ざっくり理解してみようと思います。 ちなみに完成するとこんな感じの文字列が生成されます。ぱっと見文章っぽいですね。 first Scitizen: He's enough; but he cannot give his friends. MARCIUS: Do yo
営業の崩壊と再生～営業の問題を解決する14の処方箋 | knowledge / baigie
SNSだけを見ていると、私たちの会社はいつも平穏でマイペースに仕事をしてるように見えるかもしれない。しかし、所詮は私たちも普通の会社。世の多くの会社が経験する浮き沈みや苦労と無縁ではない。 昨年は創業以来初ともいえる「営業危機」を経験した。幸いにして半年で問題の大半は解消し、数多くの学びを得た。 その一部始終を言語化することで、経験を再利用可能なノウハウとして定着させたい。同時に記事として公開することで、同じ課題で悩む企業や組織の手助けになればと思う。 自負と怠慢 ウェブ制作会社でありながら、マーケティング系のイベントに多数登壇し、マーケティング系のメディアから多数取材が来る。そんなウェブ制作会社は私たちだけだと思っている。マーケティングに強いと市場に認められ、実際にそうだという自負があった。 制作者が社員の大多数を占めるウェブ制作会社にとって、制作をしているだけで自然と仕事が舞い込んでく
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
