RTX3070でフルスクラッチなLLMとAIエージェントを作り始めた - 四谷ラボ公式ブログ

はじめに こんにちは、lkjsxcです。 しばらく前の話になりますが、私は中学2年生の頃にGPT-3の存在を知り、とても大きな衝撃を受けました。 当時の私は、Scratch上で動作するプログラミング言語を趣味で作っていました。しかし、GPT-3を知ってから、関心の中心が一気にAIへ移りました。 もともと何かを自作することが好きだったので、自然とAIも自分で作ってみたいと思うようになりました。 しかし、現実はそう簡単ではありません。こだわりの強さ、集中力の波、資金不足、計算資源の不足、そして単純な実装力不足もあり、長い間、自分の手でそれらしいものを作るところまでは到達できませんでした。 大学2年になったこの春、（ChatGPTなどAIサービスへの課金が功を奏し、）ようやく自分の手元で、フルスクラッチのLLMとAIエージェントの形を作ることができました。 学習に使ったのは、自室の机の上にある、