LLMをWebフレームワークにしたら、未来が見えた #2024

最近、LLMにWeb Backendを書かせて遊ぶ、Hanabiというサービスを作っています。その開発過程で、前に試したLLMをAPIとして振る舞わせるアプローチを再検討したので、記事としてまとめました。 一年ちょっと前、私はChatGPTをWebフレームワークにしようと試みました...が、残念ながら全く実用的ではありませんでした。しかし、あれから一年、LLMは目覚ましい進歩で進化を遂げました。価格は下がり、速度も上がり、記憶容量の増加やRAGの発展など、もはや別物レベルで進化しています。 いまならもうちょっと実用的なヤツが作れるんじゃねってことで、色々な手法を面白がった再検討したまとめです。 余談ですが、一年前はLLM=ChatGPTという状況でしたね...懐かしい。ちょうどvicuna13Bが出た頃ですかね? ↓去年の記事(できれば読んでほしい)↓ 出来たもの 全部プロンプトに入れちゃ

[facpatrysis]

LLMでできるようなものは粗製乱造され、それでは作れないようなものに価値が求められる未来が見える

[yamada_k]

2024最新、的な何か。

[mizchi]

Webフレームワークと言うか関数実行の中身をLLMにしました的な

[nekoruri]

おもしろい

[tmatsuu]

面白い発想。わいわい。「Claude3系のモデルは、Markdownではなく、XML的な構文で文章の構造化やアウトプットの構造を指示することが推奨」ほーセマンティック。