はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? OpenAI DevDay 2024でいくつかの新しい機能が実装されています。 新機能のひとつに、プロンプト自動作成というものがあります。 目的を入力しただけで、自動的にシステムプロンプトを作成してくれるというものです。 他の新機能に比べると、やや地味目ですが、どんな感じのプロンプトを作成してくれるのか気になったので試してみました。 TL;DR 曖昧な一文からでも、マークダウン形式に沿ったプロンプトを書いてくれるので、たたき台としてよさそう。 プロンプト自体がマークダウン形式なせいか、Output形式がマークダウンに引きずられることがあ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 大規模言語モデルを、ローカルマシン上で簡単に使えるLM studioを試してみました。 ほんと、ガチで普通のノートPC。OA用というか、庶民用というか。 TL;DR LM studio、簡単、使いやすい、でも商業不可。 ふつうのノートPCでも動くが、量子化モデルなので精度はいまいち。 Gemini 2B(量子化）とSwallow 7B(量子化）を試した。 環境 専門のGPUなど載っていない、なんの変哲もない普通のノートPCです。Dynabook。 CPU:Intel(R) Core(TM) i7-10510U CPU @ 1.80GHz

Langchainにはchat履歴保存のためのMemory機能があります。 Langchain公式ページのMemoryのHow to guideにのっていることをやっただけですが、数が多くて忘れそうだったので、自分の備忘録として整理しました。 TL;DR 手軽に記憶を維持するチャットボットなどを作るときは、自分で実装するより、LangchainのMemory機能を使うのが楽そう。 Memory機能、八種類もあるけど、まとめると以下。 まず試すのによさそうなのが、ConversationBufferWindowMemory ConversationSummaryBufferMemoryは、ConversationBufferWindowMemoryの上位互換なので、これもよさそうだが、要約部分が長くなりすぎないか心配 VectorStore-Backed Memoryは、非常に良さげですが、