ブックマーク / note.com/erukiti (1)

  • LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由|erukiti

    もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし

    LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由|erukiti
    dec123456789
    dec123456789 2024/04/25
    claude haikuやgpt-3.5が高いと言ってるけど、コスト計算するとMac studioを24時間フル稼働させるよりも普通に安いんだが。実際には稼働しない時間もあるからもっと安くなるだろうし。
  • 1