ローカルLLM編成が単独のフロンティアAIを超えた日

OpenAI や Anthropic のフロンティアモデルの性能はとてもよいのですが、経済性がよくありません。 日次や週次のレート制限がどれだけあなたを苛立たせたでしょう。 また、毎日の仕事道具の生殺与奪を誰かの方針に握られているのも気に入りません。 この不快感を強く感じたシーンは何度もありました。 OpenAI が誤って私を BAN した日（みんな大騒ぎしてましたね）。 Anthropic が SDK 利用をサブスクリプションから排除すると発表した日（現在ではうやむやになりました）。 RateLimit で何もできなくなった日。 とおもったら Rate Reset の嵐で使い切らないといけない焦燥感に睡眠時間が削られるようになった日々。 なにか大きな発表や変更があるたびに私の心は不安な方向に揺さぶられていました。 しかしながら、この便利すぎるツールを放棄する手はありません。 私が使わなく

[yarumato]

“指摘と判断の2つを仕組みと判断役に移譲できているかぎり、実装役は水準さえ満たせば安価なモデルで大丈夫です。高価なモデルにはトークンが流れず、トークンが流れる先は安価なモデルである。”

[urtz]

ルーティングを強いAIに、実装はそこそこのAI、というよく言われる構成

[akghuaiooajt]

驚き構文

[jintrick]

Terraによると"「手元の機材だけで、同等品質を狙う」なら、記事の見立ては DGX Spark 2台連結級。本体価格を1台約4,000ドルとみると、GPU機材だけで 約8,000ドル（約120万円前後）＋電気代・周辺機材が目安です。"

[nguyen-oi]

実装とレビューを安価なモデルで回して判断だけ強いモデルに投げる設計は合理的だな。API課金の壁を突破する発想がいい