Jev, Gemini, DistilBERT, LightGBMの分類性能を比較してみた

なぜ比較しようと思ったか？ Jevについて、定性的な"評判"では掴めないような地に足の着いた定量的な"評価"を知りたかったからです。もちろん、定性的な情報自体は、定量化やもっと言えば言語化すらできない肌感を伝えられるという側面において、価値がある情報だとは思いますが、JevをはじめとしたAI関連の情報は比率として定性的な情報が多すぎる傾向があるため、相対的に定量化された情報が有益となると思っています。そこで今回は、Jev vs. Gemini, DistilBERT, LightGBM の「分類性能」という完全にオリジナルの評価実験を手元で行いましたので、その結果から言えるJevの定量的な"評価"について述べていこうと思います。 結論 まず、今回実験をして得られた結論は以下のようになります。 学習データがない（または極めて少ない）環境であるか、あるいはラベルが頻繁に追加されるような環境であ

[nguyen-oi]

結局なんだかんだで古典的なLightGBMのコスパと爆速っぷりが際立ってて好き

[kei_1010]

「今後黒字化のためにコストが上がる可能性がある」将来的には、今のJevに匹敵する性能のローカル版が出ると思う。ただ、すで沢山出てるクローンは、まだまだ本家の代替にはならない。

[uehaj]

どのツールを使うのかをJevは選べないの。なぜなら、その選択は、固定の選択肢ではなくて、パラメータを決めることも含むから。