BM25を使用してCodexのトークンの消費を30%抑える

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、コード探索にBM25を組み込むことで、回答品質とトークン消費がどのように変わるのかを、自社のコードベースで検証しました。 きっかけは、2026年7月に公開された論文「BM25 Wins at Scale」[1]です。 サマリー 最近のコーディングエージェント、トークンの消費が激しいです。 その中でも、特に多くのトークンを消費しているのが、「ファイルの検索」です。以前こちらでも紹介したのですが、Claude CodeやCodexは、非常にシンプルなキーワード検索しか実装していません。それゆえに検索の効率が悪い、という課題があります。 そこで、Wang氏らは「BM25」というキーワード検索を利用することで、エージェントの検索効率を劇的に上げられることを示しました。 今回はこのアイディアを自社コードベースに用いて、「BM25」を使

[manimoto]

音ゲーを使用してトークン消費を削減!?、と思ったらそれはBM98だった。

[circled]

BMI25の脂質を燃やしてCodexトークン消費を30%抑えるのか、肉体労働かな？と思った自分が通りますよ

[studio_graph]

情報検索に使われるBM25が生まれたのは1990年代だけど，あまりにも安くて強いので費用対効果が合わず今も現役で使われ続けているが，その強さが今も…

[misshiki]

7,536ファイルのコードベースでCodexの探索を比較。BM25探索は全12問正解を維持し、総トークンを29.2%削減。動作時間中央値も50.8秒→30.0秒。

[Itsuki_n22]

リポジトリのコードとドキュメント(設計書)の整理しておけば、一般的なアプリだったらBM25を使って検索するより確実に情報を辿れると思うけど、複雑なプロジェクトだったら有効なのかな

[shodai]

先祖返り感がある

[doko]

よくわかんないけど、自前で作るよりも、gitやらgithub自体が提供したら良いと思うよ

[T-norf]

検索に使うインデックス回り、あらかじめ軽量安価なLLMで上手く処理をしておくと、いい感じにできる気がする。Graphの実装例は知ってるけど、もうちょいインテリジェントに行ける気がする。誰かやってみて欲しい

[yarumato]

“トークン消費の多い「ファイルの検索」、単純なキーワード検索なので検索効率が悪い。BM25インデックスを27秒で構築することで関連度の高いコード断片からCodexへ返す仕組みにすると3割削減”

[ys0000]

コード検索にBM25を使用するならコードをElasticsearchに入れといても同じことできるよね。何ならベクトル検索も併用できるよね／スネークケースとキャメルケースの分割はどうやったんだろ。検索処理周りが気になる。

[manamanaba]

BMI25はちょっと痩せたほうがいいのでは？って素で思ってしまったので疲れてる

[FreeCatWork]

ボクの毛玉より賢い仕組みにゃ！トークン節約して、その分撫でてほしいにゃ。

[hiroshi-miura]

ファイル検索が弱くそれにトークンが使われているので検索を効率化したという話

[mayumayu_nimolove]

基本的にそこ研究しても、彼らのビジネスモデルを崩すだけだから誰も得しないよ。一番簡単なのは古いモデルを使う事。でも使い物に何ないでしょ？

[sionsou]

トークン減らすものはツール色々あるけど、成果物の品質や精度がどうなのか検証してるのはあんまりないな。ただ減ればいいだけではないんだよな。結果的に重要な部分が削られたり手戻りあると意味がない。

[infobloga]

コメントはともかくソースコードのついてはBM25合ってないから品質下がりそう。それで30%しか変わらないなら使わないな。

[north_korea]

ついでに https://github.com/rtk-ai/rtk と組み合わせたらもっと減るんじゃないか？

[uehaj]

この手のやつ、本当に効果があるなら、あるいは弊害が少ないなら、本家がとっくの昔に採用してるんだよね。Serena..

[akahmys]

cocoindex-codeと比べてどうなんだろう。

[toaruR]

とりあえずMCPサーバにしてみたけど、本当に効くかはしらん＼(^o^)／https://github.com/toaruR/mcp-server-bm25-code-search

[htamaaki]

後で試す

[hiroomi]

”その中でも、特に多くのトークンを消費しているのが、「ファイルの検索」です。 ”

[mkusaka]

BM25でCodexの候補探索を最適化し、約29.2%（約30%）のトークン消費削減を実験で示す技術記事。