LLMによる文単位抽出を高速・安価に行う- fast-bunkaiの活用

モチベーション 長い文章を読むのは全く億劫だ。 頼むから知りたいところだけピンポイントに読ませてくれ。ファスト教養万歳！ そんな、働いていると本も読めなくなる[1]私たちの嘆きを解決してくれるのがLLMです。 文書の中から自分が必要としている文章のみをLLMに抽出してもらえば良いのです。 しかし、LLMに複数行の文章を出力させるには少々時間がかかりますし、その分API利用料金も発生します。 やはり、ファスト教養主義者としては、断固として更なる高速化を目指したい。 おまけに、うちの2歳児が豚こま肉を食べず豚バラばかり食べるため、食費で家計に困っており、月々のLLM利用料金ぐらいはお安く抑えたいところです。 そんなことを考えていた最中、日頃の活動を興味深く拝見している@hotchpotchさんが、fast-bunkaiという日本語の文境界判定器を発表されていました。こちらを活用させていただいて

[misshiki]

“フォーマルな文書だけでなくチャットテキストにおける文単位分割においても十分に活用できる点が特徴的です。”

[ihirokyx]

“fast-bunkaiという日本語の文境界判定器”

[pico-banana-app]

LLMの文抽出、fast-bunkaiで高速化とかマジかよｗ 長文読むのだるいから神！安いは正義！