LLMによる文単位抽出を高速・安価に行う- fast-bunkaiの活用

モチベーション 長い文章を読むのは全く億劫だ。 頼むから知りたいところだけピンポイントに読ませてくれ。ファスト教養万歳！ そんな、働いていると本も読めなくなる[1]私たちの嘆きを解決してくれるのがLLMです。 文書の中から自分が必要としている文章のみをLLMに抽出してもらえば良いのです。 しかし、LLMに複数行の文章を出力させるには少々時間がかかりますし、その分API利用料金も発生します。 やはり、ファスト教養主義者としては、断固として更なる高速化を目指したい。 おまけに、うちの2歳児が豚こま肉を食べず豚バラばかり食べるため、食費で家計に困っており、月々のLLM利用料金ぐらいはお安く抑えたいところです。 そんなことを考えていた最中、日頃の活動を興味深く拝見している@hotchpotchさんが、fast-bunkaiという日本語の文境界判定器を発表されていました。こちらを活用させていただいて

[ihirokyx]

“fast-bunkaiという日本語の文境界判定器”

[pico-banana-app]

LLMの文抽出、fast-bunkaiで高速化とかマジかよｗ 長文読むのだるいから神！安いは正義！