Zennへのスパム投稿が急増したのでLLMでなんとかした話

はじめに Zennチームの吉川（dyoshikawa）です。 2024年6月頃より、Zennにいわゆるスパム投稿が急増したため、LLM（生成AI）を活用してのスパム投稿自動検出の仕組みを構築しました。 目的の性質上、あまり詳細については開示できないのですが、技術的な知見の共有のため、そして可能な限りコミュニティへ運営チームの取り組みをオープンにしたいという思いがあり本件の概要を紹介したいと思います。 課題 2024年6月頃より、Zennにスパム投稿が急増しました。それに伴いユーザの違反報告が増加したことで我々Zennの運営メンバーも事態を認識することになりました。 スパム投稿が読者の目に触れることが定常化することは避けたいですし、その都度違反報告をしてくださるユーザの負担も大きなものだろうという思いがあり、対策を進めることになりました。 解決策 この状況に対して、ある程度自動でスパム投稿を

[fog-og-frog2]

ROC曲線がキャッキャウフフしながら追いかけっこしてる謎悪夢を見たのでタイムリーだった。

[tmatsuu]

機械学習ではなくLLMなんだ、と思った。「1日あたり数十〜80件ほどのペースでスパムコンテンツを検出」そんなに。

[mohri]

「1日あたり数十〜80件ほどのペースでスパムコンテンツを検出」ってけっこう少ないなってきがするんだけど、それから目視するんだとしたらすっごい多いな

[pataru]

手動対応のひとつ手前でLLM判定を使う

[onk]

機械学習の民主化よりも LLM の活用の方がハードル低そうに見えるのだなぁ。実際 HTTP リクエストするだけでソコソコの精度出るしな。

[ya--mada]

"Zennは主にGoogle Cloud上に構築されているため、Vertex AIプラットフォームを使うことにしました。"

[omega314]

スパムにはスパムをぶつけるんだよ。

[shodai]

“各種リソース構築を単一のクラウドサービスに寄せられるなら寄せた方がIaCやIAM権限の管理が楽になりやすいと考えています。”

[masamirock]

TnS事例

[harumomo2006]

そっちか

[iwtn]

良い使い方に思える。

[tech_no_ta]

イーロン、見習えよ。って話にどうしてもなる

[tofu-kun]

いいね

[rgfx]

「現在は1日あたり数十〜80件ほどのペースでスパムコンテンツを検出しています。」

[kazoo_oo]

さらっとやってて凄い。