Vue.js+textlint+機械学習でRPGツクールMZ用文章校正プラグインを開発して得られた知見

成果物 これを作るときにいろいろ問題にぶつかったので得られた知見をまとめます。 開発期間は3か月です。 目標 RPGツクールMZで動作する実用レベルの文章校正プラグイン 実現できた機能 それなりに誤りを検出できる ゲーム内のどのデータを校正するか選べる 校正の進捗がわかる 校正中はいつでも実行を停止できる プラグインだけで簡易的にチェックするかサーバーを使って精密にチェックするか選べる 配布するファイルは1ファイルだけで他のプラグインと同じように使用できる 画面 構成図 主な使用技術と選定理由 Vue.js 慣れている。使いやすいようにいくらかリッチなUIにしたかったため。 textlint ルールベースの文章校正ができるOSS。必須。 T5 sonoisa/t5-base-japanese ルールベースのアルゴリズムでは検出に限界があり、漢字の誤字や送り仮名の誤りなどのカバーが困難なので

[yarumato]

“ルールベースのtextlintでは文章校正に限界があり、漢字の誤字や送り仮名の誤りのカバーが困難なのでやむを得ず機械学習も利用。BERTよりわかりやすいT5を採用。文章校正用にチューニング。MZのプラグインをVueで作る”

[knok]

T5ベースの誤り訂正モデルなら公開されてるものがあるけど https://huggingface.co/kz/mt5base-finetuned-ECC-japanese-small これとの差がどの程度か気になる。コーパスは同じっぽいけど

[efcl]

textlintのチェックと機械学習のT5モデルベースの校正について