MySQL 5.7のngramパーサーはアルファベットを含む文章を上手くトークナイズできない

MySQL Bugs: #82330: Don't recursively-evaluate stopword after tokenize ngramパーサー を使ってアルファベット混じりの日本語全文検索をしようとすると悲劇が起こる。デフォルトのストップワード一覧は このへん 。 MySQL 5.7.13で全文検索INDEXを使ってるんですけど半角英字でヒットする奴とヒットしないやつが居るんですけどこれって何ででしょう… ちなみに NGRAMを2文字 です。 例えばbabyって単語が含まれてる文章でbabyって単語がヒットしません。 stop wordsには含まれてないんですがなんでだろうと… http://mysql-casual.slackarchive.io/general/-/1466580139/1469433820/1469174336000008/ mysql57> CRE

[stealthinu]

なにこれなんでこんな仕様にしたのん？？全文検索はmroonga使わないとまともに使えないな。

[tmtms]

"トークナイズした後に、トークンにストップワードが含まれてないか、1gramからngramまで順番に評価する…だと…！？" / さすがいつも驚きを与えてくれる MySQL さんやで。