医薬品検索でMySQLの全文検索機能を使った話 - KAKEHASHI Tech Blog

AI在庫管理の開発チームでバックエンドエンジニアをしている沖です。今回は、AI在庫管理の医薬品検索において、MySQLの全文検索機能を使った話を紹介しようと思います。 この記事は秋の技術特集 2024の 8 記事目です。 今までの医薬品検索では満足できないユーザーがいた なぜMySQLの全文検索機能を採用したのか 全文検索機能を導入する 全文検索インデックスを付与したテーブルを作成する パーサー 照合順序と正規化 全文検索インデックスを使用して検索する データを最適な状態に保つために おわりに 今までの医薬品検索では満足できないユーザーがいた AI在庫管理には、医薬品の在庫一覧画面など、医薬品名で絞り込む画面がたくさんあります。この絞り込み機能を実現するために、これまではSQLのLIKE検索を利用していました。 LIKE検索は、使い慣れたSQLを用いて部分一致検索を実現できる便利な方法です

[circled]

これPostgreSQL+PGroongaなら SELECT * FROM medicines WHERE name &@~ ‘カンデサルタン 4 武田’ という短いSQLで同じことが実現出来、かつOR検索はORで、NOT検索は -キーワードで可能と、アプリ側のコードも少なくて済んで最高に便利です

[tofu-kun]

なるほど、自分だとElasticsearchに慣れているから全文検索ならElasticsearchでしょってすぐ決めに行ってしまうが保守対象が増えることとパフォーマンスのバランスを取ると、MySQLだけでやるほうが良さそう。勉強になった。

[R2M]

この手の奴は導入後３－４年後ぐらい経つとまた判断が変わる

[dot]

自分もPostgreSQLでn-gram入れたことあるけどpg_bigm使って楽してた。同じく医薬品のマスタも管理してるけどたぶん件数が全然違う感じする。うちはWHODDとIDF混ぜて2万件くらいなのでn-gramなくてもパフォーマンス大丈夫だった。

[pixmap]

そろそろ、安直にLLMに食わせるという選択肢が、これに並んでくると思うの。

[sds-page]

そもそも「なんでそれを検索したいのか」ってアプローチもあるよね。よく使う奴を出したいだけとか後継品はどれかとか

[leiqunni]

全体のレコード数とサイズ、N=1のインデックスのサイズと使用感を知りたいです

[rzi]

MySQL標準の全文検索を日本語で使うとかマジで！？と思ったが、なるほどこういう要件なら使えなくはないのか。 大量データにはHeatWaveとか進化あるけど 全文検索方面はさっぱりなので、こっちにも進化がほしい…

[bufferings]

面白いなー。こういう話好き。自分は以前にMroongaを使ったことあるけど、今だとMySQLだけでできちゃう部分もあるのかー！

[fjwr38]

innodb でも使えるんだ

[NAPORIN]

よくわからないけど増田にもこの検索ができるようにしてほしい

[daaaaaai]

便利そう（ブコメでpostgresqlでの機能を知ることもできた

[sigeharucom]

全文検索 Namazu しか使ったことない

[lluvias]

全文検索

[lycolia]

LIKE句ではなくMySQLの独自機能

[taguch1]

昔はmecab+senna+mysqlで全文検索やってたな、懐かし。

[jonathan31D]

自社社員で互助はてブしまくってホットエントリに入れる規約違反行為をして楽しいですか株式会社カケハシさん

[tyosuke2011]

やるじゃん

[hdampty7]

検索仕様でlikeが複雑で面倒くさくなるたびに全文検索の検討をしてきたけど、パフォーマンスが弱くて実際に導入したことはなかったなぁ。

[paulownia]

数万レコード程度ならngramよりAIで形態素解析させちゃうの検討するかも今なら

[buzztaiki]

大昔にoracleの全文検索つかったの思い出した。

[sabotem]

覚えておこう

[houyhnhm]

ご苦労さまです。これ、とは言え検索パターン限定しての何かとかでやりたいところではあります。

[Goldenduck]

近々全文検索使うかも

[als_uz]

しばらく使う予定なさそうだけど記事としてとてもよかった

[zonu_exe]

シンプルな機能で要件が満たせるときの選択肢としてかなり良さそう

[Windymelt]

面白い

[versatile]

へー。いまこんなんあるんだ。わたしは Solr と ES くらいしか使ったことないうえに ES は初心者だからこの MySQL の仕組みは便利そうに思える。Solr の XML をつかった定義は面倒でもうやりたくないし index update も面倒だし

[stefafafan]

“MySQLの全文検索機能以外にも、ElasticsearchやAWSのOpenSearchといった全文検索エンジンを利用する方法もありましたが、今回は下記の理由からMySQLの全文検索機能を採用”