医薬品検索でMySQLの全文検索機能を使った話 - KAKEHASHI Tech Blog
AI在庫管理の開発チームでバックエンドエンジニアをしている沖です。今回は、AI在庫管理の医薬品検索において、MySQLの全文検索機能を使った話を紹介しようと思います。 この記事は秋の技術特集 2024の 8 記事目です。 今までの医薬品検索では満足できないユーザーがいた なぜMySQLの全文検索機能を採用したのか 全文検索機能を導入する 全文検索インデックスを付与したテーブルを作成する パーサー 照合順序と正規化 全文検索インデックスを使用して検索する データを最適な状態に保つために おわりに 今までの医薬品検索では満足できないユーザーがいた AI在庫管理には、医薬品の在庫一覧画面など、医薬品名で絞り込む画面がたくさんあります。この絞り込み機能を実現するために、これまではSQLのLIKE検索を利用していました。 LIKE検索は、使い慣れたSQLを用いて部分一致検索を実現できる便利な方法です
データベースの値をちょっとだけ書き換えたら検索に数十分かかる様になって障害になった裏話 - STORES Product Blog
はじめに 2024年1月にリテール(ネットショップ・レジ)部門からサービス(予約)部門に異動になった @ucks です。 異動してからはスマートリストという機能の開発を行っていて、5月6日に無事リリースできたのと、開発途中で障害に至ってしまった部分があるので、裏側を少し紹介しようかなと思います。 はじめに スマートリストとは スマートリストの設計 検索の仕様変更 高負荷時のハンドリング そして障害へ 見逃した点 DBの実行計画確認時の見逃し 動作確認時の漏れ 監視先の漏れ ログの損失 おわりに スマートリストとは スマートリストの開発についての話を行う前に、まずはスマートリストについて簡単に説明しておきます。 スマートリストとは、特定の条件の顧客をラベリングする機能です。 早い話、最終予約日がいつ、予約回数が何回以上等の顧客の検索条件を保存しておいて、閲覧時にラベリングして、視認しやすくし
SQLパフォーマンス詳解: 開発者のためのデータベースチューニング解説書
前書き インデックスの 内部構造 インデックス リーフノード 検索 ツリー(Bツリー) 遅いインデックス パートI where 句 等価 演算子 プライマリキー 複合インデックス 遅いインデックス パートII 関数 - where 大文字・小文字を区別する 検索 ユーザ定義 関数 インデックスの作り過ぎ パラメータ化 クエリ 範囲 検索 大なり、小なり、 BETWEEN LIKEフィルタに 対するインデックス インデックスの結合 部分インデックス OracleにおけるNULL NULLに対する インデックス NOT NULL 制約 部分インデックスを エミュレートする 処理しにくい条件 日付型 数値文字列 列の連結 スマートなロジック 数式 パフォーマンスと スケーラビリティ データ 量 システム 負荷 レスポンス タイムとスループット 結合 処理 入れ子 ループ ハッシュ 結合 ソートマ
Secrets from the Algorithm: Google Search’s Internal Engineering Documentation Has Leaked
Watch Our Google Algorithm Leak Webinar Replay Google, if you’re reading this, it’s too late. Ok. Cracks knuckles. Let’s get right to the Google algorithm leak. Internal documentation for Google Search’s Content Warehouse API has been discovered. Google’s internal microservices appear to mirror what Google Cloud Platform offers and the internal version of documentation for the deprecated Document
誰でもわかる全文検索入門
全文検索エンジンも、事前に検索対象のデータを調べてこのような索引を作っておくことで、高速な検索を実現しています。 インターネット検索の例 たとえばインターネット検索の場合、まず各サイトからデータを収集して、その中から索引に載せる単語を選んで索引を作ります。索引のデータは下の図の右側のような表になっています。各単語と、それがどのサイトのどこにあったのかを記録しておく形です。 検索の時は、この索引データを調べます。例えば利用者が「理解」という言葉で検索したら、索引の「理解」のところを調べます。そうすると「サイトAの8文字目と18文字目、サイトGの……」と出現場所がわかるので、すぐに結果を返せます。 なお、この図では索引の単語の並び方が適当ですが、実際には本と同じように「あいうえお順」などに並べておいて、すぐに単語を見つけられるようにしてあります。 索引にない単語 この仕組みの場合、索引にある単
法律のデータ構造と検索
デジタル庁は、法令標準 XML スキーマに準拠した、現行の法令データをe-Gov法令検索というサイト上で公開しています[1]。今回、この法令XMLをパースするPythonライブラリ ja-law-parser をつくり、法令データの全文検索をしてみました。 この記事では、日本の法令とそのデータ構造、法令XMLパーサについて解説し、最後に、それらを使った法令データの全文検索システムを実装する方法をご紹介します。法令検索の実装についても、GitHubリポジトリで公開しています。 この記事は、情報検索・検索技術 Advent Calendar 2023の16日目の記事です。 法律と法令 法律とは 法律の制定と公布 法律と法令の違い 法律の改正 法令のデータ構造 e-Govの法令データ 法令標準XMLスキーマ 法令番号と法令ID 題名 本則と附則 条・項・号 編・章・節・款・目 法令XMLパーサ：
Aurora MySQL 5.7とRailsで実現する全文検索機能 - dely Tech Blog
こんにちは。 クラシル開発部、バックエンドエンジニアの松嶋です。 delyに入社してから約3年間、私はSREチームに所属していましたが、昨年10月にバックエンドに転向しました。バックエンドに転向してからは、主にクラシルアプリの公式レシピおよびCGMコンテンツの検索機能に関する開発・改善に取り組んでいます。 クラシルは、2016年2月にサービスを開始してから、管理栄養士監修の「誰でも安全に・おいしい料理を作ることができるレシピ動画」を5万件以上提供してきました。 昨年12月には、クラシルのブランドリニューアルを行い、今後はシェフや料理研究家を中心としたクリエイターとともに多様化したユーザーの食の好みや課題解決に応えられるよう、幅広い食のコンテンツを提供するプラットフォームを目指しています。 ブランドリニューアルの詳細に関しては、こちらを御覧ください。 www.kurashiru.com この
【10X/M3/CADDi】検索エンジン運用勉強会 - 資料一覧 - connpass
「【10X/M3/CADDi】検索エンジン運用勉強会」の資料一覧です。
さようならElasticsearch、よろしくElastic Cloud - Nota TechConf
by yuiseki yuiseki.icon 2022/5/19 20:25 - 20:40 （明らかに15分で収まる内容の資料ではないですが、資料はモリモリで発表はスカスカでもScrapboxで盛り上がれるか、という仮説の検証を兼ねています） yuisekiですyuiseki.icon Gyazoのプロジェクトマネージャー兼ソフトウェアエンジニアです 本日お集まりいただいたみなさん、ありがとうございます 本日お集まりいただいたみなさん ノバウサギ…？nyanco.icon ユニコーンガンダム…？issac.icon タイマーちゃん！takker.icon 12年間運用を続けているB2C SaaSの検索インフラの実態（14分まで、1分間） Gyazoは2021年、「画像の瞬間発見」をテーマに、検索に力を入れていた Nota Tech Conf 2021 Springでのyuiseki.i
すずどら on Twitter: "ZOZOさんと一緒にやらせていただいているお仕事です🙇 Elasticsearch Learning to Rankプラグインの使い方とポイント https://t.co/zvMp20keZr"
ZOZOさんと一緒にやらせていただいているお仕事です🙇 Elasticsearch Learning to Rankプラグインの使い方とポイント https://t.co/zvMp20keZr
eコマースの検索と推薦についてのサーベイ論文である 'Challenges and research opportunities in eCommerce search and recommendations' を社内勉強会で発表した
eコマースの検索と推薦についてのサーベイ論文である 'Challenges and research opportunities in eCommerce search and recommendations' を社内勉強会で発表した 2021-07-10 SIGIR eCom を探索していたら発見したサーベイ論文の “Challenges and research opportunities in eCommerce search and recommendations"が面白かったので、社内の勉強会で発表してきた。 和訳すると、「e コマースの検索と推薦における挑戦と研究トピック」で、e コマースにおける検索と推薦の課題が明瞭に書かれていて非常に面白い論文でした。 自分もまだ検索エンジニアとして日が浅いので、手持ちのパターンを増やせるように日々勉強していますが、この論文のおかげでかなり
プライバシー重視検索エンジンDuckDuckGo、「収益は年間1億ドル以上、1億ドル以上の調達も」
「ユーザーを追跡しないのではっきりとは分からないが」、市場シェアデータやダウンロード数から推定すると、DuckDuckGoのユーザー数は7000万人～1億人と考えられるとしている。 同社は、「人はプライバシーを気にはするが、実際に対策はしない」とプライバシー懐疑論者は主張するが、米AppleがiOS 14.5でトラッキング許諾の義務付けを実施したことで、簡単で犠牲を払わずに済むなら人はプライバシー対策を行うことが証明されたと語った。4月のiOS 14.5のリリース以来、世界のユーザーの88％がアプリによる追跡をオプトアウトしている。DuckDuckGoはオンラインプライバシーを守る「簡単なボタン」さえ用意すれば人はそれを押す、としている。そして、DuckDuckGoの検索エンジンは「簡単なボタン」の1つなのだという。 同社はまた、昨年末に主要な2度目の増資を行ったことも明らかにした。VCの
これから推薦システムを作る方向けの推薦システム入門｜masa_kazama
イントロ「Amazonのこの商品をチェックした人はこの商品もチェックしています」や「YouTubeのあなたへのおすすめ」、「Twitterのおすすめユーザー」などのレコメンド機能は多くのWebサービスに組み込まれております。そのレコメンドによって、ついつい商品をたくさん買ってしまったり、夜遅くまで動画を見てしまった経験はないでしょうか。 この記事では、レコメンドシステムの裏側はどのような仕組みになっているのか、そもそもレコメンドとはどういうものなのかを具体例を交えながら俯瞰できればと思います。レコメンドシステムのアルゴリズムの詳細には触れず、ビジネスにおいてどのような形で実装されているかにフォーカスしています。ネット上に公開されているレコメンドに関するスライドや記事、論文のリンクをまとめましたので、アルゴリズムの詳細などはリンク先の記事でご確認ください。 対象の読者は、自社のサービスにレコ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
常見一樹（にま） on X: "こないだ発表したスライド 求人検索をElasticsearchにしたら 速度２倍速くなった！！ https://t.co/d6ks8mA6ek"
もりた on X: "この記事ほんとに良かった 全文検索やりたいときにOpenSearchとかも選択肢にあるわけだけど、それではなくMySQLの全文検索使うのはどんなときで、それを実現する上でどんな工夫があったのか書いてくれてる あと読んでておもしろい"
ヤフーの検索エンジン技術契約、Googleから変更検討 - 日本経済新聞
Mamoru Komachi on Twitter: "ここに名前が出ているというのを教えてもらったが、現在の基盤モデルはほぼウェブ検索エンジンだと思っている。作るのも、人工知能というよりは、一周回ってウェブ検索エンジンとかなり似ている感じではないかな。… https://t.co/7ODd2Ir6C2"
hurutoriya on Twitter: "メルカリの検索チームで Embeded SRE として働いてくれている藤本さんが Elasticseach の運用ノウハウの記事を執筆してくれてます！インデキシング周りのお話や監視方法、バージョンアップへの対応などを盛り沢山！ /… https://t.co/uvn9Cc7G8o"
hurutoriya on Twitter: "後で読もうと思ってて読めてなかったけどとてつもない大作だった。LuceneやElasticsearchでは、実際にどのようなアルゴリズムが使われてるか→解説の流れで非常に明瞭。資料公開に感謝 / “検索結果の品質向上 / Impr… https://t.co/jQbKPVEoUj"
hurutoriya on Twitter: "この前の社内の勉強会で発表した内容をBlogにまとめました。 eコマースでの検索に改善したいけど何したらいいかわからんという人は、とりあえずこれ見ればOKという論文だったので読めてよかったです。 / “eコマースの検索と推薦につい… https://t.co/OyrTFdtSbz"