医薬品検索でMySQLの全文検索機能を使った話 - KAKEHASHI Tech Blog
AI在庫管理の開発チームでバックエンドエンジニアをしている沖です。今回は、AI在庫管理の医薬品検索において、MySQLの全文検索機能を使った話を紹介しようと思います。 この記事は秋の技術特集 2024の 8 記事目です。 今までの医薬品検索では満足できないユーザーがいた なぜMySQLの全文検索機能を採用したのか 全文検索機能を導入する 全文検索インデックスを付与したテーブルを作成する パーサー 照合順序と正規化 全文検索インデックスを使用して検索する データを最適な状態に保つために おわりに 今までの医薬品検索では満足できないユーザーがいた AI在庫管理には、医薬品の在庫一覧画面など、医薬品名で絞り込む画面がたくさんあります。この絞り込み機能を実現するために、これまではSQLのLIKE検索を利用していました。 LIKE検索は、使い慣れたSQLを用いて部分一致検索を実現できる便利な方法です
インデックスとは何？MySQL(InnoDB)とPostgreSQLのインデックスの違いとは？調べてみました
はじめに こんにちは。calloc134 です。 前のハッカソンイベントで、UUID をプライマリキーに利用するかどうかの議論がありました。 結果的にはあまりパフォーマンス要件の高くないアプリケーションであったため、プライマリキーとして UUID を採用することにしたのですが、イベント終了後に気になったため、調査を行いました。 今回は、この調査の結果を元に、MySQL と PostgreSQL におけるインデックスの内部構造の違いと、UUID をプライマリキーにする際の問題についてまとめてみたいと思います。 インデックスの概要 インデックスとは インデックスとは、データベースのテーブルに対して、アクセスを高速に行うための指標となる構造のことです。 インデックスとは日本語で索引ですが、まさに辞書の索引のように、アクセスにおいての手助けをしてくれます。 より具体的に解説すると、データベースにお
大いなる流れには逆らえない あるAI研究者が言っていた、私の仕事もいつか AI に奪われるという言葉が非常に印象的だった。 私は一時期自分のキャリアに危機感を覚えAIに関する情報を集めていた。そのとき見つけたYoutube動画でこのようなことが語られていたのである。 ではなぜ彼らは研究を続けるのかと思うかもしれないが、個人や一団体がそれを放棄したところで世の中のイノベーションの流れを止めることは不可能だろう。 平和を望む国々も兵器開発をやめられないのと似たようなものだ。 私がこの記事のタイトルを思いついたとき、つい溜息が出た。あまり楽しくない思い出があるからだ。 ただ、思いついてしまった以上これを世に出さないわけにもいかず、血の涙を流しながらこの記事を書いている。 私というちっぽけな存在では、この大宇宙の大いなる流れには逆らえないのだ。 申し遅れました。私、YadaYadaKonnanYa
RAGに関する主要な論文まとめていきます。(過去の分含めて随時更新予定) 見つけたものからまとめているので、最新の2024年以降の論文多めです。 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(22/05/2022) 一言紹介❓ LLMって、事前学習された知識に関しては答えてくれるけど、最新のニュースだったり、専門的な情報や組織固有の情報には対応できないよなぁ 💡 外部知識をLLMに検索させよう!→RAGの誕生 Abstract日本語訳大規模な事前学習済み言語モデルは、そのパラメータに事実知識を蓄積し、下流の自然言語処理（NLP）タスクに微調整されたときに最先端の成果を達成することが示されています。しかし、知識をアクセスして正確に操作する能力は依然として限られており、知識集約型タスクでは、タスク固有のアーキ
先日、社内有志で開催していたDB自作本 Database Design and Implementation の輪読会ならぬ輪実装会がついに完結を迎えました。 RDBMSをゼロから、毎週一人ずつ、1章分を実装してPullRequestを出しつつ資料も準備して発表をこなすという一見ハードな勉強会で、完走できるか不安もありつつスタートしましたが、やってみるとめちゃくちゃ楽しく最後まで完走できました。 本記事ではみなさんに「うちでもやってみたい」と思ってもらえることを願って、読んだ本の推しポイントや、どのように勉強会を進めたかを紹介したいと思います。 感動で涙の出るコード Part1: おすすめポイント 本が良い みんなでワイワイやるのが良い 3ヶ月で完走できるのがいい 完走後のモチベーションアップが良い Part2: 輪実装会 募集 参加者 進め方・実装 期間 Part3: おれたちのDB実装
ルールは現場で死にました - The Rules of Programming の読書感想文 - じゃあ、おうちで学べる
本日は人生の数ある選択肢のなかから、こちらのブログを読むという行動を選んでくださいまして、まことにありがとうございます。 はじめに プログラミングの世界には多くの指針や原則が存在します。Chris Zimmerman氏の「The Rules of Programming」（邦題：ルールズ・オブ・プログラミング ―より良いコードを書くための21のルール）は、不変の知恵を凝縮した一冊です。これらの原則は、多くの開発現場で活用できる有益な内容となっていると思いました。 The Rules of Programming: How to Write Better Code (English Edition) 作者:Zimmerman, ChrisO'Reilly MediaAmazon 本書は、大ヒットゲーム『Ghost of Tsushima』などで知られるゲーム制作スタジオ、Sucker Pun
この記事は英語、フランス語、ドイツ語、ポルトガル語、スペイン語でもお読みいただけます。 編集メモ: この記事は Quartz に掲載されたものです。 過酷なストレスは、今や仕事において身近な存在となってしまいました。去年、ナレッジワーカー (知識労働者) の 71% が一度はバーンアウト (燃え尽き症候群) を経験しています。さらに、メンタルヘルスの状態を「悪い」または「非常に悪い」と回答した労働者の割合が、5% から 18% に急増しました。ストレスレベルが「高い」または「非常に高い」と回答した割合は、42% に上ります。このようなストレスやプレッシャーの高まりは、明らかに時代の流れを感じさせます。 これは Asana「仕事の解剖学」インデックス 2021 報告書に基づいています。この調査では、回答者のほぼ半分が、バーンアウトの主な要因として過労を挙げています。つまり、問題の要因はオフィ
書籍案内 » 書籍ジャンル » ネットワーク・UNIX・データベース » データベース・SQLなど » 標準SQL＋データベース入門 ——RDBとDB設計、基本の力［MySQL/PostgreSQL/MariaDB/SQL Server対応］ Tech × Books plusシリーズ標準SQL＋データベース入門 ——RDBとDB設計、基本の力［MySQL/PostgreSQL/MariaDB/SQL Server対応］ この本の概要 「標準SQL」＆「データ設計」を土台に，SQL＆データベースの基本を学べる入門書。 「SQLでどんなことができるのか」「どんなときに便利なのか」「なぜそんなしくみになっているのか」一つ一つ，ステップアップしながら解説します。 本書の特徴は「標準SQL」準拠である点と文法の背景にある「データ設計」を丁寧に扱っている点です。SQL学習時の頻出ケースである，思った
こんにちは。LINEヤフー株式会社でデータベースエンジニアをしている、松浦、中園、大塚、曽根、笠井です。 データベースはLINEヤフーのさまざまなサービスを支える重要なソフトウエアですが、その安定的な運用やトラブルシューティングには、データベースに関する専門的な知識が必要です。 一方で、データベース部門に配属される新卒のエンジニアは、全員が学生時代にデータベースを専門的に勉強しているわけではありません。このような新卒エンジニアは、データベース部門へ配属後、OJTや実際のデータベースの運用業務に携わりながら、データベースに関する専門知識を深めていきます。 今回のブログ記事では、データベースエンジニアとしての専門性を高めるために、部門内で実施している専門書の輪読会、そして、MySQLを題材としたデータベースカーネルのモブプログラミング（以下、モブプロ）の取り組みについてご紹介します。 1. 輪
RAG の精度を向上させる Advanced RAG on AWS の道標 | Amazon Web Services
Amazon Web Services ブログ RAG の精度を向上させる Advanced RAG on AWS の道標 生成 AI の進化と共に、大規模言語モデル (LLM) を活用したアプリケーション開発が急速に広がっています。その中で、検索拡張生成 (Retrieval-Augmented Generation; RAG) は、LLM に対して最新の情報や特定のドメイン知識を組み込むための重要な技術として注目を集めています。 RAG は、その名の通り、外部知識ベースから関連情報を検索し、それを LLM の入力に組み込むことで、より正確で最新の情報に基づいた回答を生成する手法です。この手法には以下のような重要な利点があります。 最新情報の反映: LLM の学習データの制限を超えて、最新の情報を回答に反映させることができる。 ドメイン特化: 特定の分野や組織固有の情報を容易に組み込むこ
何か知りたいことやアクセスしたいページがあるとき、検索したいフレーズをブラウザで入力するだけで、即座に最新の結果を返してくれます。情報検索には検索エンジンインデックスというさまざまな学問の概念を組み込んだ複雑な仕組みが活躍していますが、かつてGoogleでは検索エンジンのインデックスを作成するシステムが停止するという致命的な障害に直面しており、その経緯や原因についてThe New Yorkerが解説しています。 The Friendship That Made Google Huge | The New Yorker https://www.newyorker.com/magazine/2018/12/10/the-friendship-that-made-google-huge ウェブをクロールして検索エンジンインデックスを作成するGoogleのコアシステムが停止したのは、1999年10
国慶節中に東証中国株ETFが爆上げしたのはなぜか？
本稿では、2024年10月第1週に東証中国株ETFが暴騰したことについて解説します。東証マイナーETFウォッチャーとしては2023年の1689天然ガスETFの1円割れ以来の興味深い出来事でした。 原因を一言で言えば「国慶節で中国本土の取引所が長期休場で設定解約が停止され、売りから入って裁定を抜く手段が無い中で、ババ抜きカジノと化してしまった」ということになります。 前引けの東証中国A株ETF（そろそろ飽きてきた） さすがに一部の銘柄（1309）は賢者モードに。 ただ2553は連日の値幅制限拡大を繰り返し今日も22,400円のストップ高。このファンドは昨日時点の基準価額（現地休場前9/30の株価+昨日の為替レートで評価）が1,721円なのでプレミアム1,200%です… https://t.co/ZLzj9YO1su pic.twitter.com/oMuLHyBMhf — トン@儲からない投
PostgreSQL 17正式リリース。WALの改善で書き込み性能が最大2倍に、本体付属のバックアップツールで増分バックアップ対応など新機能
PostgreSQL 17正式リリース。WALの改善で書き込み性能が最大2倍に、本体付属のバックアップツールで増分バックアップ対応など新機能 PostgreSQLは今年（2024年）に発表されたStack Overflowの調査でMySQLを抜いて最も使われているデータベースとなっているなど、人気が高まっているデータベースです。 参考：Stack Overflowが世界6万人以上のITエンジニアにアンケート。最も使われている言語はJavaScript、データベースはPostgreSQLが1位に定着。Stack Overflow 2024 Developer Survey WALの改善で書き込み性能が最大で2倍に PostgreSQL 17では、先行書き込みログ（WAL）処理の改善が行われました。 WALとは、トランザクション処理が確実に行われるためにトランザクション処理に先立ってつねに記録
Googleは2020年に「検索エンジン市場における独占禁止法違反」の疑いで訴訟を提起されており、この裁判の判決が2024年8月5日に下されました。裁判を担当したコロンビア特別区連邦地方裁判所のアミット・P・メータ判事は、「Googleは独占禁止法に違反している」という判決を下しています。このGoogleによる独占状態について、検索エンジン「Kagi」の公式ブログが「Googleの独占によってユーザーが被る不利益」や「Googleの独占状態を是正する方法」について解説しています。 Dawn of a new era in Search: Balancing innovation, competition, and public good | Kagi Blog https://blog.kagi.com/dawn-new-era-search ◆Google検索の強み Kagiは、Goog
目的別データベースの実践: PostgreSQL 行レベルセキュリティと DynamoDB Outboxパターン - KAKEHASHI Tech Blog
カケハシのプラットフォームチームのテックリードとして組織管理サービスと認証基盤を開発している kosui (id:kosui_me) です。今回は、目的別データベースをプラットフォームチームではどのように実践しているかご紹介します。 この記事は秋の技術特集 2024の 13 記事目です。 背景 目的 事例1: PostgreSQL の行レベルセキュリティを活用する組織管理サービス 組織管理サービスとは PostgreSQL の行レベルセキュリティ 行レベルセキュリティを用いたトランザクションマネージャー 行レベルセキュリティの運用上の注意点 事例2: DynamoDB を活用する認証基盤と Outbox パターンの活用 カケハシの認証基盤刷新 DynamoDB で実現する高稼働率の認証基盤 DynamoDB の特性を考慮する CDC と Outbox パターン まとめ 背景 医療の分野で様
はじめに この記事で想定している読者の方: Difyの使い方にまだ馴染めていない方 ワークフローで何か作ってみたい方 簡単にPythonが書ける方 LLMを用いたアプリケーションをノーコード・ローコードで作成できるサービスである「Dify」がその使いやすさと拡張性の高さから最近注目を集めています。しかし, 「Difyを知っているけどまだ使って何かのアプリケーションを作ったことはない...」という方も多いのではないでしょうか。特に, 自由度が高い様々な機能を持ったノードを組み合わせることでLLMを自在に組み込んだシステムを作成できる「ワークフロー」機能は公式でも「経験豊富なユーザ向け」と紹介されている通り少し難易度が高いですが是非使ってみたい機能です。 そこでこの記事では, Dify初心者の方向けに, Dify初心者だった自分が「ワークフロー」機能を用いてシステムを作ってみて詰まった部分とそ
Cloudflare の新しいロードバランサ Pingora を試してみる - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。クラウド基盤本部の野島です。 今年のインターンシップでは、プラットフォーム(自社基盤)コースとして2名の方を受け入れ、それぞれ異なる課題をやってもらいました。 そのうちの一つは Pingora に関する課題で、覚道さんに取り組んでいただきました。（もう一つの課題は nginx のキャッシュの性能に関するもので、これについては昨日の記事をご参照ください） Pingora は Cloudflare が開発したロードバランサのためのフレームワークであり、Rust を使って好きなロジックを組み込んだロードバランサを書くことができます。 今回のインターンでは Pingora を使って TLS のクライアント証明書を使った認証プロキシを作ってもらいました。 そこで、この開発の中で得られた Pingora や OpenSSL に関する知見を共有しようと思います。 この記事は覚道さんのインター
techcommunity.microsoft.com ※ とりあえず現時点（2024/9/21）でのアナウンスなので、今後撤回もしくは延期される可能性もあります。 10月公開といわれているWindows Server 2025ではWSUSは継続するようですが、今回非推奨化のアナウンスが出たので、（変更がなければ）おそらく2025の次のWindows Serverには非推奨マークがつくのだろうと思います。私もWSUS初登場時からずっと使ってきて、大変お世話になりました。感慨深いですね。 とはいえ、私が管理する自宅ではもうWSUSの運用やめちゃったんですよね。昔は複数のWindows Serverがあって、Officeもいろいろあってと自宅で10台程度でも割と運用する意味があったんですが、今はもうないかなーということでWindows Server 2019のころにやめてしまいました。 WSU
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
連番IDを使うと会社が潰れる。(訳: 連番とUUIDのベンチマークを取ってみた❤️）
RAGに関する主要な論文を時系列順にまとめていく(2024年度版)｜R
データベース自作勉強会・輪実装会のススメ - エムスリーテックブログ
マネージャー向けガイド: バーンアウトに立ち向かう方法 - The Asana Blog
標準SQL＋データベース入門 ——RDBとDB設計、基本の力［MySQL/PostgreSQL/MariaDB/SQL Server対応］
データベースエンジニアのスキルアップ 専門書輪読会とMySQLモブプロの取り組み
かつてGoogleは検索インデックスが作成できなくなるという致命的な障害に遭遇していた
Googleの検索エンジン市場独占によってユーザーはどんな不利益を被っているのか？独占状態を是正する方法はあるのか？
初心者がDifyでワークフローを作る際に知っておくと便利な5つのこと
WSUS非推奨化発表に伴う感想と今後どうするのか - kkamegawa's weblog