医薬品検索でMySQLの全文検索機能を使った話 - KAKEHASHI Tech Blog
AI在庫管理の開発チームでバックエンドエンジニアをしている沖です。今回は、AI在庫管理の医薬品検索において、MySQLの全文検索機能を使った話を紹介しようと思います。 この記事は秋の技術特集 2024の 8 記事目です。 今までの医薬品検索では満足できないユーザーがいた なぜMySQLの全文検索機能を採用したのか 全文検索機能を導入する 全文検索インデックスを付与したテーブルを作成する パーサー 照合順序と正規化 全文検索インデックスを使用して検索する データを最適な状態に保つために おわりに 今までの医薬品検索では満足できないユーザーがいた AI在庫管理には、医薬品の在庫一覧画面など、医薬品名で絞り込む画面がたくさんあります。この絞り込み機能を実現するために、これまではSQLのLIKE検索を利用していました。 LIKE検索は、使い慣れたSQLを用いて部分一致検索を実現できる便利な方法です
LinkedInの記事をめぐっているうちに見つけた、マイクロアーキテクチャに関する面白い事例。 CPUのマイクロアーキテクチャのさらに奥深くまで理解が必要な問題を解決するために、どのようなツールをつかってどのように解決したかの話。 netflixtechblog.com Netflix内でのワークロード最適化のため、AWSのインスタンスサイズを移行(16 vCPUから48 vCPU)し、CPUがボトルネックとなるワークロードの性能向上を図った。 このインスタンスの移行により、性能をほぼ直線的に増加させることを想定し、スループットがおよそ3倍になると予想した。 しかし、結果としてこの移行で想定する性能は達成できなかった。 https://netflixtechblog.com/seeing-through-hardware-counters-a-journey-to-threefold-pe
MySQLやPostgreSQLといったRDBMSからデータを引いてくるとき、扱うデータの規模によっては、1000件ずつLIMITをかけて順に引いていくということがある。 以前slow queryが出たらよくやっていたのを思い出して、ふとこのあたりってどういう根拠があってやっているのだっけ、自分が知っている他に効能があったりするのかな、と思ってSlackに書き込んだところ、同僚の id:onk に教えていただいた。その内容に加えて軽く調べた内容をまとめてみる。 Web系の話です。みなさまの知見がありましたら教えてください。 TL;DR 刺さる*1から 刺さったら困るから あたりまえ 詳細 もともとSlackに書いた原文は以下の通り(MySQL前提で書いているけどPostgresといった他のRDBMSにも適用できる話。): DB引くとき、Perl時代(？)によく1000件単位でchunkin
これはなに ども、レバテック開発部のもりたです。 今回はMySQLでのスロークエリログについて調査してまとめました。 スロークエリログといえば古くからパフォーマンスチューニングの力強い味方といったふうに語られることも多いですが、最近はクラウドで使える便利なツールも生まれています。この記事ではスロークエリログの一般的な使い方を紹介するとともに、他のツールとの比較や、どんな場面でスロークエリログが役に立つのか、また役に立たない場合はどんなツールを利用することができるのかについてまとめました。 足りないところなどあればおおいにマサカリ投げていただけると幸いです。 記事の流れ 記事の流れ この記事はそこそこ長いので、初めに記事の流れを解説します。適宜読み飛ばしてください。 なぜスロークエリログなのか ここではそもそもスロークエリログをなぜ確認したいのかみたいなところを説明します スロークエリログの
Linuxサーバーの最適化: vmstatとiostatを活用した性能分析と対処法 0.目的 インフラ開発者として、必須な性能分析を身につけることを目的としています。 カーネルパラメータをチューニングをする際に性能分析を前提とし、分析結果からチューニングしていきますが、具体的な指標というものが少ないので参考になれば幸いです。 基本的なvmstatの使い方については、ちょっとググればいくらでも出てくるので割愛します。 「Linuxカーネルパラメータのチューニング＆設計」でロードアベレージが高い状態にある場合、次のアクションとしてCPU使用率の確認が必要となりますので、vmstatの結果分析および対処法について深堀していきます。 よって、vmstatの結果分析と対処法を理解すると性能試験を実施した際のその対処法とカーネルパラメータによるチューニングする対象が理解できるかと思います。 1.パフォ
Linuxカーネルパラメータのチューニング＆設計 0.目的 【カーネルパラメータのチューニング】を修得する目的は、サーバの特性を理解し、それぞれに合ったカーネルパラメータのチューニングすることでリソースの有効活用をできるようになることを目的とし、私個人の経験を元にした見解を以下の記事に掲載します。 1.最初に サーバには、それぞれ必要なリソース特性があり、それに合わせたカーネルパラメータのチューニングが必要となります。 世の中の流れはオンプレよりクラウドに移行してはいるので、カーネルパラメータのチューニングよりスケールアップなりスケールアウトするなりの対応をすべきなのでしょう。 ですが、カーネルパラメータのチューニングを知らないとどちらを選択すべきかも理解しずらいと思いますので軽率には出来きません。(待ち行列理論もしらないといけませんが) また、最近のLinuxはデフォルト値が大きくなって
あなたのパフォーマンスを倍にする Frontend Ops はいかがですか.md あなたのプロジェクトに Frontend Ops を。 [経営者の方へ] ウェブサイトが遅くなっていませんか?機能追加が遅くなっていませんか？ 私 @mizchi は Node.js とフロントエンドのエキスパートです。もし私を知らなければ、御社のフロントエンド担当に mizchi とは誰か聞いてみてください。それが一番早いと思います。 Frontend Ops の専門家として御社のプロダクトの改善にご協力します。 Frontend Ops は、ウェブサイトのロード時間を改善したり、開発者の基盤に手を入れることで一日に何度機能を追加できるかという指標に貢献するロールです。その結果としてUXを改善し、ビジネスを前進させます。 成果報酬で、費用はざっくり 100万円*達成率 となります。(詳細は後述) 弁護士作成
パフォーマンス改善の始め方と、APIレスポンスタイムを67%短縮した話 - YOUTRUST Tech Blog
こんにちは、YOUTRUST Webエンジニアの寺井(YOUTRUST/X)です。 私はYOUTRUSTに入社してからこれまでプロダクト開発部に所属しており、主に機能開発を担当していました。 2024年8月からは技術開発室に異動し、この1ヶ月はパフォーマンス改善に取り組んできました。 そこで、今回はこの1ヶ月間パフォーマンス改善に取り組んだ過程とその結果を記事にしたいと思います。 1. することの方針の決定 技術開発室に異動と言っても、既存のチームに加入する形ではなく、私の異動とともに新たに品質チームというチームができた形でした。 そのため、着手可能な状態の具体的なタスクがあるわけではなく、何をするか、どんな優先順位で進めていくかから決めていく必要がありました。 チームができた背景としては、品質面の問題は開発組織として把握しつつも、これまでどうしても対応が後回しになってしまっており、特にY
OpenTelemetry を利用して PHP アプリケーションのテレメトリデータを計装する方法をまとめました。 本エントリのコードは下記で公開しています。 github.com OpenTelemetry とは 用語 PHP アプリケーションのマニュアル計装（手動計装） 構成 OTel Collector Jaeger 動作環境 必要なパッケージ PHP コード 設定 実行 PHP アプリケーションのゼロコード計装（自動計装） 必要な拡張とパッケージ 設定 PHP コード 実行 さいごに 参照 OpenTelemetry とは opentelemetry.io OpenTelemetry は、サービスやアプリケーションのテレメトリーデータ（トレース、メトリクス、ログなど）を計装、生成、収集、送信するためのオブザーバビリティフレームワークです。ベンダーニュートラルな OSS であり、CNC
[Go言語] gin と singleflight を組み合わせた試行錯誤と実装例 - Techtouch Developers Blog
singleflight とは gin とは Middleware Context ２つの実装例 1. 同期待ち方式 2. 非同期待ち方式 まとめ こんにちは。SRE 兼 テックブログ編集長の izzii です。毎年お盆休みに連泊で登山するのですが今年は台風の影響で行けませんでした。悲しい！ さて、本記事ではパフォーマンス最適化の文脈で登場することの多い singleflight と、ウェブフレームワーク gin を組み合わせた実装例を紹介します。要素技術の概要とモチベーションに触れつつ、試行錯誤についてもお話しします。実装に関しては結局妥協が必要であり正解の形がないので GitHub で公開という形ではなく、ブログを通して自分の考えた２つの実装を紹介することにしました。この記事は Go に関する基礎知識を必要とします。 singleflight とは 複数のスレッド（go routine
![[Go言語] gin と singleflight を組み合わせた試行錯誤と実装例 - Techtouch Developers Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/3e144e7594608c60f90fb0a1a685cbbe11748aa0/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fi%2Fizzii%2F20240827%2F20240827112042.png)
メディア統括本部 サービスリライアビリティグループ（SRG）の石川 雲（@ishikawa_kumo）です。 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 本
At Ably, we provide a realtime messaging service that aims to deliver messages between globally-distributed participants with the lowest latency possible. When powering apps that enable realtime collaboration, or require time-critical updates, low and consistent latency is essential. We recently deployed dedicated infrastructure for a new customer whose workload involved sporadic but highly time-c
実走リッター37キロ！ スズキ「アルト」で目指すはリッター40キロ…燃費ジャンキーのチューニングの技は「あらゆる抵抗をなくすこと」
TOP CUSTOM 実走リッター37キロ！ スズキ「アルト」で目指すはリッター40キロ…燃費ジャンキーのチューニングの技は「あらゆる抵抗をなくすこと」 「加速しない、減速しない、曲がらない」異次元発想の低燃費チューン スズキの誇る軽自動車の大看板「アルト」が200台以上も集まった2024年5月の「あると祭」には、新旧さまざま、スタイルもイジりかたも多彩なアルトが並びました。なかでも独自すぎるコンセプトでカスタムされていたのが、「燃費ジャンキーアルト」とオーナー自ら称する1台のマシン。そのチューニングメニューは驚きの連続でした。 抵抗という抵抗を軽減し燃費リッター37キロを達成 「燃費ジャンキーアルト、実走37km/L＆満タン1000km達成、車重800kg切り40km/L目指して進化中」と記された自作のフロントナンバーカバーを装着していた2015年式スズキ「アルトX」のオーナーは“黒鉄”
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Netflixによるインスタンス負荷改善のための解析事例 - FPGA開発日記
なぜDBから引くときに1000件ずつchunkingするのか、説明できますか - Lambdaカクテル
スロークエリログをどう使えばいいのかって疑問、全て解決
Linuxサーバーの最適化: vmstatとiostatを活用した性能分析と対処法 - Qiita
Linuxカーネルパラメータのチューニング＆設計 - Qiita
あなたのパフォーマンスを倍にする Frontend Ops の傭兵はいかがですか
PHP アプリケーションのトレース計装ではじめる OpenTelemetry 入門 - Shin x Blog
HA構成のArgoCDパフォーマンス最適化への道 - CyberAgent SRG #ca_srg
https://dl.acm.org/doi/10.1145/3589334.3645323
「Chrome 129」では「IndexedDB」が高速化 ～Googleが新しい最適化を導入へ／「Snappy」圧縮でディスク消費とパフォーマンスを改善
Optimizing global message transit latency: a journey through TCP configuration