データベースの値をちょっとだけ書き換えたら検索に数十分かかる様になって障害になった裏話 - STORES Product Blog
はじめに 2024年1月にリテール(ネットショップ・レジ)部門からサービス(予約)部門に異動になった @ucks です。 異動してからはスマートリストという機能の開発を行っていて、5月6日に無事リリースできたのと、開発途中で障害に至ってしまった部分があるので、裏側を少し紹介しようかなと思います。 はじめに スマートリストとは スマートリストの設計 検索の仕様変更 高負荷時のハンドリング そして障害へ 見逃した点 DBの実行計画確認時の見逃し 動作確認時の漏れ 監視先の漏れ ログの損失 おわりに スマートリストとは スマートリストの開発についての話を行う前に、まずはスマートリストについて簡単に説明しておきます。 スマートリストとは、特定の条件の顧客をラベリングする機能です。 早い話、最終予約日がいつ、予約回数が何回以上等の顧客の検索条件を保存しておいて、閲覧時にラベリングして、視認しやすくし
今回は、SSH接続を劇的に高速化する方法をご紹介します。たった3行の設定を追加するだけで、接続時間を10分の1に短縮できます。しかも、2回目以降の接続では認証も自動的に行われるので、パスワードやパスフレーズの入力も不要になります。 要点 .ssh/configファイルのHost *セクションに以下の3行を追加するだけです。 詳しい説明 1. ControlMaster auto この設定で、1つのSSH接続で複数のセッションを共有できるようになります。新しくSSH接続を確立するたびに認証情報を入力し直す手間が省けて、接続がぐっと速くなります。具体的には： 初回の接続時のみ認証が必要 2回目以降は既存の接続を再利用するため、認証プロセスをスキップ パスワードやパスフレーズの入力が不要になり、接続がほぼ瞬時に完了 2. ControlPath ~/.ssh/mux-%r@%h:%p Contr
UUIDとULIDを理解していない方は見た方がいい記事
Auto increment（自動採番）型を採用したくない場合 Auto Incrementは、データベースにおいて自動的に一意の識別子を生成するメカニズムです。通常、数値型の列が対象となり、新しいレコードが挿入されるたびにその列の値が自動的にインクリメントされます。典型的なIDですかね。 ここでは一意性の確保の話や、データ移行やバックアップのデメリットには言及せず、セキュリティとプライバシーの懸念にフォーカスして考えます。 予測可能性 Auto Increment型のIDは連番であるため、次に生成されるIDが容易に予測可能です。これにより、攻撃者がシステムの内部構造を推測し、不正アクセスを試みるリスクが高まります。 情報漏洩のリスク 連番のIDはデータベースの挿入順序を反映しているため、公開されることで企業の活動パターンやデータ生成の頻度が漏洩する可能性があります。 例） 競合他社は、公
負荷テスト on AWS のすすめ (AWS Summit Japan 2024 - Ministage session)
AWS Summit Japan 2024 にて、セキュリティ & One-AWS Zone ミニステージでの登壇資料です。 「負荷テストは、AWS を使ってどう楽になるか？」についてお話しました。スライド内のリンク類はコチラ→https://mabuchs.hatenablog.com/entry/…
Krita の AI Diffusion プラグイン、SD のインターフェースとしてかなり良い。話題の LCM によるライブペイントも便利だし、イラストレーションツールだからレイヤーや選択ツールが使えるのが強い。すでに SD でできたことだが、こんな感じの変換が素早く、気持ちよく行える。https://t.co/bUPOZrKs1n pic.twitter.com/0hn8iMHHms — Naoto Yokoyama (@builtinnya) November 18, 2023 これらを ControlNet8 で入力して AnimateDiff を使えば済むと考えていたが、甘かった。 動画生成 AI に期待しているのは、この2枚の画像の間のフレームを説得力のある形で補間することである。しかし、7秒という長さでは、例えば次の動画1のようになってしまう。 動画1. 図1と図2を使い、パラ
ネットワーク パフォーマンスの解読: TCP と UDP のバルクフローのベンチマーク | Google Cloud 公式ブログ
Gemini 1.5 モデル をお試しください。Vertex AI からアクセスできる、Google のもっとも先進的なマルチモーダル モデルです。 試す ※この投稿は米国時間 2024 年 6 月 22 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud ネットワーキング チームは長年にわたり、お客様のネットワークの構築、修正、強化の支援に深く携わってきました。その間に、ネットワークのパフォーマンスと効率を最大限に高める重要なパターンやベスト プラクティスを発見しました。この豊富な知見は、ただの理論的なリソースではありません。Google Cloud、クロスクラウド、オンプレミス、その他のクラウド プロバイダなどデプロイ先を問わず、お客様のビジネス目標達成を支援するよう設計された実用的なツールキットです。Google はこの専門知識を共有する
MySQL8.0でSELECT COUNT(*)が低速になる動作は8.0.37で解消されていた！ - CyberAgent SRG #ca_srg
メディア統括本部 サービスリライアビリティグループ（SRG）の鬼海雄太（@fat47）です。 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 本記事は、MySQ
Pythonの爆速化を可能にするにはどうすればいいのか。ツールやライブラリに頼る前に、まずはピュアPythonに組み込まれている機能を使い、コードの最適化を図るべきです。なぜなら、処理速度の課題を解決できる可能性が高いからです。今回はPythonのパフォーマンスを劇的に向上させるためのテクニックを解説した『爆速Python』（翔泳社）から、Pythonの組み込み機能のパフォーマンスを引き出す方法を紹介します。 本記事は『爆速Python』の「Chapter 2 組み込み機能のパフォーマンスを最大限に引き出す」から一部を抜粋したものです。掲載にあたって編集しています。 ※本書はTiago Rodrigues Antãoによる『Fast Python: High performance techniques for large datasets』（Manning Publications）の邦
2024年度「大転職時代」における人的資本経営のトレンドと対策「2番目の報酬」「CQマネジメント」「アルムナイ」「パフォーマンスマネジメント」｜谷本 潤哉 - 株式会社O: CEO
2024年度「大転職時代」における人的資本経営のトレンドと対策「2番目の報酬」「CQマネジメント」「アルムナイ」「パフォーマンスマネジメント」 2024年度は「大転職時代」と称され、企業の人的資本経営における新たなトレンドと対策が必要不可欠となっています。 経済のグローバル化、テクノロジーの進化、労働市場の流動性の増加に伴い、従業員と企業の関係性は一変しました。 この新しい時代に適応するためには、企業は伝統的な経営戦略を見直し、2つめの報酬、CQ（文化的知性）・越境マネジメント、アルムナイ施策、パフォーマンスマネジメントといった分野におけるアプローチを取り入れる必要があるのではと考えてご紹介します。 人的資本経営のトレンドを深掘りし、企業が直面する課題に対して実践的な対策を提示しますが、組織の持続可能な成長と従業員の満足度向上を目指す企業にとって、これらのトピックは避けて通れない重要事項と
Google、Google Sheetsの計算エンジンをWebAssemblyに最適化し、2倍の性能を実現したと発表
Google、Google Sheetsの計算エンジンをWebAssemblyに最適化し、2倍の性能を実現したと発表 GoogleはWebブラウザ上でスプレッドシート機能を提供する「Google Sheets」の計算エンジンの性能をWebAssembyで実装し、従来のJavaScriptによる実装と比較して性能を2倍に向上させたことを明らかにしました。 これにより単純なSUM計算から複雑なクエリまで、シート上でのあらゆる計算を始め、ピボットテーブルの作成、条件付きフォーマットなどさまざまな処理が高速になるとのことです。 この性能向上は、JavaScriptで構築されていた計算エンジンをWebAssemblyに最適化したことで実現していると説明されており、そのためにWebAssemby GC（ガベージコレクション）機能を用いたとのことです。 そのため現時点ではChromeとMicrosoft
スライド概要 GitHub Actions Meetup Tokyo #3 https://gaugt.connpass.com/event/317178/ このプレゼンテーションでは、サイボウズ社のGaroonのE2Eテストについて、GitHub Actions self-hosted runner 上で実行していたE2Eテストを高速化・安定化させるために取り組んだこと、E2Eテストワークフローの視点の改善アイディアについて話されます。GaroonのE2Eテストにおける実行時間とFlakyが問題となっており、その改善に取り組んだ内容が紹介されています。 おすすめタグ：GitHub Actions,E2Eテスト,self-hosted runner,Garoon,テストワークフロー
背景 こんにちは！Hanoi Dev Centerでバックエンドエンジニアをしているminhquangです。この記事では、私がAI事業本部のある新規プロダクト開発に参画した際に経験したパフォーマンスチューニングについて話したいと思います。 皆さんはサービスのローンチ(サービスを世の中に初めて出すリリース)をやったことがありますか。サービスローンチするときに、リクエストのスパイクや、ユーザー数の増加によるサーバー負荷増加など、様々な未知な課題が存在します。 私のチームでは数百万人の利用が見込まれるサービスにおいて、18000RPSを実現するべく負荷試験とパフォーマンスチューニングを実施しました。 本記事では、上記のサービス要件を満たすために私たちが取り組んだ負荷試験やパフォーマンスチューニングについて説明しつつ、これらの経験から得られた学びを共有したいと思います。 前提 技術スタック サーバ
大規模サービスの負荷試験を改善していった話
こんにちは！株式会社COMPASSのシステム開発部、SREチームのごーすと(@5st7)です！普段は、k8s周りの運用であったり、アプリケーションのパフォーマンスの監視、改善、インフラ周りの自動化などを積極的に進めています。三度の飯よりも好きなものがプリンで、美味しいプリンの店とかが流れてきたら1営業日以内に馳せ参じます。プリン好きな人はお店で会いましょう。 今日は負荷試験の取り組みについてご紹介できればと思います。COMPASSが提供するキュビナは現在100万人を超えるユーザーに利用していただいていますが、その分トラフィックも大きく、安定してサービスを提供できるようにするために、様々な工夫をしています。その中でも利用の集中する時間帯の負荷に耐えられるかの検証は非常に重要な取り組みの一つです。今回は、COMPASSが今まで負荷試験にどのように取り組んできたのか、その歴史と改善を行っていった
感情やストレスが高まる職場で、怒りをコントロールすることは重要です。しかし、従来のアンガーマネージメントの手法では、その効果を実感するのが難しいと感じる方も多いのではないでしょうか。今回は、株式会社PDCAの学校 代表の浅井隆志氏が、現場で実践できる＜新＞アンガーマネージメントを解説しました。本記事では、職場でのコミュニケーション不足が生む弊害や、部下と効果的にコミュニケーションを取るタイミングなどが語られました。 前回の記事はこちら チームの結束力とパフォーマンスを高める伝え方 浅井隆志氏：では、どのように感情を伝えれば良いのかをケーススタディで具体的にお伝えしたいと思います。 3年目の社員、太郎君は同期の中でも一番のがんばり屋さんです。誰よりも早く出社し、事前準備を怠りません。成果も一番出ています。しかし、業務量が多い繁忙期に気負いすぎて、案件を持ちすぎてしまいました。 上司は気にかけ
分散トレーシングを使ってパフォーマンス改善をやってみたら、レスポンスタイムを2割近く改善できたお話 - Tabelog Tech Blog
目次 目次 はじめに そもそもシステム運用改善チームとは何か？ なぜアプリAPIのパフォーマンス改善が必要になったのか？ どうやって改善箇所を見つけるのか？ 分散トレーシングを使って、店舗詳細APIを細かく分析する 計測結果の見方 計測結果から分かったこと 計測結果から見つけたポイントに改善を実施していく コースに紐づくクーポンの取得 口コミを取得する処理と公開画像数のカウント ユーザーごとの公開口コミ投稿数の合計数カウント 全体での改善効果はどうだったか？ パフォーマンス改善の影響 ユーザー体験が向上した 今後の食べログ成長に備えたシステム上の余裕ができた 食べログの分散トレーシングを使って改善を実施してみてよかったこと おわりに はじめに こんにちは。食べログ開発本部 ウェブ開発1部 システム運用改善チームの @4palace です。 今回は、私の所属するシステム運用改善チームが食べロ
New to the world of web performance? Welcome! Here's everything you need to know to master website monitoring, analytics, and diagnostics. Learn how to deliver a fast, joyous experience to all your users. Business Success Making your pages faster isn't just for the web performance geeks in your organization. Site speed affects every business metric you care about – from bounce rate to conversions
時間の使い方が変わる。作業スピード＆パフォーマンス管理ツール4選【今日のライフハックツール】 | ライフハッカー・ジャパン
もう容量不足に怯えない。サンディスクのmicroSD 1.5TBは在庫があるうちに回収だ #Amazonセール
SaaS 向けリレーショナルデータベースのスケーリング (Part 1: 一般的なスケーリングパターン) | Amazon Web Services
Amazon Web Services ブログ SaaS 向けリレーショナルデータベースのスケーリング (Part 1: 一般的なスケーリングパターン) ビジネスが成長するにつれて、SaaS (Software as a Service) プロバイダーが直面する課題の 1 つは、テナントのエクスペリエンスをどのように維持するかです。これには、テナントベースが拡大するにつれて、許容できるパフォーマンスとレスポンスタイムを確保することが含まれます。Amazon Relational Database Service (Amazon RDS) や Amazon Aurora などのリレーショナルデータベースは、一般的に SaaS プロバイダーによって使用されています。ビジネスが成長するにつれて、データベースのスケーリング方法も決定する必要があります。 SaaS ビルダーとしての課題は、SaaS
Intro biomeにはforEachを使用すると、for...ofを使用するようにエラーが出ます。これはnoForEachというrecommendedルールによるものです。 今回はなぜfor...ofを使うように推奨しているのかを、処理速度の観点で見ていきます。 Performance ドキュメントには以下のように記載されています。 Performance: Using forEach can lead to performance issues, especially when working with large arrays. When more requirements are added on, forEach typically gets chained with other methods like filter or map, causing multiple iter
DatadogでAPI毎のSQL発行数を可視化してN+1を改善！ - Nealle Developer's Blog
こんにちはSREチームの宮後(@miya10kei)です。最近、スマートホーム化にハマっていていろいろと買い漁っています🛒 N+1問題を検知するのって結構大変ですよね？ 今回はDatadogを使ってN+1問題を可視化し、パフォーマンス改善につなげた話を紹介したいと思います。 ※ 2024/05/29に開催されたJapan Datadog User Group Meetup#4 でもLTしてきました🎤 speakerdeck.com N+1問題とは？ N+1問題は主にデータベースへのクエリーを扱う際に出くわすパフォーマンス上の問題です。1つのクエリーでN件のデータを取得した後にそれぞれのデータに対して追加でクエリーが発行されることでパフォーマンスを大幅に低下させます。（1 + N問題と呼んだ方がしっくりくる気がしますが...🤫） 背景 この取り組みを始めた経緯は、システムへのリクエスト
はじめに パフォーマンス改善についての参考文献 実機計測 フィーチャーフラグ 計測・プロファイリング 効果見積 効果計測 おわりに はじめに こんにちは、クラスター株式会社のソフトウェアエンジニアのsotanです。今回はUnityクライアントのパフォーマンス改善の取り組みについて紹介します。ユーザーの皆さまに快適な体験を提供できるように、新機能の開発や既存機能の拡張・修正と並行して、パフォーマンス改善に取り組んでいます。具体的な改善点や改善方法を全て紹介することはできないのですが、どのような雰囲気で進めているのかを知ってもらえればと思います。 パフォーマンス改善についての参考文献 Unityアプリケーションのパフォーマンス改善に必要となる基礎知識やノウハウについては、 【Unite 2017 Tokyo】最適化をする前に覚えておきたい技術（docswell, YouTube） Unityパ
Welcome to e18e! e18e (Ecosystem Performance) is an initiative to connect the folks and projects working to improve JS packages performance. We'd also like to provide visibility to the efforts of countless Open Source developers working to cleanup, levelup, and speedup our dependencies. We invite you to get involved in the different projects linked from these pages, and to connect with others lik
GitHub - e18e/e18e
The e18e (Ecosystem Performance) project is an initiative to bring together the groups and individuals who are passionate about improving performance of the JavaScript ecosystem. Many ongoing efforts are already happening in this space, from dependency tree cleanups to performance optimizations, and much more. Our aim is to provide a space for contributions, ideas and knowledge sharing around the
エンジニアのみなさま、日々の学習本当にお疲れ様です！ また本記事まで足を運んでいただき本当に感謝です。 約2分程度で読めるので最後まで読んでもらえると幸いです。 タイトルに対する結論 Chrome DevToolsの項目にある 「Lighthouse」 を活用しましょう。 Lighthouseとは ウェブページの品質向上に役立つよう開発されたオープンソースの自動化ツールです。任意のウェブページ、公開ページ、認証要求ページに対して実行できます。パフォーマンス、ユーザー補助、プログレッシブ ウェブアプリ、SEO などの監査を実施しています。 デジタル庁のサイトを使って確認してみる テキストだとイメージしづらいため、早速サイトを見ながら確認してみましょう。 確認手順 1. 対象サイトを開いた状態で「Chrome DevTools」を開く 画面上に「Chrome DevTools」が表示されます
近似近傍探索のチューニングで気をつけること
本記事ではFaissやScaNNといったライブラリに実装されているIVF-PQ系の近似近傍探索手法のパラメータチューニングの際に気をつける点を紹介します。pythonのプログラム上で動かすことを想定していて、vertex AI vector searchのようなAPIで行うものは対象外です。ただ、OpenSearchではfaissを近似近傍探索として選ぶことができるため、チューニングの参考になるかもしれません。 はじめに: ANN-Benchmarksの罠 ANNの性能とパフォーマンスの参考になるサイトとして、ANN-Benchmarksというサイトがあります。このサイトでは各近似近傍探索のパフォーマンスが様々なベンチマークにより比較されており、近年ではFaissに実装されているFastScanやTensorFlow recommendersから使えるScaNNといった、高速化されたIVF
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SSH接続を10倍速くするたった3行の設定 - Qiita
動画生成AIについて：一番星はてのは目をゆっくり開き、踊れるか
Pythonの爆速化！ ピュアPythonに組み込まれている機能でコードの最適化を実現するには
E2Eテストワークフローを高速化・安定化させる取り組み | ドクセル
大規模サービスのローンチに向け、パフォーマンスチューニングした話 #go #aws
成果を出させる上司が「ミスの指摘」の前に部下に伝えること 「詰める」ではなく、チームの結束力とパフォーマンスを高める方法
Sysinternalsの高機能プロセスモニター「Process Monitor」が12年ぶりのメジャー更新／インターフェイス、フィルタリング、パフォーマンスを改善した「Process Monitor 4.0」
Web Performance Guide | SpeedCurve
BiomeがforEachではなくfor...ofを推す理由を処理速度の観点から見る
Unityクライアントのパフォーマンス改善の進め方 - Cluster Tech Blog
【Hothotレビュー】 Core Ultra 7 165H搭載の最新NUC登場！高性能かつ静かなミニPC「ASUS NUC 14 Pro」
e18e
Webサイトのパフォーマンスを簡単に確認する方法 - Qiita