並び順

ブックマーク数

期間指定

  • から
  • まで

441 - 480 件 / 1719件

新着順 人気順

postgresの検索結果441 - 480 件 / 1719件

  • MySQL闇歴史 - Qiita Advent Calendar 2022 - Qiita

      MySQL闇歴史 - Qiita Advent Calendar 2022 - Qiita
    • Xata – Postgres at scale

      Postgres at scaleXata helps you operate and develop with Postgres at scale. For AWS RDS, Amazon Aurora, GCP Cloud SQL, Azure Database. Or, we host it for you.Xata helps you operate and develop with Postgres at scale. For AWS RDS, Amazon Aurora, GCP Cloud SQL, Azure Database. Or, we host it for you. Improve developer velocityMove faster with instant Copy-on-Write branches, including anonymized data

        Xata – Postgres at scale
      • MySQLの新サービス「HeatWave」、SQLそのままで最大3000倍高速に。DMM.comが検証[PR]

        DMM.comは、動画配信やオンラインゲーム、オンライン英会話から株式や外国為替の取引まで、さまざまなサービスを20以上のグループ会社で提供しています。 同社のデータ基盤のデータベースにはMySQLが採用され、運用されてきました。 そのデータベースをMySQL 8.0へ移行するにあたり、移行先の候補とされたのがOracle Cloud上のマネージドサービスとして提供されているMySQLの新サービス「MySQL Database Service with HeatWave」(以下、HeatWave)です。 DMM.comは同社の実際のデータとSQLを使ってHeatWaveを評価。結果として最大で3000倍もの性能向上が得られたとする発表を、2021年5月に行われたウェビナー「DMM.comにおけるMySQL活用術とHeatWave検証結果解説」で行いました。 またオラクルはHeatWaveの

          MySQLの新サービス「HeatWave」、SQLそのままで最大3000倍高速に。DMM.comが検証[PR]
        • PostgreSQLには「中途半端なサイズ」のデータを格納しないほうがいい

          ウェブサイトやアプリケーションには、ユーザー名やメールアドレスといった小さなサイズのものからブログ本文といった大きなサイズのものまで多種多様なサイズのテキストが使われています。一般的にはテキストサイズによってデータベースを使い分けることはありませんが、データベースのPostgreSQLでは「中途半端なサイズ」のテキストデータを格納するとパフォーマンスの低下につながるという調査結果とその仕組みを、ソフトウェアエンジニアのHaki Benita氏が説明しています。 The Surprising Impact of Medium-Size Texts on PostgreSQL Performance | Haki Benita https://hakibenita.com/sql-medium-text-performance PostgreSQLの場合、データベースのインデックスとテーブルは

            PostgreSQLには「中途半端なサイズ」のデータを格納しないほうがいい
          • MySQL をアップグレードした後日、時間差で発生した Rails アプリの不具合とは? - LIVESENSE ENGINEER BLOG

            これは Livesense Advent Calendar 2024 DAY 21 の記事です。 転職会議の池田です。MySQL を 8.0.19 以上のバージョンにアップグレードした際に時間差で発生した Rails アプリケーションの不具合とその対応について書きます。 TL;DR なにがおきたか MySQL 8.0.19 と ActiveRecord の Boolean キャスト 実際に問題となるタイミング どのように対応したか 再発防止のために おわりに TL;DR MySQL 8.0.19 から 整数型の表示幅が表示されなくなることで、 ActiveRecord が tinyint(1) のカラムに対して行っている Boolean キャストが行われなくなる 整数型の表示幅は MySQL をアップグレードしただけでは表示されたままで、ALTER TABLE を実行したタイミングで表示さ

              MySQL をアップグレードした後日、時間差で発生した Rails アプリの不具合とは? - LIVESENSE ENGINEER BLOG
            • Amazon Aurora のインフラコストを55%削減しました。 - Stanby Tech Blog

              はじめに こんにちは。スタンバイで求人データ管理に関するバックエンドエンジニアをしている池田です。 スタンバイはWEB上に存在する大量の求人を一括検索できるサービスを提供しており、その求人票のマスタのデータは Amazon Aurora を使って運用しております。 以下の記事で説明をしておりますが、2021年に求人取込直後の求人情報を構造化データとして保存するために Amazon Aurora を採用しました。 スタンバイの求人情報取込の仕組みを作り直した話 〜序章〜 DBエンジンとして Aurora ( MySQL 5.7 ) を利用しております。 ストレージエンジンとしてInnoDBを利用しております。 しかし作り直しから時が経ち、求人票の増加や各種機能の追加等によって Aurora のデータ量は想定上の速さで増加していき、それに比例する形でインフラコストも増加し続けていました。 今回

                Amazon Aurora のインフラコストを55%削減しました。 - Stanby Tech Blog
              • SoundCloudみたいなサービスを個人で開発した

                サービス概要 タイトル通り、現状はSoundCloudみたいに自分の作った曲を投稿できるサービスです。 現在実装されている機能は以下の通りです。 楽曲投稿 アルバム ランキング メッセージ(DM) フォローとフィード(タイムライン) いいねとブックマーク タグ・キーワードによる検索 このようにとりあえずSoundCloudのような楽曲投稿サービスとしての機能は最低限備えていますが、ゆくゆくはミュージシャンの活動拠点になることを目指しています。というのは、例えばYouTubeへの投稿や各種サブスク配信へのリンク、またライブなどイベントへの参加日程など、活動の実績/予定などがすべて1ページでわかるようにしたいと思っています。 また、ミュージシャン同士の交流/発見の場にしていきたいです。バンドメンバーや演奏を依頼する相手を見つけるのに適した場所はあまりありません(いわゆるメン募サイトは機能不全だ

                  SoundCloudみたいなサービスを個人で開発した
                • Hasura, PostgreSQL, MySQL対応の速度改善ツールを作りました - GravityR

                  はじめに DBが遅い原因の多くはインデックスの作り忘れです。 サーバーの性能アップやパラメータ変更の効果も大きいですが、まず最初に検討するべきはインデックスでしょう。 EXPLAINの結果をにらみながら、効果のありそうな場所を探します。 ただ、厄介なのはEXPLAINの結果が読みづらいことです。 EXPLAINの読み方を説明している本やサイトはいくつもありますが、EXPLAINを使う機会が少ないため、読める人が限られた、職人芸に近い技術になっています。 なので、EXPLAINを読まなくてもインデックスを作れるツールをGoとSvelteで作りました。 GravityRを使うと、下のようにEXPLAINをタイムライン形式にした図やインデックスの効果を表示したHTMLが作成されます。 紹介 GravityRはHasura、PostgreSQL、MySQLに対応しています。 実行ファイルをgith

                    Hasura, PostgreSQL, MySQL対応の速度改善ツールを作りました - GravityR
                  • オンプレKubernetesでMySQLクラスタの運用を自動化するためにOperatorを自作している話

                    CloudNative Days Spring 2021 ONLINE の発表資料です。 https://event.cloudnativedays.jp/cndo2021/talks/171

                      オンプレKubernetesでMySQLクラスタの運用を自動化するためにOperatorを自作している話
                    • 実例で学ぶ MySQL/MariaDB デバッグ - nayuta-yanagisawa's blog

                      この記事では、MySQL/MariaDB のバグを修正するための典型的な手順を、具体例を通して解説する。次の MariaDB のバグを例として取り上げるが、基本的なデバッグの手順は MySQL でもまったく同様である。 MDEV-24868: Server crashes in optimize_schema_tables_memory_usage after select from information_schema.innodb_sys_columns なお、MySQL/MariaDB のデバッグ方法についての包括的な解説を与えるのは、この記事のスコープ外である。デバッグ手法の詳細を知りたい場合は、以下の一連の記事を参照してほしい。 Debugging MySQL/MariaDB (1): Build and Test Debugging MySQL/MariaDB (2): DBU

                        実例で学ぶ MySQL/MariaDB デバッグ - nayuta-yanagisawa's blog
                      • postgres.new: In-browser Postgres with an AI interface

                        Introducing database.build (formerly postgres.new), the in-browser Postgres sandbox with AI assistance. With database.build, you can instantly spin up an unlimited number of Postgres databases that run directly in your browser (and soon, deploy them to S3). Each database is paired with a large language model (LLM) which opens the door to some interesting use cases: Drag-and-drop CSV import (genera

                          postgres.new: In-browser Postgres with an AI interface
                        • GitHub - kysely-org/kysely: A type-safe TypeScript SQL query builder

                          Kysely (pronounce “Key-Seh-Lee”) is a type-safe and autocompletion-friendly TypeScript SQL query builder. Inspired by Knex.js. Mainly developed for Node.js but also runs on all other JavaScript environments like Deno, Bun, Cloudflare Workers and web browsers. Kysely makes sure you only refer to tables and columns that are visible to the part of the query you're writing. The result type only has th

                            GitHub - kysely-org/kysely: A type-safe TypeScript SQL query builder
                          • PostgreSQLの実行計画の推定行数と実行数の乖離改善の考え方

                            はじめに 以前こんなツイートをしました。 すると、リプライで色々とコメントを頂きました。(疑問を投げかけたら答えてくれる方々、本当にいつもありがたいです🙇‍♂️) ということで、本記事では推定行数と実際の行数の乖離を減らすために何をやったのかを備忘として書きます。 ただ、実際のSQLや実行計画を書くことはできないので、あくまでどんな考え方をしたのか、ということを書きます。 対処法①(対象のテーブルのautovacuum頻度を変更) 対象のテーブルはかなり更新の激しいテーブルだと聞いていたので、まずは統計情報が最新化されているかを考えました。 更新が激しくてautovacuum時の自動ANALYZEが追い付いていないんじゃないかと考え、対象のテーブルだけ自動ANALYZEの頻度が上がるように設定を変更しました。 PostgreSQLの設定パラメータは基本的にはpostgresql.conf

                              PostgreSQLの実行計画の推定行数と実行数の乖離改善の考え方
                            • レプリケーションとは、仕組み~3つのお勧めケースまで総解説

                              メリット1:システムを止めずに業務継続を可能にする複製元(稼働系)から複製先(待機系)にリアルタイムにデータを複製することで、稼働系にシステム障害が起こっても、待機系へ切替えることで復旧が可能となり、ダウンタイム(システムが停止している時間)を最小限に抑えられます。 メリット2:システムへの負荷分散ができる例えば、データベースの規模が大きかったり、アクセス頻度が高いといった場合、サーバーに過度の負荷がかかり、処理ができずサーバーがダウンする可能性がありますが、複製側のサーバーを参照用にしたり、データ解析用途では複製側のサーバーで処理を行うなど、アクセスを分散させることによって負荷を軽減し、全体のパフォーマンスを向上させることができます。 メリット3:サーバー移行の時間短縮になるサーバーの移行でも、できるだけ業務を止めずに簡単に済ませたいものです。レプリケーションを利用することで、システムを

                                レプリケーションとは、仕組み~3つのお勧めケースまで総解説
                              • 組織戦略と GraphQL、Hasura

                                From Spring Boot 2 to Spring Boot 3 with Java 22 and Jakarta EE

                                  組織戦略と GraphQL、Hasura
                                • Auroraバージョンアップに伴い改めてMySQL5.7の押さえるべきポイントについて勉強会を開催しました! - ANDPAD Tech Blog

                                  こんにちは!エンジニアの福間(fkm_y)です。 弊社でデータベースの技術顧問をして頂いている三谷(mita2)さんに、MySQL5.7の追加機能についての開発部向け勉強会を実施いただきましたのでそのレポートをお伝えします。 開催背景 弊社では三谷さんによるデータベース勉強会を定期的に開催しており、3月にもMySQLロックの基礎編の勉強会を開催しました。 ANDPADでは、今年の4月にAurora MySQLをVer.1(MySQL5.6互換)からVer.2(5.7互換)にバージョンアップを実施しました。 tech.andpad.co.jp Aurora MySQL Ver.2 になることで使えるようになった、MySQL5.7で追加された機能について開発者に知ってもらい、普段の開発に取り入れてもらうためにMySQL5.7の勉強会を開催することとしました。 今回は追加された150以上の新機能

                                    Auroraバージョンアップに伴い改めてMySQL5.7の押さえるべきポイントについて勉強会を開催しました! - ANDPAD Tech Blog
                                  • スロークエリを改善したらECSの負荷が爆下がりした話(TypeORM)

                                    TL;DR TypeORMで発生していたスロークエリを改善 スロークエリを改善したらECSの負荷も減少 はじめに スロークエリを改善したら、ECSコンテナ側の負荷も下がってなんでだろ?と思ったので記事にしようと思います。 環境 TypeORM v0.3.20 Node.js v18.x バックエンドインフラ ECS on Fargate => Amazon Aurora MySQL 負荷改善の前と後 まずはどのくらい改善したのかを示します。 この時ECSコンテナ8台動いてました。(4vCPU 8GBMem) 改善前 改善後 改善前と改善後は一日前の同じ時間帯のものです。 ちゃんと動いてるのか不安になるくらい下がってました笑 どのような対応をしたのか スロークエリの出ていたクエリでMySQLの実行計画を確認しました。 TypeALL,index, Using Filesort等はなかったので

                                      スロークエリを改善したらECSの負荷が爆下がりした話(TypeORM)
                                    • 「背中を預け合える仲間と働きたい」。DBエンジニア 田中翼(yoku)が語るMySQLと仕事観 - さくマガ

                                      さくらインターネット 「背中を預け合える仲間と働きたい」。DBエンジニア 田中翼(yoku)が語るMySQLと仕事観 # エンジニア# 社員インタビュー Welcome Talk「ようこそ、さくらへ!」 2025年5月30日 社会を支えるパブリッククラウドを一緒に作りませんか? >>さくらインターネットのエンジニア採用情報を見る 社員インタビュー記事や求人情報をお届け! >>さくマガのメールマガジンに登録する さくらインターネットではエンジニアの採用を積極的におこなっています。今回は、2025年5月に入社した、クラウド事業本部 テクノロジー室の田中翼にインタビューを実施しました。インタビュアーは、一足早くさくらインターネットへ入社したクラウド事業本部 後藤秀宣。これまでのキャリアのほか、転職理由やこれからさくらインターネットでやりたいことなどを聞きました。 田中 翼(たなか つばさ) プロ

                                        「背中を預け合える仲間と働きたい」。DBエンジニア 田中翼(yoku)が語るMySQLと仕事観 - さくマガ
                                      • LPI-Japan、「オープンソースデータベース標準教科書 -PostgreSQL-」のバージョン3.0.0を公開

                                          LPI-Japan、「オープンソースデータベース標準教科書 -PostgreSQL-」のバージョン3.0.0を公開
                                        • JavaScriptランタイムのBun、PostgreSQL/MySQLのDBクライアント機能を搭載

                                          オープンソースで開発されているJavaScriptランタイム「Bun」の最新版となる「Bun 1.2」正式版が登場しました。 Bun v1.2 is herehttps://t.co/m3Q4xJ7l88 — Bun (@bunjavascript) January 22, 2025 BunはNode.js互換のJavaScriptランタイム機能に加えてTypeScriptのランタイム機能も備え、さらにトランスパイラ、バンドラ、タスクランナー、npm互換のパッケージマネージャなど、JavaScript/TypeScriptのツールチェーンを統合したソフトウェアです。 Windows版、Linux版、macOS版が提供されています。 PostgreSQLクライアント機能を搭載 Bun 1.2ではPostgreSQLのデータベースクライアント機能が搭載されました。ライブラリやSDKに依存するこ

                                            JavaScriptランタイムのBun、PostgreSQL/MySQLのDBクライアント機能を搭載
                                          • MySQLベースの分散インメモリDB「HeatWave」の最適化と運用自動化を支援する「MySQL Autopilot」、オラクルが発表

                                            MySQLベースの分散インメモリDB「HeatWave」の最適化と運用自動化を支援する「MySQL Autopilot」、オラクルが発表 オラクルは、MySQLのデータベースエンジンに分散インメモリデータベース機能を搭載し、高速なデータ分析が可能な「HeatWave」向けの新機能として、機械学習による性能の最適化などを提供する「MySQL Autopilot」を発表しました。 Say hello to MySQL Autopilot, the in-memory query acceleration engine for @MySQL HeatWave Database Service in #OCI. https://t.co/u9aKiwoJCf pic.twitter.com/ec6sMJ1Fhs — Oracle (@Oracle) August 11, 2021 HeatWave

                                              MySQLベースの分散インメモリDB「HeatWave」の最適化と運用自動化を支援する「MySQL Autopilot」、オラクルが発表
                                            • Benchmarking PostgreSQL: The Hidden Cost of Over-Indexing

                                              All of Percona’s open source software products, in one place, to download as much or as little as you need.

                                                Benchmarking PostgreSQL: The Hidden Cost of Over-Indexing
                                              • RustでWasm Runtimeを実装してみた

                                                はじめに 最近Wasmの勢いがすごくて、ブラウザでPostgreSQLを動かせたり、DockerでWasmを動かせたりできます。 以前からWasm自体に興味があって、動作原理を知りたいと思ってchibiwasmというRuntimeを実装してみました。 Rustを選んだのは、最近Rustを勉強していてそれに慣れるためです。 苦労しましたが、*.wasmがどのようにして実行されるのかを理解できたので良かったです。 今回はWasmのバージョン1の仕様を満たすように実装して、テストスイートは正常系と実行時異常系のテストは通しましたが、バリデーションなどのテストはスキップしています。 また、少しだけバージョン2の命令とWASIを実装していて、RustからビルドしたHello Worldを標準出力するwasmバイナリも動きます。 本記事は実装したWasm Runtimeの概要と、実装を通して学んだこと

                                                  RustでWasm Runtimeを実装してみた
                                                • 致命的なバグを含まない最新版MySQLを探すには? 『MySQL徹底入門』共著者が語る、バージョン選びのポイント | ログミーBusiness

                                                  MySQLの実運用とこれからについて掘り下げる「LINE Developer Meetup #73 - MySQL」。ここで登壇したのは、LINEの従業員でもある日本MySQLユーザ会のyoku0825氏。MySQL 8.0.28を選んだ経緯や評価のポイントについて説明しました。 セッションの要約と登壇者の自己紹介yoku0825氏(以下、yoku0825):「ぼくらが選んだ次のMySQL 8.0」の話をします。私たちは、次のMySQLを8.0.28にしました。みなさんには、それぞれ29や30や自分の使いたいバージョンについて調べてもらいたいのですが、量が膨大になるので、今いるバージョンから新しいほうに向かって調べていくのではなく、最新のものからこれはダメだというものまで遡って調べていくのがおすすめです。 パラメーターに現れない、いきなり挙動が変わるかもしれないものは「What Is Ne

                                                    致命的なバグを含まない最新版MySQLを探すには? 『MySQL徹底入門』共著者が語る、バージョン選びのポイント | ログミーBusiness
                                                  • ECS を利用した検証環境の自動構築 ~運用3年を経て得た知見~ - メドピア開発者ブログ

                                                    CTO 室 SRE kenzo0107 です。 以前執筆した ECS を利用した検証環境の自動構築について、運用開始から3年の時を経ました。 実運用とその上で頂いた要望を取り入れ変化してきましたので、その経緯を綴ります。 tech.medpeer.co.jp 本稿、議論を重ね改善を進めて頂いたチームメンバーの知見を集めた元気玉ブログとなっております。 前提 社内では、以下の様に呼び分けしています。 本番相当の検証環境を STG 環境 本記事で説明する自動構築される仕組みを持つ環境を QA 環境*1 検証環境の自動構築の目的 開発した機能を開発担当者以外でも簡易的に確認できる様にし、以下を促進します。 ディレクターと開発者の仕様齟齬を減らす 改善のサイクルを高速化する 当時の検証環境の自動構築の仕組み 大まかな流れ ① ブランチ qa/foo を push ② CircleCI 実行 ③ C

                                                      ECS を利用した検証環境の自動構築 ~運用3年を経て得た知見~ - メドピア開発者ブログ
                                                    • PGlite + pgvector で100行で実装するベクトル検索 (node/deno/drizzle)

                                                      pglite + pgvector で文章の類似度検索を実装します。 動機 とにかく手っ取り早くローカルにデータを突っ込んでおいて検索する RAG の雛形がほしかったんですが、調べても大規模ストレージを前提とした大掛かりな実装が多いです。 スクリプトを書いたらポンと実行できるセットアップ不要なものがあると、色々と実験ができます。 mastra/rag を読んでたら、簡単にできる気がしたのでやりました。ただ、chunk のドキュメント分割相当のものはまだ作ってません。そこまで難しい概念でもないので、雑に作れそうではあります。 qrdrant も検討しましたが、サーバーを建てるのが面倒でした 準備: ベクトル化用の関数 今回は @ai-sdk/openai を使ってベクトル化をします // OPENAI_API_KEY= import { openai } from "@ai-sdk/open

                                                        PGlite + pgvector で100行で実装するベクトル検索 (node/deno/drizzle)
                                                      • EdgeDB 1.0 | EdgeDB Blog

                                                        Check out the discussion of this post on Hacker News. See the recording of the live launch event on YouTube. Today, after several years of building (and a long list of prereleases) we are extremely proud to announce the release of EdgeDB 1.0, the first open source, graph-relational database! 🎊 A brief Q&A is in order. What are the killer features? Modern, lean query language designed to surpass S

                                                          EdgeDB 1.0 | EdgeDB Blog
                                                        • 2021 – Most Viewed Decks

                                                          Here are the 21 most viewed decks of 2021: 解像度を高める / Increase Resolution Webアプリケーション概要 2021 / Web Application Overview 2021 SmartHR会社紹介資料 / SmartHR company introduction material 研究をはじめる前に知っておいて欲しい7つのこと - Welcome to Lab / 7 things you should know before you start your research - Welcome to Lab ベテラン技術者が新しい環境で大失敗した話 / A story about a veteran engineer making a big mistake in a new environment 50分で学ぶアル

                                                            2021 – Most Viewed Decks
                                                          • Amazon Aurora MySQL バージョン 2 (MySQL 5.7 互換) からバージョン 3 (MySQL 8.0 互換) へのアップグレードのチェックリスト、パート 1 | Amazon Web Services

                                                            Amazon Web Services ブログ Amazon Aurora MySQL バージョン 2 (MySQL 5.7 互換) からバージョン 3 (MySQL 8.0 互換) へのアップグレードのチェックリスト、パート 1 本記事は、Amazon Aurora MySQL version 2 (with MySQL 5.7 compatibility) to version 3 (with MySQL 8.0 compatibility) upgrade checklist, Part 1 を翻訳したものです。 Amazon Aurora MySQL 互換エディション バージョン 2 (MySQL 5.7 互換)は 2024 年 10 月 31 日に標準サポートの終了が予定されています。Amazon Aurora MySQL バージョン 2 の標準サポートの終了タイムラインについて

                                                              Amazon Aurora MySQL バージョン 2 (MySQL 5.7 互換) からバージョン 3 (MySQL 8.0 互換) へのアップグレードのチェックリスト、パート 1 | Amazon Web Services
                                                            • 重要なのは「基本を押さえ、適したものを採用すること」 “本来の役割”を押さえたアプリケーション設計 | ログミーBusiness

                                                              今回はアプリケーションアーキテクチャを学ぶ最初の一歩として、「MVC」や「3 層アーキテクチャ」などの基本的な用語の意味や関係性を整理する「改めて整理するアプリケーション設計の基本」。ここで大嶋氏が登壇。最後に、本来のアクティブレコードの設計パターンと役割について整理します。前回はこちらから。 アクティブレコード系のO/Rマッパーを使用している場合のステップアップ方法大嶋勇樹氏:次に「Controllerに全部書く」からのステップアップの例2を出していこうと思います。 (スライドを示して)今度はRuby on RailsやLaravelといった、アクティブレコード系のO/Rマッパーを使う例を考えてみようと思います。よくある苦しくなりやすい構成はこうなっています。 最近はやはりRailsやLaravelを使って開発している例も多いし、入門で勉強する方も多いのですが、このRails、Larav

                                                                重要なのは「基本を押さえ、適したものを採用すること」 “本来の役割”を押さえたアプリケーション設計 | ログミーBusiness
                                                              • NocoDB Cloud

                                                                This website employs cookies to guarantee that you receive the optimal experience while using our platform. We use cookies for the best user experience.

                                                                  NocoDB Cloud
                                                                • AuroraとRDSの違いを一覧表でまとめてみた | DevelopersIO

                                                                  こんにちは、つくぼし(tsukuboshi0755)です! AWSでリレーショナルデータベースを使用する際に、多くの場合で一度はAuroraとRDSのどちらを使うか検討する事になると思います。 そこで今回は、AuroraとRDSのポイントを比較しやすいように、機能面と料金面の2点において、ざっくり一覧表で簡単にまとめてみます! 機能比較表(2023/4現在) まずはAuroraとRDSについて、機能面から一覧表でまとめてみます。 比較項目 Aurora RDS

                                                                    AuroraとRDSの違いを一覧表でまとめてみた | DevelopersIO
                                                                  • pt-online-schema-changeの導入時に検討したこと、およびRailsアプリとの併用について - freee Developers Hub

                                                                    おはこんばんちは、Database Reliability Engineer (DBRE) の橋本です。今回は、pt-online-schema-changeというデータベースのスキーマ変更ツールを社内の運用に持っていくための過程や、freeeにおける運用上の工夫を紹介します。pt-online-schema-changeはある程度枯れた技術なので、いくつか事例が紹介されており、すでに運用に乗せている組織もあるかと思われますが、これから新規に導入する方などの参考になると幸いです。 背景 freeeではほぼ毎月ペースで深夜に定期メンテナンスを行なっており、おもにインフラの更新作業やアプリケーションの機能追加に伴うデータベースのスキーマ変更が行なわれます。 ここで少し寄り道をして、スキーマ変更を行なうためのMySQL(ストレージエンジンにInnoDBを使っている前提で進めます)のDDLのパター

                                                                      pt-online-schema-changeの導入時に検討したこと、およびRailsアプリとの併用について - freee Developers Hub
                                                                    • Software Design 2024年8月号 連載「レガシーシステム攻略のプロセス」第4回 ZOZOTOWNリプレイスにおけるマスタDBの移行 - ZOZO TECH BLOG

                                                                      はじめに 技術評論社様より発刊されているSoftware Designの2024年5月号より「レガシーシステム攻略のプロセス」と題した全8回の連載が始まりました。 ZOZOTOWNリプレイスプロジェクトで採用したマイクロサービス化のアプローチでは、安全かつ整合性のとれたデータ移行が必須となりました。第4回では、このマスタDBの移行について紹介します。 目次 はじめに 目次 はじめに マスタDB移行 マスタDB移行について 要件と課題 テーブル構成を再設計したうえでデータ移行を実施する ダウンタイムなしでデータ移行を実施する 方針 異なるDBおよびデータスキーマ間で移行を実施するためEmbulkを使用する ダブルライトをリリースし、データ移行中に発生するDBへの書き込みを両DBにアトミックに実施する データを一時DBに格納し、一時DBから移行先DBにデータを移行する BulkloadとBac

                                                                        Software Design 2024年8月号 連載「レガシーシステム攻略のプロセス」第4回 ZOZOTOWNリプレイスにおけるマスタDBの移行 - ZOZO TECH BLOG
                                                                      • Rails 4.2 から 7.1 まで一気にバージョンアップした話 - エムスリーテックブログ

                                                                        こちらはエムスリー Advent Calendar 2024 12日目の記事です。 こんにちは。エムスリーエンジニアリンググループ、コンシューマチームの園田です。 今年になって、かなり古い Rails を最新バージョンまでアップグレードしました。そのときの話です。かなりポエムに近い内容になっていますがご容赦ください。 特に何か変わったことをやっているわけではありませんが、あるあるを共感したもらったり、こんなことやってますという紹介だと思っていただければ幸いです。 システムの特性 社員だけが使える管理画面のサービスで、IP 制限と LDAP 認証がかかっています。 利用頻度はそれなりに高く、毎日オペレータが作業しています。また、Rails で実装されたバッチも多数あります。 なぜ古かったか 一部の機能で PostgreSQL 8.x を直接参照している処理があり、Rails 5 以上だと p

                                                                          Rails 4.2 から 7.1 まで一気にバージョンアップした話 - エムスリーテックブログ
                                                                        • PostgreSQL15の最新機能を解説してみる

                                                                          スターフェスティバル株式会社 の バックエンドエンジニアの @ikkitang です。 上記の自己紹介にもありますが、私はプライベートで日本PostgreSQLユーザー会の理事をやっていて、その活動の一貫として先日の 2022-10-01(土)に行われたOpen Source Conference 2022 Online/Hiroshimaで最新バージョンのPostgreSQL15の最新機能について発表してきました。 スライドは公開しておりますので、以下を見て頂く事で全てを完全に理解していただけるかもしれませんが、解説しながらまとめたいと思います。 PostgreSQLのリリースサイクル PostgreSQLはPostgreSQL開発コミュニティというユーザーグループ主導で開発されています。 毎年9~10月にメジャーバージョンをリリースしておりまして、今年はPostgreSQL15のリリー

                                                                            PostgreSQL15の最新機能を解説してみる
                                                                          • Elasticsearchを使ってリストAPIを100倍高速化した話

                                                                            はじめに こんにちは!私がつとめている CastingONE という会社の SaaS には、テーブル形式のデータ一覧ページがあります。この一覧ページですが、最近データ数が増えれば増えるほど、じわじわとパフォーマンスが悪くなっていってました…。そこで今回は、そのリストデータ取得におけるパフォーマンス改善を行なった時の、パフォーマンス計測方法や検討内容、最終的な結果をまとめてみました。 対象読者 バックエンドのパフォーマンス改善の方法や改善の流れに興味がある方 ちなみに私がこの改善を行なった時のスペックですが、パフォーマンス改善については初心者寄りでした。「パフォーマンス改善って何それ美味しいの?」というレベル感だった当初、「達人が教える Web パフォーマンスチューニング 〜ISUCON から学ぶ高速化の実践」という本には基礎を知るところから大変お世話になったので、ご興味のある方はぜひ読んで

                                                                              Elasticsearchを使ってリストAPIを100倍高速化した話
                                                                            • マルチAZ DBクラスター、RDS(MySQL,Postgres)の新しい高可用性オプションを試してみた | DevelopersIO

                                                                              AWSチームのすずきです。 Amazon RDS でプレビューリリースされたマルチAZ DBクラスター (3−AZ DBクラスター)、 3つのアベイアビリティゾーン(AZ)に3つのインスタンスを配置、1台のライターと、2台のリーダーの構成を試す機会がありましたので、紹介させていただきます。 Readable standby instances in Amazon RDS Multi-AZ deployments: A new high availability option マルチAZ DBクラスターの作成 リージョン マルチAZ DBクラスターをサポートするオレゴン(us-west-2)を利用しました。 DBエンジン MySQL バージョン 8.0.26、PostgreSQL バージョン 13.4 が マルチ AZ DB クラスターをサポートします。 今回は MySQL 8.0.26 を

                                                                                マルチAZ DBクラスター、RDS(MySQL,Postgres)の新しい高可用性オプションを試してみた | DevelopersIO
                                                                              • AWS、リードもライトもスケールするPostgreSQL、「Amazon Aurora PostgreSQL Limitless Database」正式リリース

                                                                                AWS、リードもライトもスケールするPostgreSQL、「Amazon Aurora PostgreSQL Limitless Database」正式リリース Amazon Web Services(AWS)は、読み込み性能も書き込み性能もスケールする新サービス「Amazon Aurora PostgreSQL Limitless Database」の正式リリースを発表しました。 一般にPostgreSQLではリードレプリカを増やして読み込み処理を複数のデータベースサーバに分散させることで、読み込み性能をスケールさせることが可能です。 一方で書き込みはマスターデータベースを稼働させているデータベースサーバのみで処理を行う必要があるために、書き込みをスケールさせるのは困難でした。 Amazon Aurora Limitless Databaseではこの仕組みを刷新。PostgreSQL内部

                                                                                  AWS、リードもライトもスケールするPostgreSQL、「Amazon Aurora PostgreSQL Limitless Database」正式リリース
                                                                                • MySQL 8.0 は遅くなってきてる?何故?(2)

                                                                                  前のエントリの続きです。 念を押しておきますが、このブログの「内容は個人の考えであって、所属組織とは方針が異なる」と考えてください。 さて、MySQL 8.0.xの単スレッド性能がどんどん遅くなってきた要因は幾つかありそうなので切り分けていきたいと思います。 まずは、数年前のエントリ「やはりC++はCよりも遅い?」の影響をできるだけ正確に見積もりたいところです。実行バイナリの最適化レベルを合わせて比較して初めて、ロジックの劣化が判るわけです。コンパイラのオプションの範疇でできるだけ最大の最適化を行って計測したいところです。いくつか試した結果、clangのPGO+LTO が手軽な中では最も効果があったのでそれで同じ計測をしてみましょう。(GCCのPGO+LTO と clangのPGOのみ はこれよりも少し劣ったのでとりあえず。) (補足) PGO は、一旦ターゲットとなる処理をプロファイリン

                                                                                    MySQL 8.0 は遅くなってきてる?何故?(2)

                                                                                  新着記事