Introducing New Heroku Postgres Essential Plans Built On Amazon Aurora
We’re thrilled to launch our new Heroku Postgres Essential database plans. These plans have pgvector support, no row count limits, and come with a 32 GB option. We deliver exceptional transactional query performance with Amazon Aurora as the backing infrastructure. One of our beta customers said: “The difference was noticeable right from the start. Heroku Postgres running on Aurora delivered a boo
Heroku PostgresがAmazon Auroraベースに移行。新プラン「Heroku Postgres Essential」正式リリース
アプリケーションプラットフォームサービスを提供するHerokuは、Amazon Auroraを採用したデータベースサービス「Heroku Postgres Essential」プランの正式リリースを発表しました。 Heroku Postgresは今後Amazon Auroraベースへ移行 Heroku Postgresは、マネージドなデータベースサービスがまだ一般的ではなかったクラウド初期の頃から提供されてきた、代表的なデータベースサービスの1つです。 そのHeroku Postgresを開発、運営してきたHerokuは昨年（2023年）、AWS主催のイベント「AWS re:Invent 2023」でAmazon Auroraチームとの協力を発表し、今後Heroku Postgres全体をAmazon Auroraベースへ移行することを明らかにしています。 「We are migratin
Rails+PostgreSQL+Apartmentでたった1行の変更がレスポンスタイムを3倍速にした話 - KAYAC engineers' blog
こんにちは！ Tech KAYAC Advent Calendar 2023 11日目を担当する荒賀(@ken39arg)です。 在籍期間15年と弊社の中でかなり古参になってしまった私ですが、アドベントカレンダーを年に2本書くのは初めてです。1 今回の内容は、今年7月に無事に成功したお仕事の話で、完了したらブログに書くように言われていたものです。 が、どうしても筆が進まず、のらりくらりと逃げていたのですが、良い年越しをするためにいい加減書いておくか〜という内容です。 TL;DR Rails + PostgreSQL + Apartment という構成のサービスで下記の1行の設定変更コミットを取り込んだ結果・・・ $ git log -n1 -p 64b39f258e9adde2e55752e4f1d5b6be12bcb216 commit 64b39f258e9adde2e55752e4f
Cloud FirestoreからPostgreSQLへ移行したお話 - ZOZO TECH BLOG
はじめに こんにちは。ブランドソリューション開発本部FAANSバックエンドブロックの田村です。普段はサーバサイドエンジニアとしてFAANSのバックエンドシステムの開発をしています。 FAANSとは、弊社が2022年8月に正式ローンチした、アパレル店舗のショップスタッフの販売サポートツールです。FAANSでは、データベースとしてGCPのサーバレスでドキュメント指向のNoSQLデータベースであるCloud Firestoreを当初採用していました。Cloud Firestoreはサーバレスなので運用負荷が掛からず、また安価でスケーラビリティにも優れたハイパフォーマンスなデータベースです。 しかし、Cloud Firestoreを使用して開発・運用していく中で直面した様々な課題からGCPのフルマネージドのリレーショナルデータベースであるCloud SQLのPostgreSQLにデータベースのリプ
日本の観光資源データを可視化してみた - LCL Engineers' Blog
イントロダクション LCLエンジニアチームの杉山です。自分が仕事をさせて頂いている、株式会社LCLは旅人をふやす会社をミッションの一つとして、 バス比較なび、バスツアー、格安移動、海外航空券等のサイトにて情報を掲載して、サービス利用者の皆様へ最適なツアーや交通手段を手頃な値段で探す為の、 お手伝いをさせて頂いています。現状では、情報提供のみで旅行業の登録はしておりませんが、会社では年1回の旅行業務取扱管理者の資格取得をサポートしています。 提携先には運送・旅行関係の企業も多い為、旅行業界の知識を知っておくと、旅行業法的な観点以外にも、データ連携する時に航空券・JR路線(新幹線・在来線)・船舶・貸し切りバス等の データの意味を読み解く時にも理解し易いので、エンジニア職であっても知識として持っておいて損は無いかと思っています。 新幹線の料金は、本州３社、JR四国、JR九州、JR北海道などに跨る
PostgreSQL 14からJSONデータを辞書風にアクセスできるようになりました | DevelopersIO
PostgreSQL 14からJSONBデータをサブスクリプトに対応しました。 JSON型のみ対応し、JBON型では対応していことに注意。 PostgreSQLは9.2からJSONデータに対応しています。 スキーマを意識せずにデータを格納できるため、重宝する一方で、参照・更新時のアクセス方法が独特でとっつきにくいところもありました。 PostgreSQL 14から直感的なサブスクリプト(辞書/マップ)風のアクセスにも対応したため、この方法を紹介します。 ポイント PostgreSQL 14から連結配列風のサブスクリプトに対応。 JSONB型のみ対応。JSON型は未対応 戻り値はJSONB型なので、適宜型をあわせる やってみた 前提 PostgreSQL 14 を起動します。 test=> select version(); version -------------------------
Rails で JSONB を使う際に where で検索する - 約束の地
結論 公式ドキュメントにある演算子を用いましょう。 www.postgresql.org ドキュメントの読み方 上記ドキュメントの読み方についてです。 例えば jsonb ->> text → text という記載内容は次の意味を持ちます。 jsonb には、検索対象となるデータが入る（＝ JSONB 型のカラム名） ->> は、用いる演算子である text → text という記述については、 左側の text は、検索に用いる値の「型」が text であるということ 右側の text は、検索の結果得られる値の「型」が text であるということ 具体例 具体例を書いてみます。 Foobar というモデルの hoge というカラムが JSONB 型であったとします。この hoge というカラムに納められている JSONB 型のデータの中から { "hello": "world" } と
【PostgreSQL】 jsonb型カラムをSQLで検索・集計したい - サーバーワークスエンジニアブログ
Postgresでは9.2からjson型が、9.4からjsonをバイナリ解析して保持するjsonb型が使えるようになりました。 普段のアプリケーション開発ではRuby on Railsのstore_accessorを経由してjsonb型を使うことが多いので、そこまでjsonb型特有の文法で困ったことはないのですが、分析や集計をする時にSQLでjsonb型を扱う必要があり、jsonb型の検索に使える演算子や関数を調べたのでまとめてみたいと思います。 特定のキーの値にアクセスする演算子 例えば次のようなテーブルがあったとして CREATE TABLE sample ( id SERIAL, value JSONB ); INSERT INTO sample (value) VALUES ('{"a": 1, "b": {"c": [1, 2, 3]}, "d": null, "e": true
PostgreSQLのSELECT句ターゲット数上限値「1664」を見る - エムスリーテックブログ
本記事はエムスリー Advent Calendar 2020 の9日目の記事です。 エムスリーエンジニアリンググループの木村です。 今回は今年遭遇したエラーの中で面白かったPostgreSQLのターゲット上限値エラーの話をします。 我々のチームで開発・運用しているアンケートシステムではデータベースにCloudSQL(PostgreSQL)を利用しています。 アンケートシステムでは、ユーザのアンケートの回答を集計するために様々なクエリを駆使します。 その時、発行しようとしたクエリは下記のような結果を得るものでした。 クエリ結果 具体的なクエリは以下のようなものになります(あくまでイメージ。実際はもう少し複雑です)。 SELECT user_id , question1_answer , question2_answer , question3_answer , (略) FROM user u
Active RecordでRow Level Securityを使って安全にテナント間のデータを分離する - SmartHR Tech Blog
従業員データベース機能の開発を担当している渡邉です。最近公開したGemであるactiverecord-tenant-level-securityの紹介をします。 SmartHRにおけるマルチテナントの現在 私たちが開発するSmartHRはお客様ごとに1つの環境を提供する、マルチテナント型SaaSです。サービス全体で1つのデータベースを持ち、複数のテナントのデータが混ざらないように、SQLで問い合わせを行います。 1つの環境ごとに1つのデータベースを持つ方式は安全性の面で優れていますが、スキーマの保守やマイグレーションにかかる時間の増加など、多くの技術的な困難をもたらします。この選択の背景については、2018年に書かれた以下の記事もご覧ください。 tech.smarthr.jp とはいえ、常にテナントごとのWHERE句を意識しながらコードを書くのは大変ですし、不具合の温床になります。幸い、私
PostgreSQLからsqliteの移行をRailsを使って行う - rochefort's blog
この記事は Ruby on Railsのカレンダー | Advent Calendar 2021 - Qiita 18日目の記事です。 昨日に引き続き、空いていたので参加してみました。 背景 昨日、Advent Calender Ranking 2021 に New RelicをRailsアプリにinstallしたところ、DB部分で速度が出ていないことが分かりました。 当初、このRailsアプリはHerokuにデプロイし、postgres add-onn を利用していましたが、レコードの上限数を超えたため、とりあえず無料で使えるElephant SQLへ乗り換えていました。 （この辺の話は以下に記載） herokuのRailsアプリでDBをElephantSQLにしてみた - rochefort's blog こいつが若干遅いということは分かっていたのですが、今はHerokuからVPSに移
PostgreSQLは列の位置変更ができない。 - Jupitris on Laboratory
Alter column position/ja - PostgreSQL wiki postgresqlの初心者の多くからよく、テーブル内の列の位置を変更することはサポートされているかどうか聞かれます。 今のところサポートされていません。 列の位置を変更したいのであれば、テーブルを再作成するか、新しい列を追加してデータを移動するかのいずれかを行う必要があります。 列の位置の順序の変更を許すという考えをpostgresql開発者は対象としていません。 知らなかった。おかげで位置変更可能なGUIツールをずっと探し続けてしまった。 なおGUIツールを探している中で「Valentina Studio」の無料版が良かった。 https://www.valentina-db.com/jp/valentina-studio-overview
PostgreSQLとの付き合い始めました - LCL Engineers' Blog
Hello PostgreSQL!! & Keep in touch MySQL!! ご挨拶 エンジニアチームの杉山です。あと1ヵ月程で今期も終了し、新しい期に向けて準備を進めています。来期は、更に多くの方にLCLのサービスをより快適に利用して頂く為に、エンジニアからも積極的にアイデアや技術を活用したソリューションを提案し、サービスに実装していければ良いかなと思っています。 現在、バス比較なびでは、全国37,000件以上のバス料金を掲載し 月間400万人超の方々に利用して頂いてますが、サービスの規模が年々大きくなってきている為、 アプリケーションやインフラもビジネス側のニーズとバランスを取りながら、日々整備していく必要がある状態です。優秀でやる気のある若手エンジニアメンバーが課題意識を持って、 日々自発的に取り組んでくれているので、自分の方は引き続き経営陣と調整しながらサービスの成長に努め
PostgreSQLの実行計画を読み解くための参考資料集 - ぱと隊長日誌
はじめに PostgreSQLは商用DBに比べて書籍が少なく、まとまった情報が入手しにくいです。また、有志の方がPostgreSQLに関する資料を公開していますが、散在しており、せっかくの有益な情報にアクセスしにくい状況にあります。 そこで、本エントリではPostgreSQLの実行計画に焦点を絞り、公開されている有用な資料（書籍含む）をまとめました。読み返したい資料を探しやすくするため、内容のポイントも併せて紹介してます。 本エントリをきっかけに、これらの資料がさらに活用されることを願っています。 前提 各資料の前提としているPostgreSQLのバージョンは異なることにご注意ください。調査対象のPostgreSQLのバージョンが異なれば、状況は変わっているかもしれません。 各資料には内容の重複があり、ほぼ同一内容の場合もあります。重複している内容についてはポイントから割愛することがありま
PostgreSQLでWebサービスを運用するためにやっていること - LCL 開発者ブログ
弊社では、RDBMSにPostgreSQLを利用して数年間サービスを運営しています。 PostgreSQLはMySQLと違って、Webサービスでの運用事例をあまり見かけないので、今回は弊社サービスの「夜行バス比較なび 」でどのように運用しているかを紹介いたします。 システムの特徴 ユーザからのアクセスは、9割が参照処理。 データはバッチ処理で、随時 ( 毎分 ) 更新されている。 参照SQLの結果はmemcachedを利用してキャッシュをしているが、データの更新頻度が高いため長時間のキャッシュはしていない。 参照SQLは、集計処理が多いため比較的重いSQL。 参照対象となるテーブルのデータ量は、最大で数100万レコードと比較的少ない。 24/7で稼働。 構成 AWSのEC2上に、PostgreSQL 9.3を導入しています。c4系のインスタンスを使いたいので、RDSは使っていません。インス
pgloader 3.4.1でMySQLからPostgreSQLへスマートに移行しよう（翻訳）｜TechRacho by BPS株式会社
こんにちは、hachi8833です。今回はPostgreSQL向けの強力な移行ツールであるpgloader 3.4.1の紹介記事をお送りいたします。 pgloaderはHomebrewやappでビルドインストールしたりソースからビルドしたりできますが、できればライセンスを購入して作者のDimitri Fontaineを応援しましょう。 概要 原著者の許諾を得て翻訳・公開いたします。 元記事: from MySQL to PostgreSQL 元記事公開日: 2017/07/06 pgloader公式サイト: http://pgloader.io/ GitHubリポジトリ: dimitri/pgloader 原著者: Dimitri Fontaine: PostgreSQLのエキスパートであり、本記事のpgloaderの作者でもあります。 本日pgloader v3.4.1をリリースいたしま
[JunkBoxWiki] - Dockerで動かしているPostgresqlのアップデートを行う
Last-modified: Wed, 30 Sep 2020 20:59:30 JST (1322d) Dockerで動かしているZabbixサーバのPostgreSQLを11から13にアップグレードしたのでメモ。 MySQLコンテナと違い、PostgreSQLのDockerコンテナはバージョンを上げて起動したら勝手にアップグレードしてくれたりしません。 この辺りの日本語情報は何故かあまりなかったので。 流れとしては、セオリー通り現在のPostgreSQLサーバからDMPファイルを作成し、新しいサーバへリストアします。 （個人的には、レプリケーションなど複雑な手順を使うと、その分ミスが増えると考えるので、完全無停止なんて幻想はさっさと捨てて、ガッツり停止してメンテしろと思っています。複雑な手順はミスった時のリカバリも複雑ですし、どうせトラブった時は停止しないといけない訳なんだから最初から
Herokuのpg:backupsのデータがリストアできない現象が発生した - patorashのブログ
同僚から、Herokuのpg:backupsの定期バックアップファイルをpg_restoreでリストアしようとしたら、 pg_restore: [archiver] unsupported version (1.13) in file header でコケるという話がチャットワークで流れてきたので調査してみました。 pg_dumpでできるデータが変わったらしい ググると、stackoverflowにすでに上がってました。 stackoverflow.com どうも、PostgreSQLのバージョンが上がってセキュリティパッチが当たったらしいです。 リストアするには、pg_restoreをしようとした環境のpostgresql-clientを最新に更新しろ、ということのようです（現時点では、10.3, 9.6.8, 9.5.12, 9.4.17, 9.3.22が各バージョンでの最新）。 Po
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - citusdata/citus: Distributed PostgreSQL as an extension