秒速で10億レコードを処理する話 - KaiGaiの俺メモ
これまでのPG-Stromの性能測定といえば、自社保有機材の関係もあり、基本的には1Uラックサーバに1CPU、1GPU、3～4台のNVME-SSDを載せた構成のハードウェアが中心だった。*1 ただソフトウェア的にはマルチGPUやNVME-SSDのストライピングに対応しており、能力的にどこまで伸ばせるのかというのは気になるところである。 そこで、方々に手を尽くして、次のようなベンチマーク環境を整備してみた。 （機材をお貸し頂いたパートナー様には感謝感激雨あられである） 4UサーバのSYS-4029GP-TRTというモデルは、GPUをたくさん乗っけるためにPCIeスイッチを用いてPCIeスロットを分岐している。ちょうど、PCIeスイッチ1個あたり2個のPCIe x16スロットが用意されており、同じPCIeスイッチ配下のデバイス同士であれば、完全にCPUをバイパスしてPeer-to-Peerのデ
Balto開発の歴史｜Goodpatch Blog グッドパッチブログ
Balto サービス終了まで目前となりました。 ここまで来る間に様々な技術と出会い、格闘し、今の Balto があります。 今日は Balto の開発の歴史について振り返って行きます。 ちなみに私が iOS エンジニア兼サーバサイドエンジニアなので話の中心はこの２つになります。 御存知の通り、開発中のアプリを配布してフィードバックを送る、というシンプルなものです。 その起源は社内メンバーが開発中のアプリに対するフィードバックをスプレッドシートで管理するのが大変、かつスクリーンショットを撮って共有するのに手間がかかる、という問題からでした。 Balto によって1回のフィードバックにかかる時間を数分から約30秒に短縮。結果社内のプロジェクトの殆どで利用されるようになりました。 こういったシンプルな苦痛がサービスに繋がるのが面白いところですね。 くわしくはこちらの記事を。リリース後は、Tech
DBCLI
We value the diversity of our community. We strive to amplify the voices of the oppressed to eradicate racism and xenophobia. We ask our community to stand together in support of the Black community. #BlackLivesMatter Projects PGCLI Postgres Client MYCLI MySQL Client LiteCLI SQLite Client MSSQL-CLI MS SQL Server Client IRedis Redis Client ATHENACLI AWS Athena Client pgspecial Postgres meta command
PostgreSQLのIndex入門
PostgreSQLでのSELECTなどで対象のレコードを早く検索するための「Index(インデックス、索引)」についてのまとめです。 🗻 お勧めスライド：PostgreSQLクエリ実行の基礎知識 PostgreSQLについて丁寧な解説がされているスライドです。PostgreSQLの実行計画を理解するのにすごく参考になりました！ 😼 Index作成までの流れ いつ 新規テーブルの作成時 DBのパフォーマンス・チューニングの際 どうやって SQLの実行ログから、実行回数が多い & 実行に時間がかかるSQLを探す EXPLAINで実行計画を元に最適なindexを探す 代替案としてサマリテーブルを作ったり、キャッシュをもつことも検討 🐹 Index作成SQLのCREATE INDEXでIndexを作成できます。 -- レコードがユニークではないインデックスの場合 CREATE INDEX
PostgreSQLの実行計画を読み解くための参考資料集 - ぱと隊長日誌
はじめに PostgreSQLは商用DBに比べて書籍が少なく、まとまった情報が入手しにくいです。また、有志の方がPostgreSQLに関する資料を公開していますが、散在しており、せっかくの有益な情報にアクセスしにくい状況にあります。 そこで、本エントリではPostgreSQLの実行計画に焦点を絞り、公開されている有用な資料（書籍含む）をまとめました。読み返したい資料を探しやすくするため、内容のポイントも併せて紹介してます。 本エントリをきっかけに、これらの資料がさらに活用されることを願っています。 前提 各資料の前提としているPostgreSQLのバージョンは異なることにご注意ください。調査対象のPostgreSQLのバージョンが異なれば、状況は変わっているかもしれません。 各資料には内容の重複があり、ほぼ同一内容の場合もあります。重複している内容についてはポイントから割愛することがありま
PostgreSQLとMySQL、使うならどっち？ データベース専門家が8つの視点で徹底比較！｜ハイクラス転職・求人情報サイト AMBI（アンビ）
PostgreSQLとMySQL、使うならどっち？ データベース専門家が8つの視点で徹底比較！ オープンソースのデータベースとしてよく比較されるPostgreSQLとMySQL。どんな長所・短所があるのでしょう？ それぞれの専門家による対談で明らかにします。 エンジニアとして働いていると必ず直面する悩み。それは、「どのリレーショナル・データベース（以下、RDB）を選ぶのが最善なのか？」です。 RDBごとに長所と短所は異なっています。そのため自社サービスにマッチしないRDBを選んでしまうと、それがボトルネックとなり開発・運用にトラブルが生じるケースは少なくありません。 なかでもよく比較検討されるのが、PostgreSQLとMySQL。ともにオープンソースRDBのデファクトスタンダードであり、高い性能と数多くの機能を持っています。 では、両者は具体的にどのような長所・短所があるのでしょうか。そ
5分で試すPostgreSQLのLogical Replication - Qiita
PostgreSQL 10 Beta3もリリースされ、正式リリースも近づいてきたのでPostgreSQL 10の目玉機能の一つであるLogical Replicationを使ってみます。 ソースはここから取得できます。 特徴 Logical Replicationとは何か理解するときに以下の2つの特徴を知っておくと便利です。 Logical Decoding Publication/Subscription Logical Decoding Logical DecodingはPostgreSQL 9.3から導入された機能で、「WAL(トランザクションログ)をデコードする」機能です。これを使うことで、PostgreSQLが出力WALを任意の形式にデコードすることができます。また、デコード部分はプラグイン形式になっているので色々なプラグインが存在します。(最近Amazon PostgreSQL
PostgreSQLでWebサービスを運用するためにやっていること - LCL 開発者ブログ
弊社では、RDBMSにPostgreSQLを利用して数年間サービスを運営しています。 PostgreSQLはMySQLと違って、Webサービスでの運用事例をあまり見かけないので、今回は弊社サービスの「夜行バス比較なび 」でどのように運用しているかを紹介いたします。 システムの特徴 ユーザからのアクセスは、9割が参照処理。 データはバッチ処理で、随時 ( 毎分 ) 更新されている。 参照SQLの結果はmemcachedを利用してキャッシュをしているが、データの更新頻度が高いため長時間のキャッシュはしていない。 参照SQLは、集計処理が多いため比較的重いSQL。 参照対象となるテーブルのデータ量は、最大で数100万レコードと比較的少ない。 24/7で稼働。 構成 AWSのEC2上に、PostgreSQL 9.3を導入しています。c4系のインスタンスを使いたいので、RDSは使っていません。インス
MySQL のサブクエリって、ほんとに遅いの？ | DevelopersIO
こんにちは、みかみです。 今日のクラスメソッドのAWSおみくじ、RDS（t1.micro）でしたー！（昨日は Aurora！＠＠ｖ はじめに 前職＠アプリ開発時、MySQL のクエリチューニングをさせていただく機会がありました。 ユーザー入力のキーワードで全文検索 → 見つかったレコードを返すのですが、所要時間、約3分。。 Apache タイムアウトして画面真っ白。。。（泣きそうでした＞＜。 EXPLAINで実行計画を調べた際に、select_typeにはクエリの種類が表示されるのだが、代表的なサブクエリには次の3つのパターンがある。 SUBQUERY DEPENDENT SUBQUERY DERIVED 結論から言おう。遅いのは2番目、DEPENDENT SUBQUERYである。DEPENDENT SUBQUERYとはいわゆる相関サブクエリに相当するもので、サブクエリにおいて外部クエリの
Web エンジニアが postgre sql を選ぶ 3 つの理由
DMやPrivate Channelを使うな、といっても意味がないから、 なんでDMを使ってしまうのかをまず考える、 そこからPublic channelの使い方を考えましょう みたいな話 https://eof-github.github.io/eof2019/ RLSを用いたマルチテナント実装 for Django by Takayuki Shimizukawa 複数のテナント（チーム・組織）向けにサービスを提供するシステムで、テナント相互の情報を分離して扱う、複数のマルチテナントアーキテクチャが考案されています。「各プログラマが努力して実装する」戦略でも実現はできますが、プログラミングミスや設定間違いによるデータ混濁が高確率で発生します。このトークでは、マルチテナントアーキテクチャにおけるデータ分割アプローチのひとつ「共有アプローチ」をDjangoとPostgresのRow Leve
今こそ知りたい、2大OSSデータベースのMySQLとPostgreSQLの違いについて話をしてきた - そーだいなるらくがき帳
去年書いたSoftwareDesignを題材にお話してください！って言われたので話してきました。 下の特集記事は１年経った今も現役で読める内容なので興味がある人はぜひ読んでみてください。 またRDBアンチパターンという連載をしていますのでこちらもあわせてご確認くださいっ！ gihyo.jp そして当日の資料はこちらです。 SoftwareDesignにしっかりとMySQLとPostgreSQLの違いについては触れているのでそこでは触れていない、ハマりどころや初めて両方のDBを知ったと言う人向けのカジュアルは部分を攻めました。 またDBだけの勉強会ですので普段説明するようなところは省略し、できるだけ経験談やコアの話に注力したつもりです。 このへんは資料に含まれて居ないので当日居た人たちだけの特典ですね！！ ということで実は今月は登壇3週連続だったのですが一段落しました。 来週はAWS Sum
データベースドキュメント管理システム dmemo のご案内 - クックパッド開発者ブログ
こんにちは、みんなのウェディングに出向中の小室 (id:hogelog) です。 今回はクックパッドとみんなのウェディングで利用しているデータベースドキュメント管理システム dmemo を紹介します。 https://github.com/hogelog/dmemo dmemo を作成し導入した経緯 私は2016年3月頃からみんなのウェディングで Redshift, bricolage, embulk, re:dash 等を利用したデータ分析基盤の構築を進めています。 (みんなのウェディングのデータ分析基盤の現状 - みんなのウェディングエンジニアリングブログ) 社内の誰でも扱えるデータベース、データの集約・計算・加工、ダッシュボードの作成、クエリの共有などは上記ブログ記事でも書いたように Redshift, bricolage, embulk, re:dash 等を組み合わせることで実現
並列クエリを実行するPostgreSQLのアーキテクチャ
2. The PG-Strom Project PostgreSQL v9.6の目玉機能 Database Lounge Tokyo #1 - The architecture of PostgreSQL to run parallel queries2 パラレルクエリ 並列に クエリを処理すること 3. The PG-Strom Project 本日のアジェンダ Database Lounge Tokyo #1 - The architecture of PostgreSQL to run parallel queries3 ▌先史時代 (~v9.2) ▌要素技術 (v9.3~v9.5) ▌並列クエリの実現 (v9.6) ▌今後の動向 (v9.7~) ▌お知らせとお願い 4. The PG-Strom Project fork(2) accept(2) PostgreSQLのアーキテクチ
Webシステムにおけるデータベース接続アーキテクチャ概論 - ゆううきブログ
先月投稿した2015年Webサーバアーキテクチャ序論では、Webサーバアーキテクチャを学ぶ道のりと代表的な実装モデルの概要を紹介しました。 今回は、前回同様、主に新卒Webエンジニア向けに、Webアプリケーションサーバとデータベースサーバ間の接続管理モデルと運用事情について紹介します。 データベース接続の永続化やコネクションプーリングとは何なのか、なぜ必要なのかといったことが主な話題です。 背景 データベース接続の永続化とはなにか データベース接続のオーバヘッド データベース接続の永続化手法 コネクションプーリングとはなにか コネクションプーリング: ドライバ型 コネクションプーリング: プロキシ型 コネクションプーリング全体について PostgreSQLとMySQL 参考資料 まとめ 背景 2015年Webサーバアーキテクチャ序論では、Webサーバアーキテクチャの話とWebアプリケーショ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Conference Sessions - PGConf.EU 2017 - PostgreSQL Conference Europe 2017
GPUとSSDがPostgreSQLを加速する～クエリ処理スループット10GB/sへの挑戦～ [DB Tech Showcase Tokyo/2017]![GPUとSSDがPostgreSQLを加速する～クエリ処理スループット10GB/sへの挑戦～ [DB Tech Showcase Tokyo/2017]](https://cdn-ak-scissors.b.st-hatena.com/image/square/255658386c37b7f0c6de69ed4efa7023f74b1176/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20170906dbtsgpussdacceleratespostgresqljp-170906073226-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
PostgreSQLでスケールアウト
Robert Haas - Presentations
MySQLメインの人がPostgreSQLのベンチマークをしてみた話