大量データを検索するサービスでElasticsearchはRDBの代替候補になりうるか？(Elasticsearch vs pg_bigm) - RAKUS Developers Blog | ラクス エンジニアブログ
みなさんこんにちは。フジサワです。前回の記事でお伝えしていたElasticsearchの検証がひと段落しましたので、検証結果をレポートいたします。 連載目次 『全文検索 〜 Elasticsearchとデータ匿名化手法』 『全文検索の探求 Elasticsearch(1) 』: プロジェクト方針およびElasticsearch概要 大量データを検索するサービスでElasticsearchはRDBの代替候補になりうるか？(Elasticsearch vs pg_bigm)』 ←今読んでいる記事 データ匿名化 第1回：匿名化された個人情報とは何なのか データ匿名化 第2回：個人情報は匿名化しても意味がないのではないか？ データ匿名化 第3回：個人情報を匿名化するプロセス データ匿名化 第4回：匿名化のために行うデータ項目の一般化とは データ匿名化 第5回：データ匿名化の指標 データ匿名化 第6
実録パフォーマンス改善 - 高速化のためアーキテクチャやアルゴリズム選択から見直すSansanの事例 - エンジニアHub｜Webエンジニアのキャリアを考える！
実録パフォーマンス改善 - 高速化のためアーキテクチャやアルゴリズム選択から見直すSansanの事例 インフラの特性をふまえ、ミドルウェアの挙動を理解し、プロファイリングによってボトルネックを把握し、要求に合ったアーキテクチャを選択する。そういった工夫を重ねることでアプリケーションのパフォーマンスを改善する事例を、Sansanの千田智己さんに聞きました。 アプリケーションの設計・実装方法を変えることで、性能が格段に向上するケースは数多くあります。有名IT企業のエンジニアは、どのような方針のもとでアーキテクチャあるいはアルゴリズム選択などでパフォーマンスを改善しているのでしょうか？ 法人向けクラウド名刺管理サービス「Sansan」や個人向け名刺アプリ「Eight」を提供するSansan株式会社の千田智己さんに、これまで取り組んできた事例と、そのノウハウを教えていただきました。 千田 智己（せ
RubyLetter - A Rubyist's Guide to Postgresql's Explain
If you want to understand why your database queries maybe aren’t as fast as they used to be, nothing beats a little feature of postgres called explain . It’s a simple idea. Just ask postgres to explain how it plans to perform a query and it’ll tell you. You can even have it execute the query it and compare expected performance to actual. Sound familiar? You may have seen explain before. Ever sinc
トランザクション分離レベルについて極力分かりやすく解説してみた[SQL] - 明日になったら本気出せる
こっちに移動 qiita.com
![トランザクション分離レベルについて極力分かりやすく解説してみた[SQL] - 明日になったら本気出せる](https://cdn-ak-scissors.b.st-hatena.com/image/square/865d91d3f7d8bc0ecea2db1b383f8dd9abc67ed5/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F12921228815712380847%2F12921228815712778346%2F1508923711)
bundle installのpgインストールでエラー
Rails プロジェクトにおいて bundler で gem をインストールしようとしたところ、pg のインストールでエラーが発生しました。 — 環境 — Mac OS X Yosemite 10.10.3 Bundler 1.10.3 $ bundle install --without production --path vendor/bundle ... with native extensions Gem::Ext::BuildError: ERROR: Failed to build gem native extension. /path/to/.rbenv/versions/2.1.3/bin/ruby extconf.rb checking for pg_config... no No pg_config... trying anyway. If building fails
【翻訳】 On Uber’s Choice of Databases （データベースにおけるUberの選択について）
数日前、Uberのブログで「Why Uber Engineering Switched from Postgres to MySQL」というエントリが公開されました。 Why Uber Engineering Switched from Postgres to MySQL - Uber Engineering Blog https://eng.uber.com/mysql-migration/ それに対して、PostgreSQLコミュニティ界隈でもいろいろなブログエントリが公開されました。 Robert Haas: Uber's move away from PostgreSQL http://rhaas.blogspot.jp/2016/08/ubers-move-away-from-postgresql.html On Uber’s Choice of Databases http:/
PostgreSQLの実行計画の処理
インデックスとテーブルへのアクセスSeq ScanSeq Scanは、ディスクに保存されている通り(TABLE ACCESS FULLのように)に関係(テーブル)をスキャンします。 Index ScanIndex ScanはBツリー走査を行い、 一致する全ての値を検索するのにリーフノードをたどり、対応するテーブル上のデータを取り出します。INDEX RANGE SCANに続いてTABLE ACCESS BY INDEX ROWIDを行うのに似ています。第1章1, 「 SQLインデックスの内部構造」も参照して下さい。 いわゆるインデックスフィルタ述語は、Index Scanの パフォーマンス問題を引き起こします。次の節でその問題の 識別方法を説明しています。 Index Only Scan (PostgreSQL 9.2以降)Index Only ScanはBツリー走査を行い、一致する全ての
Amazon Redshiftで使えるPostgreSQL管理ツールを幾つか試してみた | DevelopersIO
新年あけましておめでとうございます！しんやです。今年もよろしくお願いしますと言う事で2014年1発目のエントリです。 本日1/6は仕事始め。社内での全体朝礼の後、社員皆で秋葉原の弊社から10分程歩き、神田明神へ参拝に行ってきました。 神田明神 - Wikipedia 神田明神｜東京都千代田区外神田2-16-2 当初、10分程ちょちょい〜と歩いて、15分程軽くお参りしてそのまま帰ってくるのかな〜、という位のノリだったのですが、付近まで来てみると...予想以上の、想像以上の人の列!! 列の最後尾は緩やかな坂の下まで続いておりました。そして鳥居の辺りからは一面びっしり人の波。 参拝後は逆サイドから回って鳥居入り口まで戻り、来た道を帰って行ったのですが、正直ここまでの混雑、正直神田明神を甘く見てました...神田明神パネぇ!! さて、ここから本題。Amazon Redshiftにアクセス出来る専用ツ
PostgreSQLのシステムテーブル入門 （暗記用のSQL集） - 主に言語とシステム開発に関して
PostgreSQLで，システムテーブルを利用するための入門。 システムテーブルの使い方を覚えれば，自分が作ったテーブルの統計情報や，メタデータを取得する事ができる。 DBそのものの理解も深まる。 （１）情報スキーマ（人間に理解しやすい。調べ物をするとき便利） カラム一覧 制約一覧 （２）統計情報ビュー（パフォーマンス調整に便利） テーブル一覧 接続プロセス一覧 （３）システムカタログ（アプリからの利用向け） テーブル一覧 活用例 以下のSQLは，覚えやすいようにシンプルに記載してある。 いざという時に使うために，全部暗記しよう。 必要に応じてPostgreSQLの最新版のドキュメントを参照すること。 PostgreSQL日本語ドキュメント http://www.postgresql.jp/document/ （１）情報スキーマ（information_schema）を使おう Postgr
PostgreSQLにてテーブルやカラムの各種情報を取得するSQL (テーブル一覧, カラム一覧, プライマリーキー情報取得, テーブルのコメントを取得, カラムのコメントを取得) - いろいろ備忘録日記
以下メモ書きです。 Postgresにてテーブル一覧とかカラム一覧とか各種情報を取得するためのSQLです。 間違えていたら教えてください。m(_ _)m [テーブル一覧取得] select relname as TABLE_NAME from pg_stat_user_tables [カラム一覧] select * from information_schema.columns where table_catalog='データベース名' and table_name='テーブル名' order by ordinal_position; [プライマリーキー情報取得] select ccu.column_name as COLUMN_NAME from information_schema.table_constraints tc ,information_schema.constraint_
Pacemaker+PostgreSQLレプリケーションで共有ディスクレス高信頼クラスタの構築＠OSC 2013 Tokyo/Spring
2015.10.3 にOSC2015 Fukuoka(＠九州産業大学）で講演した資料です。 PacemakerとPostgreSQLのレプリケーション機能を組み合わせた「PG-REX」(*)は、共有ディスクを使用しない安価な構成で、商用運用にも耐える可用性を実現することができます。 このPG-REXを含むPacemakerによるクラスタ構成は初期構築後、実際の故障が発生した際にその効果を発揮しますが、ログやコマンドが複雑で、フェイルオーバの原因を突き止めたり、 その後に正しい状態に復旧する方法がわからない、といった問い合わせを受けることが多々あります。 そこで、デモでも使用しているPG-REXを例として、故障内容によるPacemakerの挙動の違い、および原因解析方法、復旧方法を、実例を挙げながら網羅的にご説明します。 * PG-REXのコミュニティも立ち上げ、普及に努めています。 コミュ
PostgreSQL 9.2の同期レプリケーションを利用する際の勘所
DBMSの可用性とPostgreSQLのレプリケーション 勤怠管理やERPなど会社内の業務に欠かせないシステムはもちろんのこと、SNSやECサイトなど個人で利用するシステムでも、何かしらのDBMSを利用をするのが一般的です。 もしDBMSで障害が発生した場合、データの参照・更新が滞り、システム全体として役割を果たすことができなくなります。そのためユーザが利用したいときにシステムを利用可能にするためにはDBMSが継続的に稼働していることがとても重要です。 世の中にはDBMSは多数存在し、またDBMSの可用性を上げる機能やツールなどもさまざまに存在します。OSSの代表的なDBMSの一つであるPostgreSQLには可用性向上機能の一つであるレプリケーションが用意されています。 今回は最新バージョンであるPostgreSQL 9.2のレプリケーションについて、機能の紹介、利用時の注意点、設定によ
Trasis Lab » PostgreSQLで現在実行中のSQLの確認と、プロセスのkill
概要 PostgreSQL上で実行中のSQLを停止する方法について説明する。 Javaサーバ上で時間のかかるSQLを実行してしまい、Javaサーバを停止せずにそのスレッドだけを停止したい場合などにおいて、次の手順で実行された SQL を停止できる。 手順 プロセスID(pid)の確認 まず、問題のSQLが実行されるプロセスのIDを調べる。 コマンドラインなどで、次のSQLを実行。 SELECT procpid, start, now() - start AS lap, current_query FROM (SELECT backendid, pg_stat_get_backend_pid(S.backendid) AS procpid, pg_stat_get_backend_activity_start(S.backendid) AS start, pg_stat_get_backen
psql接続時に対話でパスワードを入力しない - shibainu55日記
psql経由でSQLを実行するときに、対話でのパスワード入力をせずにワンライナーで行いたい。pg_hba.confの設計・設定次第だが、trust以外の設定(md5等)ではpsql接続時にパスワード入力を求められる。手動操作やJDBC接続時などは問題ないが、Linuxプラットフォームで運用バッチ(シェルスクリプト等)でpsqlを使用した接続を行う場合に問題となることがある。 psqlの仕様として、パスワードを指定するオプションがない(mysqlの-p/--passwordオプションに相当するオプションがない)。一見紛らわしいが、-W/--password は、パスワード入力を要求させるオプションであってパスワードをコマンドライン引数で与えるものではない。 対応方法：$HOME/.pgpassファイルの使用 実行したいユーザのHOMEディレクトリに、.pgpassファイルを作成する。セキュリ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PostgreSQLのあまり知られていない型3種 - Qiita
Postgres で group by + array_to_stringをする。 - Qiita
PostgreSQLクエリ実行の基礎知識 ～Explainを読み解こう～
HP Blogs - ジェットエンジンで知恵熱をブッ飛ばす ～HPサーバーに初めて恋した - The HP Blog Hub
Amazon RDS for PostgreSQL を使ってみた 20131213_osc_enterprise.pdf
PostgreSQL9.3新機能紹介
