Unleash the Power of Storing JSON in Postgres
An article by Sarah Mei titled "Why you should never use MongoDB" discusses the issues you’ll run into if you try to use a NoSQL database when a relational database would be far superior. An example of this is when data that was thought to be in a silo needs to cross boundaries (what relational DBs are great at). Another example is when you store a user’s name in various places for easy access, bu
現在のログ解析基盤 - wyukawa's diary
1月のPresto Meetupでログ解析基盤について少し話してから3ヶ月弱経ったんだけどその時から若干変わったのでメモっておく。 以前はこんな感じでした。 Presto in my_use_case from wyukawa Prestoは今は0.100を使っていて特に問題は発生してないです。 Cognos周りはだいぶ良くなって Cognos 10.2.1 + Prestogres 0.4.8 + Prestogres ODBC Driver から Cognos 10.2.2 + Prestogres 0.6.7 + protocolVersion=2だけ使用するようにpatchしたPostgreSQL JDBC Driver に変えました。 patchって言っても1行コメントしただけ。ここ。 https://github.com/pgjdbc/pgjdbc/blob/REL9_3_11
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 － Publickey
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 現在のシステム構築では、オープンソースのソフトウェアを使うことは当たり前になってきています。PostgreSQLはそうした中で主にエンタープライズ向けのデータベースとして着実に事例を増やしてきています。 その中で、PostgreSQLを大規模なミッションクリティカルなシステムの中で使うには、どのようなノウハウが求められるのか。オープンソースの利用に積極的なNTTデータがその事例を、1月26日に開催されたイベント「NTTデータオープンソースDAY 2015」のセッション「NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？」で紹介しています。講演内容をダイジェストにしまし
PostgreSQLのログをfluentdで回収する設定 - still deeper
PostgreSQLのログをfluentd経由で回収するようにしたので設定を晒しておきます。ほぼ同じ設定を使いまわせるはずなので、fluentd & postgresの組み合わせを使っている人はどうぞ。 PostgreSQL側 postgresql.conf postgresのログの設定はこんな感じ。 # csvlogを出力 logging_collector = on log_destination = 'csvlog,stderr' # 1日でローテーション log_rotation_age = 1440 # /var/log/pgsql/postgres-%Y%m%d.(log|csv)に出力 log_directory = '/var/log/pgsql/' log_filename = 'postgres-%Y%m%d.log' # modeを644に log_file_mode
Team Dashboardで目標数字をチームで共有する - komagataのブログ
オフィスでGoogle AnalyticsとかMixpanelとかlogentriesとかディスプレイに表示させてたんですが、適当じゃなくてそろそろちゃんとした指標（ユーザー増加率とか）を出して共有したいなと思いました。自分で作るのは面倒なので探していたらTeam Dashboardがrails + backborne.jsで出来てて手頃そう。（qnypさんのブログで知りました） $ git clone git://github.com/fdietz/team_dashboard.git $ bundle $ cp config/database.example.yml config/database.yml $ rake db:create && rake db:migrate $ rake populate $ rails s デフォルトはmysqlなのでherokuで動かしたい場合は
JDBC っぽいけど non-blocking な DB アクセス #scalajp - seratch's weblog in Japanese
を実現するライブラリをつくり、週末に公開しました。 概要 ScalikeJDBC の extension という位置づけで ScalikeJDBC-Async という名前です。 https://github.com/seratch/scalikejdbc-async 内部では postgresql-async/mysql-async という Netty ベースの独自ドライバーを使っています。 https://github.com/mauricio/postgresql-async ただし postgresql-async をそのまま使うのは結構プリミティブな感じなので、いかに隠蔽して使いやすくするかにこだわって実装しました。 とりあえずそれについてはまずまずうまくいったのではないかと思っています。 例えば postgreslq-async をそのまま使うとこのサンプルのようにsendQue
PowerPoint Presentation
大規模DBを見据えた PostgreSQLの性能検証 WG1: 性能WG活動成果中間報告 WG1主査 SRA OSS, Inc. 日本支社 石井 達夫 Copyright © PostgreSQL Enterprise Consortium, All Rights Reserved. WG1(性能ワーキンググループ）の役割 技術部会で設定された課題に具体的に取り組む実 働部隊の一つで主に性能関係の課題をテーマとする ミッションクリティカル性の高いエンタープライズ領域への 適用に向けて、本体・周辺ツールに関する技術ノウハウを 共有する 性能に関する課題の例 CPUマルチコアに対する性能懸念 負荷分散方式が確立されていない などなど（総数約50件) この中から問題点を整理し、PGEConsとして取り組んで効 果がありそうなものをテーマ化 さらに今年度実施するもの
PostgreSQL でパスワード認証を使う
PostgreSQL にパスワード認証を導入した際のメモです。 psql を使って検証していますが、他のクライアント・アプリケーションにも応用できると思います。各コマンドや設定ファイルには適宜マニュアルへのリンクを張っていますので、必要に応じて参照してください。 例示におけるプラットフォームには CentOS 6.3 を使っています。 他の OS やディストリビューションをお使いの方は、yumなど固有のコマンド名を適宜読み替えてください。 PostgreSQL サーバが動くホストを pghost01、psql を動かすホストを client02、接続時のデータベースユーザ名を pguser01 としています。コマンドラインのプロンプトは“ユーザ名＠ホスト名：カレントディレクトリ”です。常に今自分がどのホスト上で誰の権限で操作しているのかを意識してください。 1.インストール Postgre
PostgreSQLをPythonからpsycopg2を使っていじる — そこはかとなく書くよん。 ドキュメント
で簡単です。ただ、C関数を作るので、Python.hなどのdevライブラリやgccといっ たツールを事前にインストールしておく必要があります。 簡単な使い方¶ >>> import psycopg2 # コネクション作成 >>> conn = psycopg2.connect("dbname=test host=localhost user=postgres") # カーソル作成 >>> cur = conn.cursor() # SQLコマンド実行 (今回はテーブル作成) >>> cur.execute("CREATE TABLE test (id serial PRIMARY KEY, num integer, data varchar);") # SQLコマンド実行 (プレースホルダー使用。エスケープも勝手にされる) >>> cur.execute("INSERT INTO test
JS7 JobScheduler Features | Software- und Organisations-Service
ProductsJS7 JobSchedulerIn a NutshellFeaturesGetting StartedCloud OperationsOn-premises OperationsDocumentationDownloadsUser InterfaceUniversal AgentComparison to other productsCompare JS7 JobScheduler With CronJS7 JobScheduler compared to mid-range productsJS7 JobScheduler compared to other Open Source productsYADEYADE in a NutshellYADE Use CasesYADE DocumentationYADE DownloadsYADE FeaturesLicens
pgAgentでジョブを定期実行する | Let's POSTGRES
はじめに pgAgentはPostgreSQLのジョブ・スケジューラです。似たような機能を持つものにMicrosoftの SQL Server Agentがあります。pgAgentは、Windows, Linux, MacOS X, Solaris, FreeBSDなど、いろいろなOSで動作します。pgAgentを使うと、権限を持ったユーザが、単一または複数のSQLやシェルコマンド、バッチコマンドなどをスケジュール通りに実行できます。古いレコードをアーカイブしたり、日々のトランザクションをバッチ処理する、というようなメンテナンス用の処理を実行させるのが一般的な利用方法です。 通常は、pgAgentをデータベースが稼働している同じサーバにインストールして使いますが、複数のpgAgentを、データベースが稼働するサーバ以外のサーバにインストールする方がよい場合もあります。pgAdminを使うと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DBスキーマもバージョン管理したい！