PostgreSQL 10 Released
The PostgreSQL Global Development Group today announced the release of PostgreSQL 10, the latest version of the world's most advanced open source database. A critical feature of modern workloads is the ability to distribute data across many nodes for faster access, management, and analysis, which is also known as a "divide and conquer" strategy. The PostgreSQL 10 release includes significant enhan
Jupyter NotebookからPostgreSQLに接続してデータを可視化する
最近、なんだかんだとデータに触る機会が増えてきております。 Unix系エンジニア兼DBAとしては、CLI（コマンドラインインターフェース）が生産性が高くて好きだけど、一方で可視化もお手軽にやりたい、というケースが多々あります。 Jupyter Notebookでデータベースに接続して可視化できる、という話は以前から聞いたことがあったのですが、実際に試してみたことがありませんでした。 今回、軽くPostgreSQLで試してみたのでその手順を簡単にご紹介します。 ■セットアップ 以下の3つのモジュールをpipでインストールします。 jupyter psycopg2 ipython-sql [snaga@localhost]$ ipython notebook --ip=\* --port=8080 [W 16:01:11.273 NotebookApp] WARNING: The notebo
Jupyter から PostgreSQL に接続 - Qiita
データベースに保存してあるデータを見るときに、結果を再集計したりグラフで確認できると便利です。また、そのときにデータから読み取ったこと、考えたことをメモしておけるとチームで共有できるようになります。 専用のダッシュボードを作る程でもないけれど、という規模のときは、Jupyter Notebook をフロントエンドとして使うと便利です。 実行環境の用意 Docker を使ってテスト環境を用意します。Jupyter (jupyter/datascience-notebook) と PostgreSQL (postgres) の２つのイメージを使います。 まずは PostgreSQL を立ち上げて、Jupyter はそれにリンクさせます。テストデータは後述の pagila を使いますので、データベース名もそれに合わせておきます。公式の Docker イメージでは、環境変数を与えることで設定できま
進捗）SSD-to-GPU ダイレクトSQL実行機能 - KaiGaiの俺メモ
ここ暫くブログでまとめていなかった、SSD-to-GPUダイレクトSQL実行機能の進捗について。 この機能をかいつまんで言うと、NVMe-SSDに格納されているPostgreSQLのデータブロックをGPU RAMに直接転送し、そこでSQLのWHERE句/JOIN/GROUP BYを実行することで見かけ上のI/O量を削減するという代物である。 NVIDIAのTesla/Quadro GPUが対応するGPUDirect RDMA機能を使い、SSD<=>GPU間のデータ転送を仲介するLinux kernel moduleを使えば、CPU/RAMにデータをロードする前にGPU上での処理を行うことができる。 しばらく前からScan系の処理には対応していたが、JOIN/GROUP BYへの対応を加え、さらにPostgreSQL v9.6のCPU並列にも追従したということで、簡単なベンチマークなら取れる
第7回 UberエンジニアがブログでPostgreSQLにダメ出し、PostgreSQLコミッター石井達夫氏に反論を聞く | gihyo.jp
IT Cutting Edge ─世界を変えるテクノロジの最前線 第7回UberエンジニアがブログでPostgreSQLにダメ出し、PostgreSQLコミッター石井達夫氏に反論を聞く デジタルディスラプションを象徴する企業として、いまこの瞬間も破竹の勢いで成長を続け、交通サービスの世界を大胆に塗り替えているUber。未上場ながらすでに企業価値は6兆円を超えているとも言われており、世界最大のユニコーン企業として、その動向はつねに注目されつづけています。 クラウドやビッグデータ分析、オープンソースなど、最先端のITをフル活用し、ごく短期間で劇的にビジネスを拡大させたUberに対しては、やはり技術者からの強い関心があつまります。現在、1200名を超えると言われるUberのエンジニアたちは何をどんな環境で使い、どう動かしているのか ―Uberのエンジニアリングチームが公開している技術ブログ「Ub
[PostgreSQL] よく使うコマンドまとめ | DevelopersIO
はじめに PostgreSQL始めました。 Mysqlの感覚でPostgreSQLを触るとコマンドが違うことが多いので、その都度Google先生に教えてもらいました。 PostgreSQLのコマンドがまとまっているサイトを見つけられなかったので、自分用にメモしていたものを公開します。 注) 僕がPostgreSQLでよく使うコマンドや何度も調べたコマンドのまとめです。PostgreSQL特有のコマンドのまとめではありません。 ※#から始まるコマンドはpsql内で、$から始まるコマンドはpsql外で実行するコマンドになります。 ※<TABLE_NAME>のように記述している箇所は、任意の名前を記入する箇所です。(<>は不要です) 環境 MacOS 10.10.5 PostgreSQL 9.4.5 よく使うコマンド バージョンを確認する $ psql —version # select ver
![[PostgreSQL] よく使うコマンドまとめ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d9d7a9e19a3c5979fc0b83efa7beeec666f705bb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F07%2Fsql.png)
[PostgreSQL] サンプルのデータベースを用意する | DevelopersIO
はじめに 練習用に手頃なサンプルデータベースが欲しくなることってありますよね？ 僕の場合だとブログを書くときにサンプルが欲しくなったりするのですが、結果的にはPostgreSQL Tutorialにあったのですが、探すのに少し苦労しましたのでメモします。 環境 MacOS 10.10.5 PostgreSQL 9.4.5 ※PostgreSQLのインストールについては割愛します。 サンプルデータベースを作る まずはPostgreSQL Tutorialからサンプルをダウンロードします。 次にサンプルデータを入れるためのデータベースを用意します。 PostgreSQL内で CREATE DATABASE dvdrental; 次にunzipコマンド先ほどダウンロードしたzipファイルを展開します。 unzip dvdrental.zip 次に同じディレクトリで以下のコマンドを叩きます。 pg
SIerといえばソースコードの自動生成だ！テーブルとEntityクラスを自動生成するサムシン(PostgreSQL版) - そこに仁義はあるのか(仮)
これはPostgreSQL Advent Calendar 2015 - Qiitaの記事です。 昨日はsawada_masahikoさんのPostgreSQL開発の基本動作まとめ - Qiitaでした！ SIerといえば、ソースコードの自動生成ですね！ 開発を進めていくうえで、コロコロと変わっていくテーブル構成。。。 そんな中で、まったくソースコードを触らずに（sqlもjavaも触らない！つまり誰でも！どんな人でも！！作業できる！！！） テーブル構築からデータ投入、さらにはEntityクラスを生成することが出来るツール(mavenプラグイン)を、今のプロジェクトで使っているので、それの紹介と使いかたを説明します。 いろんなDBに対応しているけど、今のプロジェクトではPostgreSQLを使っているので、今回はPostgreSQL版の使いかた説明です！*1 なお、今回使っているPostgr
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 － Publickey
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 現在のシステム構築では、オープンソースのソフトウェアを使うことは当たり前になってきています。PostgreSQLはそうした中で主にエンタープライズ向けのデータベースとして着実に事例を増やしてきています。 その中で、PostgreSQLを大規模なミッションクリティカルなシステムの中で使うには、どのようなノウハウが求められるのか。オープンソースの利用に積極的なNTTデータがその事例を、1月26日に開催されたイベント「NTTデータオープンソースDAY 2015」のセッション「NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？」で紹介しています。講演内容をダイジェストにしまし
PostgreSQL Internals
本コンテンツは、2014年1月30～31日に筑波大学で開講された「情報システム特別講義D」における講義「Inside PostgreSQL Kernel」の内容を再構成、加筆・修正したものです。 はじめに 本コンテンツについて 本コンテンツへのフィードバックについて アーキテクチャ概要 PostgreSQLの構成要素 PostgreSQLの基本的なアーキテクチャ SQL文の処理される流れ トランザクション管理 トランザクション処理におけるACID特性 各レコードの可視性の管理 Atomicity（原子性）の実装 Consistency（一貫性）の実装 Isolation（分離性）の実装 トランザクション分離レベルの定義 Durability（永続性）の実装 チェックポイント メタデータ管理 pg_controlファイル OID/XID/TID システムカタログ MVCCとストレージ構造 テ
PostgreSQL monitoring template for Zabbix (pg_monz)
【注意】 pg_monzはZabbix 5.0には対応せず、Zabbix 4.0のフルサポート終了2021年10月31日をもってメンテナンスを終了しました。 PostgreSQL監視はZabbix 5.0以降では標準テンプレートの利用を推奨します。 pg_monz とは PostgreSQL monitoring template for Zabbix (pg_monz) は、ZabbixでPostgreSQLの各種監視を行うためのテンプレートです。 pg_monzの目的 pg_monzを導入することで、PostgreSQLの死活監視、リソース監視、性能監視などが行えます。 PostgreSQL単体で稼働するシングル構成の状態、PostgreSQLのStreaming Replicationを使った冗長構成の状態、pgpool-IIを使った負荷分散構成の状態の監視を行うことができ、Post
GeoServerでPostGISを使ってみる。[Chapter 3]
今回は、GeoServerにShapefileを読み込んで表示してみます。 GeoServerのinstallは、GeoServerを使ってみる。[Chapter 1] でGeoServer Serviceが設定済みであることが前提です。 PostGISを使ってみる。[Chapter 1] でShapefileをimportしたように、今回使用するのは、神奈川県の鉄道のshapefileデータであるc14_railroadを使いました。 属性値のdbfは、Shift_JIS形式となっています。 まずは、スタート→プログラム→PostgrSQL 9.1 → pgAdmin III を起動します。 データベースkanagawaを作成します。 pgAdmin IIIからkanagawaをclickすると、 な感じで表示されます。 次に、Plugin iconもしくはメニューから、Shapefil
PostGIS、MapServer、OpenLayersを使って、Google Mapと自前の位置情報を重ね合わせてブラウザに表示する
Home PostGIS、MapServer、OpenLayersを使って、Google Mapと自前の位置情報を重ね合わせてブラウザに表示する PostGIS、MapServer、OpenLayersを使って、Google Mapと自前の位置情報を重ね合わせてブラウザに表示する PostgreSQLにPostGISを使って位置情報を入出力する。 MapServerは、PostgreSQLにアクセスして情報を取得、WEBへサービスする。 OpenLayersは、MapServerにアクセスして情報を取得、ブラウザ上に地図を描画する。 で、ここにいろいろと情報を載っけられるようにして行こうということで、とりあえずGoogle Mapの表示とPostGISに格納した自前の位置情報を重ね合わせるサーバをたててみる。 前提（インストール済み） Ubuntu 10.10 Apache2 Postgr
単純なデータ処理をやってみる — Let's Postgres
農業・食品産業技術総合研究機構 近畿中国四国農業研究センター 寺元 郁博 はじめに PostGIS では、幾何関数やジオメトリ型を、PostgreSQL のクエリの中に混ぜ込むことができます。 WHERE 句に幾何関数を使ったり、INSERT, UPDATE 等で使用することができます。 ビューで扱うこともできます。 今回はごく簡単なデータ処理の例を示してみます。 広島県内の市区町村ごとの駅の数を数え上げて、多いところ少ないところを色分けして表示します。 数え上げまでを PostGIS で行います。 本例での前提は次の通りです。 データベース名は pgis 格納するデータは2種類 国土数値情報 (行政区域) のうち広島県 国土数値情報 (鉄道) テーブルは3つ admarea station rail (使用しません) 全テーブルのジオメトリカラム名は the_geom (shp2pgsq
PostGISとは？ — Let's Postgres
農業・食品産業技術総合研究機構 近畿中国四国農業研究センター 寺元郁博 はじめに 本記事では、PostGISをインストールすること、格納したデータを図示すること、クエリを作ってみることと空間データがSQLで扱えること、をご紹介していきます。 また、地図を扱うという若干特殊な分野ですので、図示するためのソフトウェアも併用して実例を交えながらの記事としました。それでは、第1回目はPostGISの概要についてご紹介しましょう。 自己紹介 本編に入る前に、簡単に筆者の自己紹介をしておきます。農業や農作業に関係したソフトウェアを作ったりしています。随分前からPostgreSQLを使っていましたが、 地理空間情報を扱う必要がでてきたため、PostGISに手を染めました。 "http://www.finds.jp/" でサービス等を公開しております。PostGISについて、今回は入門的な記事を書いてみま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
(JP) GPGPUがPostgreSQLを加速する
データベース技術の羅針盤