OpenStreetMap Nominatim をローカル環境で利用する。 - 雑食性雑感雑記
概要 OpenStreetMap のデータをローカルにダウンロードする。 geocoding ができる Web API「Nominatim」をローカル環境内で利用できるようにする。 Nominatim を使って、緯度 経度 から場所を取得する。 逆ジオコーディング (reverse geocoding)。 情報 OpenStreetMap って？？ 道路地図などの地理情報データを誰でも利用できるよう、フリーの地理情報データを作成することを目的としたプロジェクト。 本家サイト 日本語版コミュニティ Google 版は基本無料で使えるけど、多量のデータが欲しくなるとお金がかかってくる。。 Nominatim OpenStreetMap のデータを利用した、geocoding & reverse geocoding ができる Web API。 NominatimのWikiページ geocodin
RDS for PostgreSQL で変更すべきパラメータチューニング - そーだいなるらくがき帳
※追記(タイトルにRDSと書いたがPostgreSQL限定である） RDSはデフォルトでパラメータをチューニングされているものの、本番でそれなりに使うにはチューニングが必要。 そこで最初にある程度チューニングしておくべき場所を記載していく。 AWSのパラメータについては下記を参考。 docs.aws.amazon.com デッドロックの検査間隔 soudai.hatenablog.com deadlock_timeout はデフォルトは1000msになっている。 1秒はPostgreSQLのデフォルトなので短い。 10秒以上と書いているが弊社の場合は40秒にしている。 これは明確な基準値を持って決めてるわけでは無く、pg_stat_database.deadlocks の値が今までずっと0なので強気に付けている。 checkpointの値 Google検索すると checkpoint_se
GTFSファイルをマージしてPostgreSQL+PostGISに投入する方法
はじめに 公共交通オープンデータが広まるにつれて、ダイヤデータなどをGTFS形式（標準的なバス情報フォーマット）で公開する交通事業者も増えてきました。ここでは、複数のGTFSファイルをまとめてデータベースに投入する方法を解説します。1つの地域に複数の交通事業者がある場合などに、複数のGTFSをまとめるのは有効ですし、データベースへの投入手法も専用ツールを用いることで簡単に行うことが出来ます。 環境 この記事は以下の環境で動作確認しています。各ソフトウェアのインストール方法などは解説しませんが、私の手元では、 Homebrew 1.7.6 にて環境構築を行っています。 OS: macOS High Sierra 10.13.6 PostgreSQL 10.5 PostGIS 2.5 Python 2.7.15 zc.buildout 2.12.2 Java 8 (1.8.0_112) Apa
ちゃんと復旧できる、GitLabのバックアップ運用方法 ─ GitLab meetup #01レポート - pixiv inside
2017年3月2日（木）、都内では初のGitLabのイベント「GitLab meetup in Tokyo #1」が開催されました。記念すべき第一回のイベントは、ピクシブのオフィスで開催され、約140名の参加があるという大盛況っぷり。ピクシブからは、2名のエンジニアが登壇しGitLabに対する知見を発表しています！ そのうちの一人。2013年にピクシブへ入社した金子 達哉、ニックネームはcatatsuy。彼が同イベントで語った、GitLabのバックアップや、バージョンアップの運用に関する知見を、本記事にてご紹介します。 GitLabのインストールは難しい？ GitLabとは、プライベートなgitリポジトリの管理画面やレビュー画面を提供してくれるWebアプリケーションです。GitHubやBitbucketのようなことが、自社のサーバで行えます。自社のサーバーにインストールして運用することがで
PostgreSQLは標準でバックスラッシュをエスケープしない仕様になった
PostgreSQL9.1の仕様変更にて、デフォルト時の設定として、standard_conforming_stringsがonとみなされるようになりました。この仕様変更により、デフォルト設定でのPostgreSQLは、バックスラッシュをエスケープする必要がなくなり、ISO規格のSQLと同様のエスケープルール（シングルクォートを重ねるのみ）となります。 PostgreSQLの文字列リテラルは、元々MySQL同様に、バックスラッシュをエスケープする仕様でした。その後、リリース8.1にて、設定パラメータ standard_conforming_strings が追加され、この値が on の場合、バックスラッシュをエスケープしない（ISO規格と同様の）仕様となりました。従来のリリースでは、standard_conforming_stringsを指定しない場合offとみなされていました。これは、後
UberのPostgresqlからNoSQL on MySQLへの移行を読んでざっくりまとめた
Uber-migrated-pg-to-mysql.md Why Uber Engineering Switched from Postgres to MySQL - Uber Engineering Blog のまとめ Posgresqlだと pgは追記型なので少しの更新でも多くのdiskへのwriteがおきる カラムを一つ更新しただけで多くのindexの書き換えが起こる よって、replicationはWALを送るので更新が多いとWALが大量に送られる repcliationでは物理的なdiskの変更を送る DC間でレプリするときつい bugがあってreplica間でMVCCの不整合が起きる masterとreplica同じdisk上のデータ構成を共有するのでupgradeがつらい cache readはsyscallとosのpage cache経由なので重い 1コネクション1プロセス
このRDBについて私は驚くべき闇を見つけたがそこを発表するにはネットは怖すぎる
YAP(achimon)C::Asia Hachioji 2016midの資料です。
PostgreSQLは寿司ビール問題を解決する（unicode 6問題について）
TwitterでMySQL と寿司ビール問題ってのが話題になりました。 MySQLと寿司ビール問題 結論から言うとMySQLでは指定されてた文字コードによっては あれ？ MySQL の utf8mb4 charset って、4バイト文字同士を比較すると同じ文字扱いされる？ SELECT '🍣'='🍺' → 1 MySQL的には寿司とビールは同じ扱い。 — とみたまさひろ (@tmtms) 2014, 12月 22 ってなる話です。 詳細については前述のブログで触れられていますがMySQLとしてはバグではなく仕様だそうです。 でふーんって思って見てたら MySQLの「寿司とビール」問題、面倒臭いね。「PostgreSQLならそんなことはないよ」って言われたら使うの検討するレベルにイヤな感じ。 — 長谷川智希@とむぞう (@tomzoh) 2015, 3月 23 と長谷川さんが仰ってるのを
PostgreSQL JSON の応用メモ - Qiita
去年 Qiita PostgreSQL 9.4 の JSON サポートについて紹介させてもらったが、まだ書きかけで jsonb の応用例としてや軽い検証記事や SQL イデオムを追記する予定だったが、整理しきれず放置したままになっていた。 そうこうしている内に早くも次期バージョン PostgreSQL 9.5 の情報がちらほらと出始めてきてしまった。 もうまとめるのは諦めることにして、その時のメモや雑多なコードから動くものを本稿に残しておく。 興味とヒマのある方は拾い読みしてほしい。 1. 開発言語からみた jsonb プログラマの立場からみて、普段の開発で使うORM/フレームワークと jsonb の相性はどうなのか。 ここでは代表的なプログラミング言語環境でさらっとイメージだけつかんでおきたい。 個人的に Docker がマイブーム(死語)なので、検証環境に Docker を活用したい。
PostgreSQLのGUI管理ツール「PostgreSQL Studio」、オープンソースで公開
PostgreSQLデータベースのスキーマやインデックスの管理、SQLの実行などをWebブラウザから行えるツール「PostgreSQL Studio」が、オープンソースで公開されました。 PostgreSQL Studioは、データベース内のテーブルのスキーマを参照し、また列やインデックス、ビューや制約、トリガーなどの作成や変更、SQL文の実行などを行う機能としてSchema Brwoser、Detail Browser、SQL Worksheet、Object Wizardsなどを備えています。 Webブラウザから利用できるため、PostgreSQL StudioをPostgreSQLと同じファイアウォールの背後に置いておき、HTTP経由でアクセスすることにより、安全にデータベースを管理できると説明されています。 Javaで記述され、複数のPostgreSQLバージョンに対応 対応するP
.NETライブラリ「Npgsql」によるPostgreSQLの活用
オープンソースのRDBMSであるPostgreSQLの特徴を紹介。さらに、それにC#から接続して利用する方法として「Npgsql」というオープンソース・ライブラリの基本的な使い方を紹介する。 PostgreSQLはオープンソースのリレーショナル・データベース管理システム(以降、RDBMS)であり、1997年1月に初めてその名が付けられてから、MySQLと共にオープンソースRDBMSの中心を担ってきた歴史のあるソフトウェアである。 PostgreSQL自体の開発は、PostgreSQL Global Development GroupというPostgreSQLの開発者からなるコミュニティによって活発に行われている。日本国内でも日本PostgreSQLユーザ会を中心としてSRA OSS,Inc.、NECソフト、NTTなどで普及活動や活用を行っており、商用製品にも劣らない高い信頼性を持ったRDB
Raspberry PiでPostgreSQL(PostGIS)を動かして、現在地をしゃべらせてみた。 - meketenの趣味日記
PostgreSQLのAdvent Calendarに初めて参加させて頂きます。 Hatena Diaryもこの投稿が初めてです。 真面目な投稿が多い中、全く役に立たない上に、OSSの無駄遣いと怒られそうですが。。頑張ります。 概要 Raspberry PiにPostgreSQL(PostGIS)をインストールし、国土交通省が公開している位置参照情報を取り込みました。 位置情報(緯度・経度)から現住所をGISっぽく取得し、OpenJTalkを使って喋らせてみました。 喋ってる場所は緯度：35.448575 経度139.642403の場所（神奈川県庁付近）です。 Google マップ Raspberry Pi(ラズベリーパイ)のご紹介 Raspberry Piは名刺サイズのLinuxが動くシングルボードARMコンピュータです。 http://ja.wikipedia.org/wiki/Ras
PostgreSQLに興味がある人向けにまとめてみた。｜PostgreSQL｜お仕事メモ｜Pictnotes
PostgreSQL9.2がでたのと、一部で？またPostgreSQLを使いたいと思ってる人が多くなったとかあるみたいなので 4〜5年触ってなかったか、全然知らない人向けとおさらいとしてまとめてみた。 ざっくり書いてるので、詳しい人からみるとおかしい点もあるかと思いますが、気になった点はより詳しい記事が あると思うので、調べてみてください。 明らかな間違え等々は、修正加筆したいので、コメントか twitterの @itm_kiyoまで、御願いします。 Q. なんて読むの？書くの？ A. PostgreSQL(ぽすとぐれすきゅーえる)、PとSQLは大文字。ちなみにMySQL(y以外は大文字)なんで、小文字と大文字の区別をきちんとするとその界隈の人がよろこびます。 でも、「postgres」 とか 、「Postgres」や「ポスグレ」とか書かれてることも多いです。 Q. どのバージョンを使うの
PostgreSQL Conference 2009 Japanに参加 - m-takagiの日記
JPUG10周年記念のPostgreSQL Conference 2009 Japan、2日目だけ参加してきました。 主な目的は二つ。 英語のプレゼンをたくさん聞いて、耳を慣らす JPUG文書・書籍関連分科会の本田さんにご挨拶する 英語 というわけで、海外からのスピーカーのお話を中心に聞いてきました。初日と違って通訳なしだったので完全に自分の耳だけで勝負しなければならず、かなり体力を消耗しました……。 いくつか聞いたなかで、David E. Wheeler氏のプレゼンが特にすばらしかったのでここで紹介しておきます。 データベースのユニットテストをしよう！ 内容自体はごく一般的なTDD入門ネタで、特に目新しいものではありません。 「テストを書くのは時間がかかるし面倒だ」 「テストしたところでバグを見つけることはできないよ」 「こんなシンプルなコード、わざわざテストするまでもないよ」 「あまり
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
9.2. 比較演算子
9.8. データ型書式設定関数
9.9. 日付/時刻関数と演算子
40.6. 制御構造
40.5. 基本的な文
http://japan.internet.com/webtech/20101119/5.html?rss