Instagram のスケール正攻法 -- Kosei Kitahara's Blog
Instagram がどこに買収されたとかは他のニュースサイトにお任せして、Django アプリケーションを正攻法でスケールして "成功" してるのがとても興味深いです。現時点で Instagram Engineering で紹介されていることと TechCrunch にも掲載されたスライドから個人的なメモとしてまとめてみました。 Instagram の哲学は シンプルであること オペレーション負荷を最小化すること すべて装備 とのこと。 Instagram は以下の OSS, サービスで構築されているようです。 >>> OS / ホスティング Ubuntu Linux 11.04 を Amazon EC2 にホスティング。以前のバージョンは高トラフィックになると固まる問題があったようです。運用は 3 人。EC2 にホスティングしている理由は、調査結果によるものではなく、"まだ進化途中だか
Post by @instagram-engineering
What Powers Instagram: Hundreds of Instances, Dozens of Technologies One of the questions we always get asked at meet-ups and conversations with other engineers is, “what’s your stack?” We thought it would be fun to give a sense of all the systems that power Instagram, at a high-level; you can look forward to more in-depth descriptions of some of these systems in the future. This is how our system
pgmemcacheからmemcachedのデータを操作する
本稿の前提環境 memcached 1.2.5 データベース：PostgreSQL 8.3.1 OS：CentOS 5（Linux kernel 2.6 ） シェル：bash CPU：Intel Core2Quad 9660 2.4GHz RAM：PC2-6400 8GBytes 以降では、前編の内容を前提として、実際にmemcachedにアクセスしながらpgmemcacheの使い方を説明しますので、memcachedが起動されているかどうか確認してください。 最初に、ターミナルソフトpsqlを使って直接pgmemcacheの主要な関数を実行してみます。 次ページからは簡単な例を使って、PostgreSQLとmemcachedを連携させる方法を説明します。 サポートされている関数 pgmemcacheはlibmemcacheのほとんどの機能を利用できますが、ここでは基本的な関数の説明にとど
Home
It’s dangerous to go alone, take this! –The Legend of Zelda Welcome to Pro Gaming Foundry, your source for information on all things gaming. We cover everything to do with maximizing your performance online, from chairs and VR rigs, all the way through monitors and gaming laptops. Whether you need to customize your seating, improve your monitors, get a faster desktop, or stream your latest adventu
スロークエリの分析 | Let's POSTGRES
NTT オープンソースソフトウェアセンタ 板垣 貴裕 スロークエリ (時間のかかるSQL) を発見するまでの手順を解説します。スロークエリ分析と改善は以下の流れで行うことになります。この記事では主に 1. のスロークエリの特定方法について解説します。2.については『スロークエリの改善』を参考にしてください。 どのSQLが遅いのかを見つける。 そのSQLがなぜ時間がかかるのかを判断する。 設定パラメータ、SQL、スキーマなどを改善する。 着目したSQLの性能を再測定し、2. から繰り返す。 着目したSQLのチューニングが完了したら、他のボトルネックを探すため 1. から繰り返す。 スロークエリの見つけ方 スロークエリを見つけるには、大きく分けて統計情報ビューを使う方法と、サーバログを使う方法の2つがあります。統計情報ビューを使う方法は PostgreSQL 8.4 以降でしか利用できませんが
Kazuho@Cybozu Labs: PostgreSQL のボトルネックを統計的に監視・解析する方法
先日書いた「MySQL のボトルネックを統計的に監視・解析する方法」について、PostgreSQL でも pg_stat_activity テーブルを使って実行中のクエリ一覧を取得できると higepon さんに教えてもらったので、やってみました。 % ppdump > ppdump.txt のようにクエリをサンプリング (デフォルトで100秒間程度) して、 % ppfilter < ppdump.txt | ppreport のようにすると、平均負荷の高いクエリから順にソートされて表示されます。詳しい使い方や考え方については、mprofile のエントリをご参照ください。 pprofile のソースコードは、/platform/postgresql/pprofile – CodeRepos::Share – Tracに置いてあります。負荷が高い PostgreSQL 環境が手元にないの
pgFouine - a PostgreSQL log analyzer
About pgFouine pgFouine is a PostgreSQL log analyzer used to generate detailed reports from a PostgreSQL log file. pgFouine can help you to determine which queries you should optimize to speed up your PostgreSQL based application. pgFouine is written in PHP, is object oriented and easily extensible if you need specific reports. pgFouine is free software and is distributed under the GNU General
SQLのlike演算子でエスケープが必要な文字 - teracc’s blog
まとめると以下のようになると思います。 Oracle % _ ％(全角）＿(全角) DB2 % _ ％(全角）＿(全角) MS SQL Server % _ [ MySQL % _ PostgreSQL % _ 注意点は以下のとおり。 DB2、Oracleは、「％」「＿」（全角）もワイルドカードとして解釈する SQL Serverは、[a-z]のような正規表現的な記述を解釈する 当然、ワイルドカード的な機能を持たせたい「%」や「_」等はエスケープしない 全データベース共通の話として、エスケープ文字自体もエスケープする必要がある（MySQL、Postgresでは「\」がデフォルトのエスケープ文字） likeのエスケープをした後に、Prepared Statementで値をSQLにバインドする （関連）2008-07-10 - T.Teradaの日記
開発環境で自動でSQLにExplainをかけるコンポーネント バージョンアップ(1.1) PostgreSQL対応 - cakephperの日記(CakePHP, Laravel, PHP)
English page is here. 何度もバージョンアップしてすみません。MASA-Pさんのコメントや、あつさんのトラックバックからPostgreSQLでは一部のExplain結果しか出力されない問題がわかりました。ありがとうございます。 PostgreSQLで検証してませんでした、手を抜いてすみません。。。 というわけで、PostgreSQL対応しました。あつさんのコードを参考にしました。 下記のような画面になります。 最新版はここからダウンロードしてください。 PostgreSQL対応の差分だけ解説します CakePHP のおいしい食べ方で英語で紹介してもらえて、http://planetcakephp.org/にも反映されたので、ソースコードは全部載せておきます <?php /** * ExplainSqlComponent - Auto execute SQL Explai
ちょっとだけまじめに書いてみる - elf's blog
ちゃんと書くべきことが書かれているので書くことないなーと思ったんですが，時間をあけて気づいたことがあるので，そこも含めてつらつら． で、そこまでわかっている人間が誰かに伝えるべきことは、pg_pconnect使うと障害対応で人間やめることになるよなどという意味不明な極論ではなくて、例えば「PHPスクリプトを動かすhttpdと画像やCSSを送り出すhttpdは別にしよう」ということだ。 知らずに思考停止しているだけであればまあアレだが（笑）、知っててなおシャレや冗談のつもりで話しているならば誤解を招きすぎである。 冷静に見るとこのようにしか取れないなら残念．こちらの執筆能力に残念って感じか． そりゃ結論と余談という風に分けましたけどね(笑 ちゃんと書くならこちらが本心に近いです． チューニングはえてして最初は徹底的にやりづらい．しかし気をつけるべきは「過負荷になってからチューニングで対処」は
【コラム】Yet Another 仕事のツール (24) SQLrelayとpgpoolのアプリケーションへの適用範囲 | エンタープライズ | マイコミジャーナル
前回、PostgreSQLへの接続をプーリングするコネクションプールサーバ「SQLrelay」を導入したが、今回はSQLrelayを使うメリットをより具体的に感じてもらう意味で、ちょっとしたプログラムを組んでみよう。言語は例によってPHPを使用するが、Web上で動かすのはちょっと面倒なので、今回は「CLI (Command Line Interface)」の機能を使い、シェルから実行できるスクリプトを書くことにしよう。 まず、figure1は純粋にPHPのPostgreSQL関数群を利用して書いたスクリプトだ。 figure1 : test1.php #!/usr/local/bin/php <?php $conn = pg_connect("dbname=testdb user=user1"); $sql = "select * from tab1;"; $rslt = pg_q
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
DBMSでテーブル名とフィールド名をクォートした際の挙動を知る - Sooey
database Originally uploaded by Tim Morgan PEAR::MDB2のリードメンテナであるLorenzo Alberton氏による、DBMS identifiers and case sensitivityが興味深い。DBMSで「テーブル名やフィールド名をダブルクォートで囲んだ」場合に大文字小文字がどのように扱われるのかということをちゃんと意識しないとダメですよ、という内容。 SQL:2008とSQL-99では「クォートしない限りケースセンシティブにはならない」（大文字小文字を区別しない）としており、DB2、Oracle、Interbase（Firebird）はこれに合致している。PostgreSQLの挙動も同様だが、前者が「非クォート時に大文字」となるのに対して、こちらは「非クォート時に小文字」になる点が異なる。 MySQLはテーブルがファイルシステ
ここギコ！: GoogleMapsと連動したいなら幾何データ型よりPostGIS
なんか向こうのコメントに書き込んだのだが、よく判らんが削除されてしまったのでこっちのエントリで取り上げる。 データベース上の位置情報を効率的に検索する方法(PostgreSQL編) -Web屋のネタ帳- たとえばおいしいケーキ屋さんの位置情報がデータベース上にあるとしよう。...GoogleMapsなどである範囲の地図を表示したとして、お店の位置を地図上にマーキングさせたい場合には、その地図の範囲の情報をキーにしてデータベース上の緯度経度を検索する必要がある。 ......... だが、ひとたび ある1点から半径rの円内に該当するデータを検索したい さらにその検索結果を、中心点からの距離でソートしたい といったことになると、とたんに難しくなる。しかし、PostgreSQLにもう5年以上前から実装されている幾何データ型、幾何関数、幾何演算子を使えば、SELECT一発でできることだ。 幾何
SkypeGarage/DbProjects/PgBouncer - Skype Developer Zone
PgBouncer Lightweight connection pooler for PostgreSQL. Downloads, bugtracker, CVS: http://pgfoundry.org/projects/pgbouncer Features Several levels of brutality when rotating connections: Session poolingMost polite method. When client connects, a server connection will be assigned to it for the whole duration it stays connected. When client disconnects, the server connection will be put back into
pgpoolを使ったPostgreSQLのレプリケーション
こんばんは、牧野です。 前回、その前の前とPostgreSQLのチューニングについてでしたが今日もPostgreSQL関連で、PostgreSQLでのレプリケーションについてです。 MySQLの場合、別のソフトウェアを使わなくてもMySQLだけでレプリケーションを実現できますが、PostgreSQLの場合は別途専用のソフトが必要になります。 今回はそんなソフトの1つ、pgpool-II(以下pgpoolと書いています）を使ったレプリケーションを紹介します。 pgpoolを使うと、PostgreSQLで手軽にマルチマスタ方式のレプリケーションを実現できます。 他にも、コネクションプーリング、アクティブスタンバイ、slony-I等のレプリケーションソフトと組み合わせたマスタ・スレーブ方式のレプリケーション、時間がかかる検索処理を複数サーバで並列処理させる（パラレルモード）というようなことができ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Scaling Instagram
http://www.interdb.jp/techinfo/web%20db48/pgpool.html
http://neta.ywcafe.net/000960.html
http://neta.ywcafe.net/000597.html