タグ

2013年5月14日のブックマーク (5件)

  • Riak 05 システムプランニング | Ore no homepage

    ハードウェア層 OS層 クラスタの留意点 負荷分散 ベンチマーク BitcaskとLevelDB コンフィグファイル スケールアウトとスケールアップの手順 運用上の注意点 64ビットCPUアーキテクチャ 最低4GBのメモリ。メモリは最も重要。局所性を活かせるのであれば多くメモリを必要としない。 RAID0、SSDを考慮すると良い。IOバウンドになりがちなので。 ミラーリング(RAID1)は考えなくて良い。 RAID(RAID1?)はやめちゃいな(クラスタ組んでるしいいんじゃない?的な?)。 ディスクサイズ重要。 ギガビットイーサも考慮にいれて。ネットワークも使うよ。 仮想マシンを使う場合は一番良いインスタンスを使う。同じデータセンタ/リージョンに配置するようにする。 クラスタ全体で必要なディスクサイズは次のように計算できる。 オブジェクト数 * 平均オブジェクトサイズ * n_val 50

    akuwano
    akuwano 2013/05/14
    おれのRiakのシステムプランニング!
  • 減っていく「そこそこの」スキルの仕事:日経ビジネスオンライン

    情報通信技術IT)が仕事の内容を変えている。「そこそこの」中程度のスキルでできる定型的な仕事は、コンピューターに置き換えられている。急速な技術進歩の結果、コンピューターはますます複雑で高度な内容の仕事がこなせるようになり、人間しかできない仕事は減っていく。一方、ITを利用することで、これまで考えられなかったような仕事もできるようになっている。 稿では3回に分けて、技術と雇用の関係に焦点を当てながら、これからの仕事のあり方を考察する。第1回では技術進歩と働き方について、近年海外で話題になっている書籍およびITと雇用に関する海外の実証研究を紹介する。そこでは、ITの進歩により中程度のスキルの仕事が失われるとの見方とともに、技術が働き方やビジネスモデルを大きく変えている実態と将来展望が示されている。 第2回では日でも同様の状況が生じていることを示す。第3回ではそれらを踏まえて、これからの仕

    減っていく「そこそこの」スキルの仕事:日経ビジネスオンライン
    akuwano
    akuwano 2013/05/14
  • Pinterestはいかにスケーラビリティと格闘してきたのか(後編)。QCon Tokyo 2013

    4月23日に都内で開催されたエンジニア向けのイベント「QCon Tokyo 2013」。急速に人気サイトへと成長したPinterestが、その裏でいかにスケーラビリティと格闘してきたのかをPinterestエンジニア自身が紹介するセッション「Scaling Pinterest」が行われました。 この記事は「Pinterestはいかにスケーラビリティと格闘してきたのか(前編)。QCon Tokyo 2013」の続きです。 クラスタリングは怖い スケーラブルなシステムで問題なのは、データベースがひとつのサーバに収まらなくなったときにどうするのか、ということだ。 例えば、Cassandraは自動的にスケーリングしてくれて設定も簡単。可用性も高く単一障害点はない。しかし障害はそれでも起こるもので、クラスタリングの技術はまだ枯れておらず基的に複雑なものだ。コミュニティもまだ十分ではない。 私たち

    Pinterestはいかにスケーラビリティと格闘してきたのか(後編)。QCon Tokyo 2013
    akuwano
    akuwano 2013/05/14
    MySQLのシャーディングの話。この運用は倍々ゲームになるし、大規模に物理ではやりたくない気もするけどクラウドだったり、運用がしっかりまとまってればOKなのかなー。
  • Pinterestはいかにスケーラビリティと格闘してきたのか(前編)。QCon Tokyo 2013

    4月23日に都内で開催されたエンジニア向けのイベント「QCon Tokyo 2013」。急速に人気サイトへと成長したPinterestが、その裏でいかにスケーラビリティと格闘してきたのかをPinterestエンジニア自身が紹介するセッション「Scaling Pinterest」が行われました。 この記事では、その内容をダイジェストで紹介しましょう。 つねにシステムのどこかが壊れている Pinterest、Marty Weiner氏。 Pinterestはオンラインのピンボードで、ユーザーが「ボード」を作成して、そこに画像など好きなものをアップロードしてシェアできるというもの。「ピン」ひとつひとつが画像やリンクになっている。 ユーザーやボードをフォローすることもできるし、再ピンしたりイイネしたり、コメントの入力もできる。

    Pinterestはいかにスケーラビリティと格闘してきたのか(前編)。QCon Tokyo 2013
    akuwano
    akuwano 2013/05/14
    "データベースだけでMySQL、Cassandra、Membase、Redis、MongoDBと使われていて、3人のエンジニアがとにかく動かし続けるだけで手一杯になった。"
  • Gunicornでsymbolic linkを貼り直しつつ停止なしでデプロイしたい - smellman's Broken Diary

    最近Pythonのプロダクトを扱っていたりします。 GunicornはRuby on Railsでよく使われているUnicornの影響を受けたと思われるプロダクトで、Gunicornは"Green Unicorn"という意味らしいです。 Unicornではよく知られてる手法としてkillによる再起動を使ってほぼ無停止でデプロイ後に再起動をかける手段があります。 Gunicornでも FAQ - How do I reload my application in Gunicorn? にあるように、以下のようなコマンドで再起動ができるそうです。 kill -HUP masterpid しかしながら、デプロイ時にsymbolic linkを入れ替えるという手法を取った場合にうまく動きません。そもそも、これってソースコードの編集に対応してないんじゃないかなっていう感じです。(検証しているときに書き

    Gunicornでsymbolic linkを貼り直しつつ停止なしでデプロイしたい - smellman's Broken Diary
    akuwano
    akuwano 2013/05/14