タグ

goとdistributedに関するmanabouのブックマーク (2)

  • Goと大規模分散システムの相性 - ワザノバ | wazanova

    Googleで分散システムの開発をてがけ、現在はソーシャルメディア mttr.toを立上げ中のBen Sigelmanが、Goを分散システムの開発に利用する場合の、メリットおよびチャレンジについて講演しています。 分散システムのあるべき姿 分散システムの勘所は、最上位ビットをパフォーマンス的にも構造的にもうまく扱うことができるかというのがポイント。その効果が一番大きい。スループットの改善のような詳細は、自分もGoogleでそれに取組んだけれども、9ヶ月くらいたつとハードウェアの性能で解決される可能性が高い。また、構造的にというのは、なるべく小さなコンポーネントを組み合わせたシステムにできるかという意味。 Goのよいところは、 両方、とくに後者によい。Railsだとアプリを複数個用意して並列処理するのは大変だったけど、Goだとシンプルにできて、標準ライブラリも読みやすいとかなどなど。パフォー

  • STFで気づいたら8ヶ月間に及んだオペレーションがいつのまにか終わってた件 : D-7 <altijd in beweging>

    当に手前味噌な話ですけど、STFさん。今回も「あー、俺いいソフトウェア書いた」と満足できたので、この記事を書きます。ちなみにSTFとはみんな大好きPerlで書かれた分散オブジェクトストレージです。(github) tl;dr; ああ、俺いいコード書いた8ヶ月間最初のスクリプトをキックする以外何もしてないけど、18億個のデータを無事格納しおえた去年の夏くらいに「お、そろそろ今ある物理ストレージサーバーのディスク容量一杯になるぞ」という状態が観測されたので 追加のストレージを導入していただいて、そこから「現在格納されているオブジェクト群を新しいストレージにまた均等に均す」というオペレーションを開始しました。もちろんシステムを停止させることができればあっという間に終わる仕事なんですが、ユーザーのデータがのっているので当然止めるわけにはいかないです。そこで システムはオンラインのまま、遅延等を発

    STFで気づいたら8ヶ月間に及んだオペレーションがいつのまにか終わってた件 : D-7 <altijd in beweging>
  • 1