2016年2月1日のブックマーク (2件)

  • Apache Kafkaに入門した

    Apache kafka 最近仕事でApache Kafkaの導入を進めている.Kafkaとは何か? どこで使われているのか? どのような理由で作られたのか? どのように動作するのか(特にメッセージの読み出しについて)? を簡単にまとめておく(メッセージングはまだまだ勉強中なのでおかしなところがあればツッコミをいただければ幸いです). バージョンは 0.8.2 を対象に書いている. Apache Kafkaとは? 2011年にLinkedInから公開されたオープンソースの分散メッセージングシステムである.Kafkaはウェブサービスなどから発せられる大容量のデータ(e.g., ログやイベント)を高スループット/低レイテンシに収集/配信することを目的に開発されている.公式のトップページに掲載されているセールスポイントは以下の4つ. Fast とにかく大量のメッセージを扱うことができる Scal

    nishidy
    nishidy 2016/02/01
    誰にどこまで読まれたか、は、PULL型ならconsumerがどこまで読んだか、を覚えておけば良し?いつパージするか、はKafkaでも同じこと。mutex不要になるので並列性が上がる、クラスタで長大なディスクキュー。
  • Apache Kafkaを使ったマイクロサービス基盤

    class: center, middle # Apache Kafka<br/>を使った<br/>マイクロサービス基盤 [2016/01/31 Scala Matsuri](https://scalamatsuri.org/) ![CC-BY-NC-SA](https://licensebuttons.net/l/by-nc-sa/3.0/88x31.png) --- class: center, middle 発表後に追記 [当日の発表動画はこちら](https://www.youtube.com/watch?v=64HNeksRx5I) --- class: middle <img src="image/xuwei.gif" alt="icon" width="100" height="100" /> - twitter [@xuwei_k](https://twitter.com/

    nishidy
    nishidy 2016/02/01
    0.9から認証入った。Java/Scala(Akka)で実装。JVM Heap増やしてもFull GCでStop the world防げない?ZooKeeperでPartition管理か。