タグ

ブックマーク / suzuken.hatenablog.jp (2)

  • AWS Casual Talks #2 で発表してきました #awscasual - すずけんメモ

    AWS Casual Talks#2で発表してきました。主催の @con_mame さん、会場を提供してくださったAWSのみなさま、どうもありがとうございました。 AWS Casual Talks#2 on Zusaar http://www.zusaar.com/event/3817003 今回は新サービスネタということで僕の発表ではAmazon Kinesisについて触れた。内容としては、既存のアーキテクチャにAmazon Kinesisを適用したらどんな感じになるか、ということを検証している内容を踏まえつつ考えをまとめたもの。まだ実際にプロダクションには投入していないので、運用していった時にどういう形になるかはわからない。ただまだ東京リージョンにも来てないし、ある程度検証している内容でもカジュアルに話そうか、というのが今回の発表の趣旨。 Data Stream Processing

    AWS Casual Talks #2 で発表してきました #awscasual - すずけんメモ
    yass
    yass 2014/04/21
    " write側に工夫が必要そう。具体的には1 recordずつwriteすることになるので、throughputが出しにくい。Fluentdではchunkとしてstreamを処理しているので、ここの相性が悪そう。なのでbatchWriteができると嬉しい "
  • 設定情報のpush型構成を組む場合の手段についてのメモ - すずけんメモ

    管理画面から設定情報を保存しておいて、それをJSONで受け取ってfluentdのexec_filterで使うプログラム用に使っている箇所があります。管理画面のデータを保存するDBを、fluentdの入っているサーバ(以下、workerとします。)からは直接参照せず、管理画面のあるサーバからHTTPでJSON形式のデータをworkerで受け取るようにしています。workerでは定期的に設定情報のJSONを受け取るように設定しています。 しかし、定期的な設定情報の取得では更新からのタイムラグがあります。そこで、管理画面で設定情報が更新されたタイミングで準リアルタイムに設定情報を反映したいと考えました。 サーバに任意のカスタムイベントを送って、それを受け取ったら何かアクションを起こす的なことをしたいけど、Serfを使うまでもないし、かといって例えばfluentdをhttpで叩いてexecにつなげ

    設定情報のpush型構成を組む場合の手段についてのメモ - すずけんメモ
  • 1