hohoho_ho2005のブックマーク - はてなブックマーク

Pipelinedbとは - Qiita
Pipeline DBアドベントカレンダー一日目ということで、多分知らない方が多いこのストリーム処理DBについて、概略の紹介をします。ちなみに自分はまだPipeline DBをプロダクションで使っているわけではなく、AdventCalendarの投稿はプロダクション投入に向けての調査の意味合いが強いです。そもそもストリーム処理がなぜ必要か昨今のWebシステムで生成されるイベントデータやログデータといったものはfluentdなどのログコレクタの発展に伴い様々なデータストアに保存され利用されるようになってきました。そのサイズは、場合によっては日に数億行という事例も多いですがそうしたデータの利用においては、データを抽出し整形し、DBに導入するだけでもある程度のコスト・時間が必要になってきます。そうした事例の解決にはHadoop系のプロダクトやRedshiftやBigQueryなどのカラムナ
hohoho_ho2005 2015/12/03
リンク
CoreOS + fleet でhubotを立ち上げてみた話 - Qiita
概要 CoreOS上にfleetのunitとしてhubotを立ち上げてみた複数ホスト間でのLINKとかなければfleetは単純なツールなので使いやすかったという話前提 Vagrantとvagrant-digitaloceanがインストール済み手元にDocker開発環境が整備済みやったこと 1. CoreOSを立ち上げる今回はvagrant経由でdigitalocean上にCoreOSのdropletsを立ち上げます。 Vagrantfileは下記のようになってます。適宜、pathやファイル名など書き換えて使って下さい。 Vagrant.configure('2') do |config| config.ssh.username = 'core' config.vm.define "core-hubot" do |config| config.vm.provider :digit
hohoho_ho2005 2015/01/13
CoreOS

fleet

hubot

docker
リンク
[公開版]社内バッチ処理ガイドライン - Qiita
このガイドラインについてこちらのガイドラインは社内のバッチ処理スクリプト開発にあたっての、安定運用等に関わるガイドラインを公開用に書きなおしたものになります。バッチサーバ規則基礎項目以下の要項を満たすことを確認するその他の用途で動作しているサーバ上での動作は行っていないこと運用期間中に想定しうるデータ量にてOOMキラーに殺されないこと想定の時間で終了することデータの読み込みは極力Read Replicaを見ていることデータの書き込みによる本番サーバへの影響が見積もれていること冪等性が担保されており、何度実行しても処理上の不具合は発生しないこと多重実行時に不整合が発生しないことエラー時の社内への通知が用意されていることエラー時の通知には再処理のための手順が揃っていること、もしくはそのドキュメントの場所が示されていること個人ユーザー下にログや成果物を絶対に書き込んで
hohoho_ho2005 2014/12/08
リンク
Redisを使う時は見積の二倍の容量必要だよね、という話 - Qiita
[15487] 04 Aug 21:02:37.523 * 1 changes in 900 seconds. Saving... [15487] 04 Aug 21:02:37.523 # Can't save in background: fork: Cannot allocate memory redis-cli infoしても、使用してるメモリは全体の半分ちょっとだったし、空きは十分にある… 答えは Redis Administration http://redis.io/topics/admin に書いてありました。原因と解決策 redisのバックアップが走る際、おそらく現状使用している量と同じだけのallocateを要求しているために、redis自体はメモリ使用が50%強だとしても、バックアッププロセスが落ちてしまう模様。解決は簡単で、Redis Administratio
hohoho_ho2005 2013/08/08
redis
リンク
1