タグ

ブックマーク / keyamb.hatenablog.com (7)

  • 時系列DBって結局どれがいいんだっけ #TSDB - weblog of key_amb

    ※4/6 その後調べた情報などを記事末尾に追記 前提となるニーズ サーバの負荷情報とか、アクセス状況のような KPI を取得・保存し、可視化(参照してグラフ化)したい。 リアルタイム性が要求される。5分以上前のデータしか見れませんみたいなのはお呼びでない。 古いデータはそんなに精度は気にしないけど、ロングスパンで俯瞰して見れたら便利。 最近はビッグデータ環境の時系列データ解析もビジネスではけっこうニーズがありそうだけど、そっちはもう少し要求が多そう。 ここでは考えないことにする。 選択肢になりそうなもの 古きよき RRDtool Elasticsearch + Kibana Graphite + Grafana InfluxDB + Grafana 等 Zabbix 他に、現実的には SaaS に任せるという手段もあるだろうけど、そう言うと話が終わってしまいそうなので、ここでは考えないこと

    時系列DBって結局どれがいいんだっけ #TSDB - weblog of key_amb
  • Consul クラスタ上で動作する S3 非依存の pull 型デプロイツール "fireap" を作った - weblog of key_amb

    github.com fireap = fire + reap です。 Consul Event を発火(fire)して、受信側でそれを収穫(reap)する、という意で。 読み方は「ファイリープ」で良いかと思ってます。 どんなツール? GitHub に上げた README.md より、かいつまんで日語に変換しつつ説明します。 ノード数 N に対して O(log N) で動作するデプロイツールです。 が、実際にはデプロイに限らず任意のコマンドを実行できるので、README の中ではデプロイツールとは書いておらず、「高速タスクランナー」としています。 fujiwara/stretcher や sorah/mamiya は O(1) なので、それらが使える環境(S3 的な I/O やトラフィックの上限が非常に高いストレージがある)でデプロイを速くしたいという場合は、それらを使えばよろしいかと。

    Consul クラスタ上で動作する S3 非依存の pull 型デプロイツール "fireap" を作った - weblog of key_amb
  • シンプルな分散ジョブスケジューラを作ってみた #appkoyomi - weblog of key_amb

    github.com 掲題の通り、軽量動作する分散ジョブスケジューラを作ってみました。 名前は Koyomi としました。 Perl で書きました。CPAN にもアップしています。*1 Motivation 出発点となった課題感としては、だいたい cron の冗長化法について調べてみた #cron - weblog of key_amb という記事に書いた通りです: バッチサーバの冗長化は割と見過ごされやすい やろうとするとちょっと面倒 上の記事では cron を冗長化するやり方をいくつか紹介したのですが、NFS は SPOF になりやすいし、keepalived を使ったやり方もなんだかトリッキーで少し複雑な気がしないでもないです。 そこで、もっとシンプルに高可用性を達成するやり方はないかなと考えて、実装してみました。 動作原理 仕掛けは割と単純で、スケジュールのデータストアをスケジュー

    シンプルな分散ジョブスケジューラを作ってみた #appkoyomi - weblog of key_amb
  • CoreOS Meetup Tokyo #1 に行ってきた #coreosjp - weblog of key_amb

    4/9(木) に開催された CoreOS Meetup Tokyo #1 に行ってきました。 3時間の中でイントロ除いて発表が7つあり、かなり内容が濃かったです。 一番面白かったのは @kawamuray さんの Docker に CRIU を実装した発表でした。 CRIU はコンテナ界隈でも注目度が高い技術のようで、近い将来、この時デモで見たような機能が誰でも使えるようになるかと思うととても楽しみです。 また、Wantedlypixiv で実際にプロダクション環境で運用している話も聞けたのは収穫でした。 コンテナ技術は運用ノウハウがまだ業界的に溜まっておらず、各社手探りでやっている印象を受けました。 一方で、@higebu さんの次のコメントが特に印象に残りました。 バグは何にでも存在するからバグを恐れてたら何もできないんだよな #coreosjp— Yuya Kusakabe (

    CoreOS Meetup Tokyo #1 に行ってきた #coreosjp - weblog of key_amb
  • Sensu Deep Talks #1に行ってきました #Sensu #sensudeep - weblog of key_amb

    Sensu Deep Talks #1 に行ってきました。 Sensu Deep Talks #1 - connpass Sensu を使ったことはないのですが、エージェント型で Immutable Infrastructure に適した監視ということで、以前から気になっていました。 今回は現場で Sensu を使っている人の深い話が聴けてよかったです。 以下、発表内容です。 ※資料がアップされたので追加しました。 Sensu with Golang Sensu with golang from Akihiko Horiuchi @hico_horiuchi 大学院修士1年生の方。 ohgi - Go 製の Sensu CLI GitHub - hico-horiuchi/ohgi: 扇: Sensu command-line tool by Golang v0.1.4 APIひと通り叩け

    Sensu Deep Talks #1に行ってきました #Sensu #sensudeep - weblog of key_amb
  • 初めての Go #golang - weblog of key_amb

    だいぶ今更感がありますが、重い腰を上げてようやく Go 言語を触ってみることにしました。 主に下記記事を足がかりに学習を進めています。 私的メモ: golang 学習 - A Tour of Go をなぞる 開発環境は MacOS Mavericks で、エディタは Vim です。 以下、インストールから、初めてのライブラリ作成までのログです。 (1) Go Install / Configure 公式ページからMac用のパッケージをダウンロードしてインストール。 Downloads - The Go Programming Language インストール後、ターミナルを起動し直すと、/usr/local/go/bin に PATH が通っていた。 % which go /usr/local/go/bin/go % go env GOARCH="amd64" GOBIN="" GOCHAR

    初めての Go #golang - weblog of key_amb
  • 第8回 Elasticsearch 勉強会に行ってきた #elasticsearch #elasticsearchjp - weblog of key_amb

    2/13(金)に開催された第8回 Elasticsearch 勉強会に行ってきました。 第8回elasticsearch勉強会 #elasticsearch #elasticsearchjp - elasticsearch勉強会 | Doorkeeper 以下、内容のメモです。 1. Elasticsearch導入チェックリスト / @johtani Elasticsearch株式会社の Jun Ohtani さんによる Install & 初期セットアップガイド。 ハマリポイントの紹介込み。 JVM / Elasticsearch のセットアップ内容の一部については、Elasticsearch 公式ドキュメントの http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/setup-configuratio

    第8回 Elasticsearch 勉強会に行ってきた #elasticsearch #elasticsearchjp - weblog of key_amb
  • 1