fluentdと連動して集計処理を行うNorikraの導入方法
NorikraをCentOS6にインストール ビックデータ時代のログ管理ソフトfluentd。 その利便性と安定した動作から、業界ではログ管理の標準になりつつあります。 そんなfluentdにも苦手な分野があります。 条件を指定した集計処理です。環境によって異なる集計処理を実装するには数値を操作するプラグインを組み合わせる必要がありました。 カウント処理で言えば「fluent-plugin-datacounter」。小数点を切り上げるには「fluent-plugin-amplifier-filter」といった具合です。 そうした集計処理をSQLライクな文法で手軽に追加できるのが、今回導入するNorikraです。 今回はCentOS6系での導入を例に解説します。 目次 Norikraとは Norikraの導入方法 rbenvの環境にRubyをインストール rbenvの環境にjRubyのインス
HashiCorp tools を支える技術 - Qiita
HashiCorp といえば、Vagrant から始まり、 Packer, Serf, Consul, Terraform, Vault, Nomad, Otto など、 運用面で有用なツールを数多く公開していることで有名です。 これらのそれぞれのツールは、 サービスを運用する立場の目線からの知見が大量に入っているのに加え、 堅牢性や様々な機能、現実的な処理速度を実現するために、 数多くの学術的な知見が組み込まれています。 本稿では、各ツールに使用されている技術の非常に簡単な概要と、 それぞれの論文へのリファレンスを示します。 Serf Serf では、SWIM という Gossip(epidemic) protocol の一種が、 クラスタのメンバ管理や、 クラスタメンバの故障検出に使用されています。 (SWIM: Scalable Weakly-consistent Infection
re:dash + BigQueryでクエリのコスト上限が指定できるようになった - ryotarai's blog
昨日に引き続きre:dashネタです。BigQueryはクエリが処理したデータ量に応じて課金されます。使った分だけ払えばいい反面、高額クエリを流すとたいへんなことになります…。Custom Quotasで1日のコスト上限を設定できるようになりましたが、これは10TBの倍数でしか設定できず、一撃10TB（= $50）のクエリは流れてしまう可能性があります。 Total MByte Processed Limit Feature: BigQuery: limit amount of MB processed per query by ryotarai · Pull Request #710 · getredash/redashがマージされ、データ量（BigQueryのAPIでいうtotalBytesProcessed）の上限を設定できるようになりました。 Data Sourceの設定画面で"T
本物の golang を... 本物の Gopher を、お見せしますよ。 - Qiita
事の始まり それはD言語くんへの嫉妬から始まった。 D言語くんの繁殖についての仮説 lsを間違えてdlと入力してしまったときに、D言語くんが通り過ぎるコマンド くっ悔しい... そしてショボいAAで2番煎じ。 lsを間違えてgolと入力してしまったときに、Gopherが通り過ぎるコマンド書いた。 こんなはずじゃない！ 僕らの Gopher 君はこんなチープじゃない！ 明日来てください。本物の Gopher をお見せしますよ。 — mattn (@mattn_jp) December 15, 2015 (本当はもうちょっと前から作ってましたが) 本物のGopher君とは そして今回、これを公開するに至った。 まずはこれをご覧頂きたい。 ！！！！！！！！！！！！１ こいつ・・・ 動くぞ・・・ golang で書いたデスクトップマスコットです。起動すると画面のタスクバーの上をウロウロします。たま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
