fluentdと連動して集計処理を行うNorikraの導入方法
NorikraをCentOS6にインストール ビックデータ時代のログ管理ソフトfluentd。 その利便性と安定した動作から、業界ではログ管理の標準になりつつあります。 そんなfluentdにも苦手な分野があります。 条件を指定した集計処理です。環境によって異なる集計処理を実装するには数値を操作するプラグインを組み合わせる必要がありました。 カウント処理で言えば「fluent-plugin-datacounter」。小数点を切り上げるには「fluent-plugin-amplifier-filter」といった具合です。 そうした集計処理をSQLライクな文法で手軽に追加できるのが、今回導入するNorikraです。 今回はCentOS6系での導入を例に解説します。 目次 Norikraとは Norikraの導入方法 rbenvの環境にRubyをインストール rbenvの環境にjRubyのインス
Data Analytics Service Company and Its Ruby Usage
Treasure Data is a data analytics service company that makes heavy use of Ruby in its platform and services. It uses Ruby for components like Fluentd (log collection), Embulk (data loading), scheduling, and its Rails-based API and console. Java and JRuby are also used for components involving Hadoop and Presto processing. The company's architecture includes collectors that ingest data, a PlazmaDB
morisnite #3｜IT勉強会・イベントならTECH PLAY［テックプレイ］
はじめに ISUCON5やったあとwishlist公開したら玄関が埋まってて生活に難儀しているので、放出して morisnite #3 やります! なお当イベントは最近業界で有名な某トニーモリス氏とは関係ありませんが、もし本人が来るなら歓迎します。 趣旨 適当に集まって飲もうぜ 会場にはいくらか(120本くらい?)ビールがありますが、他には何もありません ビール以外の飲み物、および食べものは各自で適当に調達して持ち込んでください 遅刻等しても入ることはできるはずです、まあ適当にどうにかしてください 連絡などは適当にTwitterで @tagomoris か #morisnite へ 20時開始、23時完全撤収です 概要 食べ物 何か持ち込むと良いと思います 意外に皿とか箸とかウェットティッシュが盲点になって喜ばれるかもしれません 足りなければ有志で適当にピザとか頼むかもしれません、割り勘を
就職しました - たごもりすメモ
結局3月からそのまま働くことにしました。 先日のエントリを書いて以来、本当に多くの方から声をかけていただきました。ありがとうございました。本来なら個別にご報告するべきところですが、ちょっと数が多くて厳しいので、このエントリをもって報告にかえさせていただきます。 またいろいろと話を伺う中で考えたことなどもあるので、そちらについては別途エントリを書くつもりです。 様々な話を聞いた上で、1月末の時点では自分でもわかっていなかったことがわかりました。最終的に重視したのは以下の点です。 技術ベンチャーであること ベンチャー企業として大きな成功を狙っていること、またそれが有望に見えること 優秀なプログラマが同僚に多いこと 退職エントリに書いた観点のほかに、この3点が今回の自分にとって重要だということは後から見えてきたことでした。 ということで Treasure Data に入社しました。Softwar
DMM inside
日本アニメ初の快挙！海外アニメ賞を受賞した『スキップとローファー』海外ライセンス部長&プロデューサーが語る、奮闘の舞台裏
社内ITシステムを構築・運用するのに最重要な3つのポイント - たごもりすメモ
自社で使用するシステムを開発する、とする。 このとき迂闊にやっていると、気付いたら過去に構築したシステムのメンテナンスにばかり時間をとられ、新しいコードがぜんぜん書けていない、という状況に陥ることがある。 こうなると地獄だ。新規の興味深いコードを書くなんてとんでもない、という状態になる。メンテナンスコストを下げるためのコードすら書けなくて永遠に悲惨な撤退戦を繰り返すことになる。絶対に避けなくてはならない。 ということで、自分が心掛けていることをざっと書く。 全く手を入れずに動き続ける状態を最初に作る もちろんシステムというものは生き物なので、ある程度のメンテナンスコストが必要になる。特に会社というものは生き物なのでシステム周囲の環境は常に変化する可能性がある。データ連携している別のシステムの仕様が変われば、当然そのデータを利用する側も対応しなければならない*1。 ということで、システムには
DISられないUIを作るために最低限守るべき5つの鉄則 - たごもりすメモ
ぼくらが迂闊にUIを作ると、そこにはユーザの正直な目線があり、非常に様々な、そして真っ当な反応がある。 曰く「わからん」「まさかそこをクリックするとは」「不思議な動作」「独自宇宙」「モリスUI」。 反応がもらえるのは非常に良いことだが、何度も何度も繰り返しているとつらくなってくるので、できれば避けたい。分かっている(いた)ことは最初から対応しておきたいものだ。*1 ということで、ここではブラウザで操作する管理画面等のWebUIを作るとき、真っ先に心得ておくべき5つの鉄則を紹介したい。これを守っていてもDISられなくなるというわけではないが、これを守らないと間違いなくDISられるので注意しよう。 なおこの記事ではオリジナリティというものについては考慮しない。オリジナリティとか犬に食わせろ。 クリックできる場所はcursor:pointerを指定しろ これを忘れるとこの世のものとは思えないくら
「第9回 日本OSS貢献者賞・日本OSS奨励賞」受賞者を選定 | 日本OSS推進フォーラム
日本OSS推進フォーラム（代表幹事 栗島 聡）は、このたび、優れたオープンソースソフトウェア（OSS）の開発及び普及に貢献した個人等を表彰する「第9回 日本OSS貢献者賞」および「第9回 日本OSS奨励賞」の受賞者を選定しました 「日 本OSS貢献者賞」は、OSS開発の振興を図ることを目的に、影響力のある開発プロジェクトを創造・運営した開発者や、グローバルプロジェクトにおいて活 躍する卓越した開発者、OSS普及への貢献者を表彰するものです。本賞は2005年度に創設され、今回が第9回目となります。 今回は、審査委員会で特別の功績が認められた方がおられたため、「日本OSS貢献者賞 特別賞」を設置して1名の方にご受賞頂きます。特別賞の授与は今回が初めてとなります。 「日本OSS奨励賞」は、過去1年間にOSSの開発や普及に顕著な活躍をした個人ないしグループを表彰するものです。本賞は2009年度に新
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2015年下半期エンジニアの注目技術タグランキング - TECH PLAY［テックプレイ］
DSC04160.jpg
http://atnd.org/events/52580
社内システムの構造と設計、実装のはなし
LINE Corporation