You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
みんな大好きFluentdはプラグインも自由に書けて好き放題にリアルタイム集計を行うことが可能なわけですが、やりたい処理にあわせて無限にプラグインを書き続けてるとプラグインの数が爆発し何がどんな処理をしているのかもよくわからず混乱の海に呑まれて消えるという未来がみなさんの脳裏にもおそらく想像されていることと思います。 で、世の中にはCEPエンジンというものがあってストリーム状に流れてくるイベントデータに対して処理を行う仕組みがあるわけですね。これ使いたい! しかもあれだ、簡単に処理が書けるものがいい! 何が言いたいかと言うとWE NEEEED xQL!!!!!!!!!!!!!!! そんなようなことをこちらのエントリを書いたときに思ったわけです。 http://tagomoris.hatenablog.com/entry/2013/02/19/142017 で、RubyKaigiにも通っちゃ
この5月30,31日および6月1日に行われた RubyKaigi 2013 にproposalが通ったので、スピーカーとして参加してまいりました。 http://rubykaigi.org/2013/ 面白いトークがいろいろあったし色んな人と話ができたし、空き時間にfluentdの修正についての話や作業も進んだし、本当にすばらしいイベントだった。 お台場は遠かったけどHerokuさんのおかげでお昼に困らなかったし、Microsoftさんのおかげで飲み物にも困らなかったし、Githubさんのかげで懇親会にも困らなかった。すごい。スポンサー様すごいですね。 セッションはいろいろ聞いたけどまとまらないのでパス。テクニックの話が多かったな。Rails以外にRuby本体の話がちゃんといくつもあるのがさすがRubyKaigiですごい。RGenGCはFluentdにすごい効きそうなので期待したいなあ。
eep.js is a small lightweight subset of Complex Event Processing (CEP) that adds aggregate functions and windowed stream operations to Node.js. eep.js was introduced at my talk on Data Distribution in the Cloud with Node.js at the Node Dublin conference in October 2012. I wrote eep.js as I find the lack of data-centric stream processing operations in OO and functional languages lacking. Data-centr
We published our first ever UI-focused post on Top JavaScript Dynamic Table Libraries the other day and got some valuable feedback – thanks! We are back to talking about the backend again. Our Search Analytics and Scalable Performance Monitoring services/products accept, process, and store huge amounts of data. One thing both of these services do is process a stream of events in real-time (and b
Fluentd Casual Talks #2 で聞いた fluentd + esper によるCEP実現の話が非常に素敵な感じで、自分の手元でもああいう感じで書きやすく投入しやすいストリームクエリがやりたくてしょうがないお年頃なので、以下のようなものを作ろうかと考えている。勢いあまって(まだ1バイトも書いてないのに) the RubyKaigi 2013 のCFPにsubmitしてしまった。通ったら何がなんでも2ヶ月くらいで書いて動かさないといけない。 ということで以下のようなものを作ろうかと考えている。この内容は Fluentd Casual Talks #2 の懇親会でFluentdコミッタ陣と @angostura11 さんとで頭をつきあわせてゴニョゴニョ話していた内容で、100%自分で考えたものでないことは最初に記しておく。だいたいそもそものアイデアは @angostura11
やっとリリースできました! Sourceforge.jpダウンロードページ 名前はSetsuna(セツナ)としました。 時間の単位を表す言葉である刹那からきています。 刹那の短さでデータを処理出来ればいいなということでこの名前にしました。 このSetsunaですが、CEPといわれるカテゴリに属するものです。 ではCEPとは??なんですが、これは語源そのままです。 Complex Event Processing 複数のイベントつまりデータを処理するエンジンです。 イメージとしてはデータの流れに直接処理を行えるイメージです。 あまり文章ばかりでもつまらないので、実際Setsunaを使いながら説明していきたいと思います。 では題材はこんなのにしたいと思います。 「Apacheが重い!! ひょっとして攻撃されてる?!」 すいません、わけわからんタイトルですね。。 やりたいことは、Webサーバの負
今年の初め、東証の株式売買の新取引システム「アローヘッド」が稼動しました。今までとは桁違いの高速な処理が売りのようで、人間のディーラーやデイトレーダーは大変だとか。アルゴリズム取引もよりリアルタイム度が増していくのでしょうね。 さて、表題にあげたComplex Event Processing ・・・CEP (ちなみにDrools Fusionは、DroolsのうちのCEPの機能を持ったモジュールの名称) は、金融セクターなどで注目・採用されているリアルタイムで大量のデータを処理する技術。現在のシステムではデータはデータベースに保存した後処理されるのが普通ですが、CEPでは、流れてくるデータを直接処理して結果を導き出します。たとえば、銀行の預金のトランザクションは日に何万件と出てくるわけですが、その中から不正な引き出しを検出したりするのはCEPの得意分野かと。 「短期間に通常より大きな額の
オープンソースの CEP(Complex Event Processing = 複合イベント処理) ツールである Esper の Java 実装を使って簡単なイベント処理を試してみる。 使用した環境は以下の通り。 Esper 2.3.0 事前準備として、Web サイトから Esper for Java 2.3.0 のアーカイブをダウンロードし、適当なディレクトリに解凍しておく。 Esper 概要 まだ、リファレンスをあまり詳しく見てないのだが。 Esper は BPM/BAM(Business Activity Monitoring) やネットワーク/アプリケーションモニタリングからセンサーネットワークまで、幅広い用途で使われている事を想定されており、大量のイベントストリームを分析・処理するためのツール。 SQL によく似た EPL(Event Proccesing Language) と
あなたにとって重要なトピックや同僚の最新情報を入手しましょう最新の洞察とトレンドに関する最新情報を即座に受け取りましょう。 継続的な学習のために、無料のリソースに手軽にアクセスしましょうミニブック、トランスクリプト付き動画、およびトレーニング教材。 記事を保存して、いつでも読むことができます記事をブックマークして、準備ができたらいつでも読めます。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く