Open Source & Open Standards | ClouderaCloudera Data Platform The only hybrid data platform for modern data architectures with data anywhere.
FlumeとEsperを用いたSQLライクなクエリによるストリーム処理 | 株式会社サイバーエージェント
JavaベースのオープンソースであるApache Flumeではアクセスログなどのファイルをリアルタイムに転送可能であり、またInterceptorといった機能を実装することで転送するデータを集計・加工することもできる。 このように自分たちで機能を作り込めば自由に集計・加工ができるが、複雑な要件のものとなると1つ1つ実装していくのは工数が大きく効率的ではない。 そこで、本論文ではFlumeによってデータを転送し、複合イベント処理（CEP：Complex Event Processing）が可能なJavaベースのオープンソース Esper のSQLライクなクエリによって柔軟にストリーム処理ができる仕組みを実現した。 パフォーマンスについてもテストを行い、十分に実用性のある性能であることも検証できた。 1-1. Apache Flume Apache Flume[1]は大量のログデータな
MySQL 5.6ではprofilingが非推奨になってしまった件 | GMOメディア エンジニアブログ
こんにちは、DBAのたなかです。 べんりなべんりなprofilingですが、5.6からは非推奨になってしまいました。 mysql56> SET profiling= 1; Query OK, 0 rows affected, 1 warning (0.03 sec) mysql56> SHOW WARNINGS; +---------+------+----------------------------------------------------------------------+ | Level | Code | Message | +---------+------+----------------------------------------------------------------------+ | Warning | 1287 | '@@profiling' is
【個人メモ】docker image を作っていく流れ - Qiita
社内共有用 dockerに関する情報共有 Dockerの社内プレゼン・ハンズオンやるやるいっててやれていないのでQiitaを使って一部代用。 docker image を自作するには 自作する方法はあるのだけれど、 今時点だとMac OS Xな環境で行う場合どうすれば楽にできるんだろうか、 って思ったので個人的にメモとしてまとめておく。 今回boot2dockerを利用するため、 以下のブログエントリを参考しました。大変ありがたかったです。 m(_ _)m。 boot2dockerでdockerを試す 環境構築 boot2dockerを使おう boot2dockerでdockerを試す の通りインストールすればよいので割愛 homebrewでインストールをして 起動準備をして、起動を行う。 boot2dockerインストール時に合わせてdockerもインストールされる。
エンジニアから強いスタートアップ企業をつくるには
DevLOVE 発表資料「あたりまえを、発明しよう。」を支える開発 -リブセンスさんから学ぶ- 2014/02/19 (水) 19:30 - 22:00 http://devlove.doorkeeper.jp/events/8631 ■ 話し手 平山 宗介 ■ エンジニアから強いスタートアップ企業をつくるには アルバイト求人サイト「ジョブセンス」をはじめとした成功報酬型ビジネスモデルで急成長し、多くのユーザーや企業様のご支援もあり2012年には東証一部上場まで果たしたリブセンス。 私が入社した2012年は、東証一部上場を目前で、更なる事業成長を加速させることができるエンジニアチームの構築が求められました。 CTOに就任してからの2年間、スタートアップ企業をエンジニアから強くするべく行った取り組みを、 “システム基盤構築” と “エンジニアドリブン文化の形成” という観点からお話しさせて頂
Marry Amazon Kinesis and Storm Using the New Kinesis Storm Spout | Amazon Web Services
AWS News Blog Marry Amazon Kinesis and Storm Using the New Kinesis Storm Spout Amazon Kinesis is a fully managed service for real-time processing of streamed data at massive scale. When we launched Kinesis in November of 2013, we also introduced the Kinesis Client Library. You can use the client library to build applications that process streaming data. It will handle complex issues such as load-b
Norikra: Stream processing with SQL for everybody
Schema-less Stream Processing with SQL Norikra is a open source server software provides "Stream Processing" with SQL, written in JRuby, runs on JVM, licensed under GPLv2. Schema-less event streams (called as 'target') Input/Output event streams as JSON objects, which can contain any fields with a target name. SQL processing Norikra's query is SQL with window specifier support (It's actually Esper
Scalable, Distributed, Deep Machine Learning for Big Data
Scalable, Distributed, Deep Machine Learning for Big Data 1. Scalable, Distributed, Deep Machine Learning for Big Data Yu Huang Sunnyvale, California yu.huang07@gmail.com 2. Outline Big Data - Volume, Variety, Velocity Parallel Computing and Cloud computing Lambda architecture: Batch, Speed and Serving Layers Batch processing MR: a program model from functional programing; Hadoop: MR i
Fluentd on Mesos + Docker + Marathon - As a SW/Ops/DB Engineer
I just tried to run Fluentd instances on Mesos + Docker + Marathon in Vagrant boxes. Here is the sample repository. riywo/sample-fluentd-on-mesos-docker The overview diagram: How? See the github README.md. What? Fluentd Fluentd: Open Source Log Management Fluentd is one of log collector middleware. Most web companies in Japan use this for log collecting. td-agent is a package version of fluentd in
Apache Hadoop 2.4.1 - YARN
Apache Hadoop NextGen MapReduce (YARN) MapReduce has undergone a complete overhaul in hadoop-0.23 and we now have, what we call, MapReduce 2.0 (MRv2) or YARN. The fundamental idea of MRv2 is to split up the two major functionalities of the JobTracker, resource management and job scheduling/monitoring, into separate daemons. The idea is to have a global ResourceManager (RM) and per-application Appl
夢とガラクタの集積場
こんにちは。 最近技術的な内容は大体Qiitaに書いているので こちらは間が空いてしまっていますが、勉強会の参加記録はこちらに。 RCO Study Night "RCOにおける機械学習と次世代量子情報処理技術「量子アニーリング」"に参加してきました。 atnd.org 正直な話、ソフトウェア屋なので物理的な内容に踏み込んだ個所は理解できていないのですが、 その理解なりにわかったことを参加記録として残しておきます。 当然間違った内容も紛れているでしょうけど、まぁそれが現時点の私の理解可能なレベルということで。 参加メモ RCOにおける機械学習（高柳 慎一） リクルートのビジネスは基本マッチングビジネス リクルートコミュニケーションズはリクルートの全事業領域に関わる 世の中の”不”を解消 広告配信の自動最適化 アドテクはコードがそのままビジネス価値につながる 特に重要な要素 大量データのハン
Apache Mesos
Program against your datacenter like it’s a single pool of resources Apache Mesos abstracts CPU, memory, storage, and other compute resources away from machines (physical or virtual), enabling fault-tolerant and elastic distributed systems to easily be built and run effectively. Download Mesos Mesos 1.11.0 Changelog What is Mesos? A distributed systems kernel Mesos is built using the same principl
Apacheログ + fluentd + Splunk Stormやってみる – OpenGroove
一部巷で人気のビジュアライゼーションツール Splunkを使ってみた。Splunkはインストール版とクラウドサービス版があり、今回はクラウド版のSplunk Stormを試してみた。StormはTwitterが開発したストリームエンジン。旬なもの同士で結構ときめく組み合わせですw さらにこのサービス自体、今時普通だがAmazon EC2のマシンとS3ストレージが利用されているとのことで、いかにもクラウド全開モード。ネタとしていつものようにApacheのログをfluentd経由で送る。 参考 splunkってなんじゃ？（splunk stormでfluentd） 以下も良記事（English） Splunk Storm – Machine Data Processing in the Cloud 実行環境 例によってhttpd + td-agentが動作しているAWS t1.microマシン
Demos - Big Data Analytics | Real Time Demo
Logi Analytics Turn Data Into Powerful, Insight-driven Experiences with Logi Analytics Build lightning-fast embedded analytics experiences while accelerating time-to-value – without requiring additional engineering resources. Logi Analytics is now part of insightsoftware, – a leading provider of reporting, analytics and enterprise performance management software. Read the press release.
SNA Projects Blog : Tech Talk: Michael Deerkoski (Flickr) — “Continuous Deployment at Flickr”
LinkedIn operates the world’s largest professional network with more than 645 million members in over 200 countries and territories. This team builds distributed systems that collect, manage and analyze this digital representation of the world's economy, while our AI experts, data scientists and researchers conduct applied research that fuel LinkedIn’s data-driven products and provide insights tha
Chrome Experiments
Chrome Experiments is a showcase of work by coders who are pushing the boundaries of web technology, creating beautiful, unique web experiences. You'll find helpful links throughout the site for creating your own experiments, and you can also explore resources like WebGL Globe and our workshop of tools.
dockerなら5分で動く！ nginxのログをfluentdで集めてnorikraでストリーム分析 - Qiita
はじめに ようへいさんのポストを参考にしてdocker上でnginxとfluentdとnorikraを動かせたので、docker indexにイメージを掲載した。dockerのある環境ならあっという間に動くはず。 準備 dockerが動くこと ホスト側でfluentd用のファイルディスクリプタ設定を済ませていること 手順 norikraを動かす まずはログの集約先となるnorikraを動かす。 $ sudo docker run -p 26578:26578 -p 26571:26571 -p 24224:24224 -p 24224:24224/udp -d kazunori279/fluentd-norikra-server $ sudo docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 7874efdd2e
norikra を試す（1） - ようへいの日々精進XP
はじめに Fluentd Casual Talks #3 で norikra の作者である @tagomoris さんのお話を伺ってからずっと試したいと思っていてやっと試せたのでアウトプット。 参考 Norikra 0.1を使ってみた Norikraで遊んでみた fluent-plugin-norikra #fluentdcasual Norikra in action http://esper.codehaus.org/ 5.1. EPL Introduction 5.2. EPL Syntax norikra とは 自分の認識、でも百聞は一見に如かず ちゃんと理解出来ていないけど...以下のような認識でいる。 ログ等のストリームデータを SQL ライクなツールを使って検索出来るツール 例えば、fluentd で処理しているログに対して SQL に似た感じの検索クエリを投げて結果を処理出
butterfly your everyday terminal in your web browser
There’s something I’ve been working on recently, at start just for fun but it turned out I use it everyday, so here it is: butterfly your everyday terminal right in your browser Version 2.0 has been released please see here Try it To try it, it’s as simple as: $ sudo pip install butterfly # Install butterfly $ butterfly.server.py --unsecure # Launch the web server unsecure Then all you have to do
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
オラクルから最新の製品技術情報を入手できます
Complex Event Processing on Ruby, Fluentd and Norikra #rubykaigi
いつからFIFOがスケールしないと錯覚していた
GitHub - seethroughdev/homebrew-dotfile-generator: A custom generator for your homebrew dotfiles
正月休みだし Mesos 触ってみた : sonots:blog
ZoomdataのiPad版を試してみた – OpenGroove
Apache Helix vs YARN
Give your data the audience it deserves - Metric Insights