Apache Sparkで始めるお手軽リアルタイムウインドウ集計 | 株式会社NTTデータ先端技術
バッチを高速にした後はリアルタイムの世界へ！ 現在、さまざまな業種の企業でビッグデータ分析の取り組みが行われている。ビッグデータへの最初の取っ掛かりは、既存のバッチ処理の高速化や、大量の業務データを用いた分析レポートの作成という企業が多いことだろう。そして、バッチ処理の高速化が一段落した次のステップとして、「リアルタイム処理」をテーマに掲げる企業も多いかと思われる。具体的には、 直近10秒間のトラフィックを集計したい。 直近10分間で自社商品がTwitterで話題になった回数を知りたい。 直近10時間での全店舗での来客数を集計したい。 といったリアルタイムなモニタリングを実現したくなるのではないだろうか？こういったモニタリング用の集計は、技術的には「ウインドウ集計（Time-Window Operation）」と呼ばれる。そこで本コラムでは、近頃、「ポストHadoop」として話題のApac
apache-loggen を使って Apache アクセスログのダミーログを生成する - ようへいの日々精進XP
Elasticsearch でダミーデータがほしい と思って調べたら apache-loggen というツールがあるらしいので試してみた。 apache-loggen とは Apache のダミーログを出力します Apache のダミーログを出力し続ける gem のようです。 http://mt.orz.at/archives/2012/10/apache.html http://blog.johtani.info/blog/2013/06/10/fluent-es-kibana/ インストールとヘルプ インストール sudo gem install apache-loggen --no-ri --no-rdoc -V ヘルプ $ apache-loggen -h Usage: apache-loggen [options] --limit=COUNT 最大何件出力するか。デフォルトは0で
GoAccess - Visual Web Log Analyzer
What is it? GoAccess is an open source real-time web log analyzer and interactive viewer that runs in a terminal in *nix systems or through your browser. It provides fast and valuable HTTP statistics for system administrators that require a visual server report on the fly. Why GoAccess? GoAccess was designed to be a fast, terminal-based log analyzer. Its core idea is to quickly analyze and view we
SMALL LIGHT(スモールライト)で簡単サムネイル作成 - インストール編 - - 等身大シンドローム
Webサイトにおけるサムネイル画像とSMALL LIGHTについて Webサイトでサムネイル画像が必要になるというのは多い. アップロード時にResize作るか～とか,なんだとかかんだとか,運用まで考えてみると,意外とメンドクサイ問題であったりする. そして,仕様変更でResize画像サイズ変更ね,とか.結構死ねる. SMALL LIGHT(スモールライト)は,そんなサムネイル画像の作成や管理を良い感じにやってくれるlivedoor ラボ「EDGE」製のApacheモジュール. 原理は単純で,Apache上でmod_small_lightというモジュールを展開しておいて,こいつがImageMagickやimlib2といった画像変換ソフトウェアのラッパーとして動いてくれるというわけです. ためしてみるとわかるけど,お手軽だし,かなり便利. livedoorなどの大規模サイトでも利用されている
Apache HTTPD: `Options -FollowSymLinks` は不完全 - ダメ出し Blog
シンボリックリンク攻撃を防ぐための Apache HTTPD モジュールの解説はこちら: Apache HTTPD: mod_allowfileowner https://fumiyas.github.io/apache/mod-allowfileowner.html 背景 ロリポップの共有 Web サービス下のサイト改ざん事件で、 攻撃手法の一つとして 「他ユーザー所有のファイルへのシンボリックリンクを自分のコンテンツディレクトリ下に作り、Apache HTTPD 経由でアクセスする」手順が利用されたらしい。 参考: http://blog.tokumaru.org/2013/09/symlink-attack.html 当社サービス「ロリポップ！レンタルサーバー」ユーザーサイトへの第三者による大規模攻撃について http://lolipop.jp/info/news/4149/#090
Passenger4.0.0RCでalways_restart.txtが効かない件について – one's world
one's world http://zom.hatenablog.jp/ に移転している最中でいくつかの記事は新ブログかQiitaにリダイレクトされます メニューとウィジェット 都内でプログラマやってるアラサーの男性です。 このブログは日記とか書いてます。ゆるーくやってます。かるいオタクです。 パズドラ/クラクラ/ケリ姫/にゃんこ大戦争あたりをよくやってます。 以下、人名は敬称略。音楽大好き。平沢進、ヒトリエ、FinalFantasyあたりのコンサート・ライブによく行きます。マンガも大好きです。作者で言うと日本橋ヨヲコ、水上悟志あたり。 zomです。 もうね、ぐったりするほどハマったので、他にもハマった人がいると思い投稿します。 【2014/04/05追記】 ※4.0.40では元に戻っていたのでタイトルなどバージョンについて細かく追記しました。 ちょっとsinatraでWebAPIでも
groonga(rroonga)を利用したソースコード全文検索エンジン"Milkode"をApache Passengerで軽快に動かす方法
Rubyで書かれたMilkodeというソースコード検索エンジンが巷で評判です。 コマンドラインだけでなく、WEBブラウザから利用出来るインターフェースも用意されています。 これを導入することで、ソースコードを横断検索した結果のURLを、社内チャットなどでやりとりする事も出来ます。 そんなツールを簡単に手元のCentOS環境で構築するテンプレートを作成しました。 milkode-web - Milkode web application bundler template for apache passenger https://github.com/y-ken/milkode-web こちらを、ステップバイステップで解説したいと思います。 Milkodeとは 画像引用元：http://ongaeshi.hatenablog.com/entry/20110730/1312040692 一言で言
Apache Antの使い方
Apache Antはmakeファイルなどに相当するビルドツールです。複雑なコンパイル作業などを自動化してくれます。ここではAntのインストール方法や利用方法について確認していきます。 Ant 1.8.2のダウンロード及びインストール ANT_HOME及びPATHの設定 Antの動作確認 Antのドキュメントについて
Htaccess File Sample - AskApache
An attempt to create a default skeleton .htaccess file with the very best apache htaccess examples... Updated semi-frequently based on detailed info from the Apache htaccess tutorial. NOTE: Check out and use the Google 404 Error Page. Sample Htaccess File If you see any room for improvement, or if you can add something than go ahead and comment and I will definately give it a look for possible inc
glTail.rb - realtime logfile visualization
View real-time data and statistics from any logfile on any server with SSH, in an intuitive and entertaining way. FEATURES Real-Time Multiple logfiles on multiple servers Configurable layout Multiple logfile parsers (Apache Combined, Rails, IIS, Postfix/spamd/clamd, Nginx, Squid, PostgreSQL, PureFTPD, MySQL, TShark, qmail/vmpop3d) Custom events Show rate, total or average If you can 'tail' it, you
Visitors - fast web log analyzer
Visitors は Linux、Windows およびその他の Unix ライクな OS で動くとても軽快なウェブログ解析ツールです。 ウェブサーバログファイルを入力すると、統計をいろいろな形のレポートとして出力します。 その設計方針は同じタイプの他のソフトウェアと比較するとかなり異なっています: インストールは必要ありません。高速なコンピュータでは毎秒最大150,000行のログエントリ(作者自身のログファイルの平均では毎秒20MB)を処理します。 コマンドラインで実行するように設計されており、html とテキストでレポートを出力します。 テキストのレポートを less にパイプすることで ssh を通じてウェブ統計をチェックすることができます。 バージョン 0.3 で導入された Visitors ストリームモードによってリアルタイム統計をサポートしています。 ログの書式を指定する必要は
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービス終了のお知らせ
正月休みだし Mesos 触ってみた : sonots:blog
さくらインターネット創業日記
GitHub - code-shop-com/h264
https://osdn.net/cvs/view/modchxj/mod_chxj/doc/modchxj.html?rev=HEAD