Apache Sparkで始めるお手軽リアルタイムウインドウ集計 | NTTデータ先端技術株式会社
バッチを高速にした後はリアルタイムの世界へ！ 現在、さまざまな業種の企業でビッグデータ分析の取り組みが行われている。ビッグデータへの最初の取っ掛かりは、既存のバッチ処理の高速化や、大量の業務データを用いた分析レポートの作成という企業が多いことだろう。そして、バッチ処理の高速化が一段落した次のステップとして、「リアルタイム処理」をテーマに掲げる企業も多いかと思われる。具体的には、 直近10秒間のトラフィックを集計したい。 直近10分間で自社商品がTwitterで話題になった回数を知りたい。 直近10時間での全店舗での来客数を集計したい。 といったリアルタイムなモニタリングを実現したくなるのではないだろうか？こういったモニタリング用の集計は、技術的には「ウインドウ集計（Time-Window Operation）」と呼ばれる。そこで本コラムでは、近頃、「ポストHadoop」として話題のApac
Maven-TECHSCORE-
本章では、Apache Software Foundation で開発されているプロジェクト管理ツール「Maven」について解説します。 Maven はプロジェクト情報の一元管理、統一したビルドプロセスの提供、依存ライブラリの管理などの機能により、 開発者にかかるプロジェクト管理の負担を軽減します。 現在の Maven は、version 1 系統と version 2 系統が平行して開発されていますが、本章では version 2 系統について説明します。 Maven INDEX Maven とは 1.1. Maven とはどのようなものか 1.2. Maven の入手とインストール Maven 入門 2.1. Maven のアーキテクチャ 2.2. Maven の実行 2.3. プロジェクトの作成 2.4. pom.xml について 2.5. コンパイル 2.6. ユニットテスト 2.
Apacheアクセスログ解析ツール「AWStats」のインストール - jitsu102's blog
さくらVPSで運用しているApacheのアクセスログ解析にAWStatsをインストールしました。 AWStatsのインストール CentOSの標準リポジトリにはパッケージが含まれていないようなので、dagリポジトリのパッケージをインストールしました。 dagリポジトリの利用については、こちらのエントリを参照してください。 $ sudo yum install awstats AWStatsの設定 "/etc/awstats"配下に設定ファイルを作成します。 "awstats.<ドメイン名>.conf"のような名前で設定ファイルを作成します。 本エントリでは、"awstats.fugahoge.com.conf"という名前で進めます。 $ cd /etc/awstats $ sudo rm awstats.localhost.localdomain.conf $ sudo cp awstat
Webサーバー間通信内容暗号化(Apache+mod_SSL) - CentOSで自宅サーバー構築
ユーザー名やパスワード等の機密情報をWebブラウザから入力する場合、盗聴される恐れがあるため、Webサーバー間の通信内容を暗号化する。 ここでは、Webサーバーにmod_sslを導入して、URLをhttp://～ではなく、https://～でアクセスすることによって、Webサーバー間の通信内容を暗号化するようにする。 なお、Webサーバーとの通信内容を暗号化するには、サーバー証明書を発行する必要があるが、ここでは、自作サーバー証明書を発行して各クライアントにインポートする。 ※サーバー証明書を各クライントへインポートしなくても暗号化通信は行えるが、クライアントが通信するたび（Webブラウザ起動毎）にセキュリティの警告が表示されてしまう [root@centos ~]# cd /etc/pki/tls/certs/ ← ディレクトリ移動 [root@centos certs]# sed -i
CentOS5 Webサーバーの構築[Apache] Apacheの通信をSSL/TLSで暗号化する - itochif.com
CentOS5 Webサーバーの構築[Apache] Apacheの通信をSSL/TLSで暗号化する - itochif.com Webサイトの利用ユーザーとApacheの稼動しているこのサーバー間の通信をSSL/TLSを使って暗号化します。この設定を行う上で、認証局(CA)から発行された証明書を使用します。サーバー証明書の発行は、認証局(CA)の構築で構築した認証局で行うか、VeriSign等の認証局から発行してもらいます。ここでは認証局(CA)の構築で構築した認証局を使ってサーバー証明書を発行します。 ※[Apacheのインストールと設定]と[認証局(CA)の構築]が完了している前提です。 認証局からサーバー証明書を発行してもらうには、CSR(Certificate Signing Request)と呼ばれる情報を認証局に提出し、署名をしてもらう必要があります。VeriSign等の認証
さくらVPSで一日6万PVを処理するためにしたこと - 新卒インフラエンジニア２年目
さくらVPSで6万PV程度のサイトを運用することになったので、その際の記録を残しておきます。 さくらレンタルサーバ⇒さくらVPS さくらレンタルサーバで運用している時は、ちょくちょく503が発生しておりこれを解決するためにさくらVPSへの移行を行いました。 レンタルサーバの時は、ログ解析や監視ツールなどを導入していなかったので503の頻度やパターンは不明です。（安易な判断でVPSに移行したので、この点は反省です） 本来は原因を追及し、プログラムの改修やサーバ負荷の分散などをすべきですが時間の都合で省いてしまいました。 構成 運用するサイトはpukiwikiで構成されたサイトです。 pukiwikiは、PHPで書かれており大量のデータをRDBを利用せずに構築できる点が大きなメリットです。 今回は１サイトですが、複数のサイトを運用する可能性を考慮してVirtualHostも利用します。 さくら
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
