エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Hadoopコースを攻略しよう(HDInsightによる大量ログ解析編)
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Hadoopコースを攻略しよう(HDInsightによる大量ログ解析編)
この記事では、『Tuning Maniax 2014 - 蒼き調律者たち』Hadoop編に参加される方に向けて、 次の事柄を... この記事では、『Tuning Maniax 2014 - 蒼き調律者たち』Hadoop編に参加される方に向けて、 次の事柄を説明いたします。 競技の内容 解析対象ファイルセットの入手方法 MapReduceプログラムの作成方法 競技内容の再確認 前回の記事にもありましたが、この競技は簡単に言えば以下のようなものです。 総計1TBのWebアクセスログ(を模して生成されたデータ)を解析し、次の3項目を抽出する時間を競う アクセス数の多いURI:上位10件 多く利用されているユーザーエージェント:上位10件 URIごとの平均レスポンスタイム:下位10件(時間が長い方から10件) 解析対象となるファイルは次のような行の繰り返しです。 2014-04-01 02:52:48 192.168.47.74 user734 100.77.60.35 /javadocs /BucketizedHiveInp