4月14日に新横浜のAcroquest Technology社で開催された、第2回 初心者向け Hadoop ハンズオンセミナーに参加してきました。 第2回 初心者向け Hadoop ハンズオンセミナー : ATND 初心者向けと銘打っているだけあって、Hadoop環境の構築手順から当日のセミナー内容まで丁寧でわかりやすく、とても勉強になりました。 普段の業務ではRDBMSばかり相手にしているため、Hadoopについての知識はほとんどありませんでした。 そのため、多くの新しい概念を学びました。 1. 入出力データはファイルベース、置く場所はHDFS Hadoopでは、HDFSと呼ばれる、通常とは異なるファイルシステムを使います。 このファイルシステムの上に、処理したいデータ(ログファイルなどの巨大なファイル)を配置します。 HDFSを扱うには、下記のようにhadoopコマンドを使います。