PigでHadoopをより便利に使う！PigでのMapReduceまとめ - Y's note
Hadoop Hacks ―プロフェッショナルが使う実践テクニック 作者: 中野猛,山下真一,猿田浩輔,上新卓也,小林隆出版社/メーカー: オライリージャパン発売日: 2012/04/25メディア: 単行本（ソフトカバー）購入: 3人 クリック: 156回この商品を含むブログ (8件) を見る Pig HadoopのMapReduceを独自で記述するのは手間が掛かります。それらの手間を出来るだけ緩和させるための便利なツールとしてDSL形式の処理フローを定義する事でMapReduceを実行するHiveやPIgというものが存在します。HiveとPigはライバルブロジェクトのようで、本日紹介するPigはYahoo!が開発しているミドルウェアになります。Hiveについては以前簡単に紹介をしたので以下のリンクを参考にしてください。PigLatinという手続き型の文法でDataのload/filter
CentOSにHadoopをインストール - yokkunsの日記
Hadoop徹底入門を購入したので、早速CentOSにHadoopをインストールしてみる。 最新は、hadoop-0.21.0だが、Pigが現在Hadoop-0.20系しかサポートしていないみたいなので、hadoop-0.20.2を入れる http://hadoop.apache.org/common/releases.html JVMのインストール - パッケージをここからダウンロード - インストール $ chmod 755 jre-6u25-linux-i586-rpm.bin $ sudo ./jre-6u25-linux-i586-rpm.bin [sudo] Unpacking... Checksumming... Extracting...UnZipSFX 5.50 of 17 February 2002, by Info-ZIP (Zip-Bugs@lists.wku.ed
WindowsでHadoopを動かす手順 - きしだのHatena
HadoopをWindowsで動かすのは、結構めんどい。 「MapReduceってのが流行ってるらしいから、ちょっとウチのWindowsにHadoop入れて試してみるか」くらいの気持ちでは、くじけてしまうことうけあい。 JavaをインストールしてCygwinをインストールしてSSHを設定してHadoopの設定。 このSSHの設定で泣きそうになる。特にVistaの場合。 基本的にhttp://hadoop.apache.org/core/docs/r0.19.0/quickstart.htmlに書いてあるんだけど、SSHの設定は軽くながされてる。 ということで、WindowsでHadoopを動かす手順をまとめてみた。 必要なもの Java JREではなくJDKをダウンロードする http://java.sun.com/javase/downloads/index.jsp Cygwin 右側に
Amazon S3 を Hadoopの HDFSとして利用する
Hadoop on Flickr ここ数日こればっかりに悩んでましたが、実際は超簡単。 といってもそこまで詳しくやっていないのでこれできちんと出来ているのかは… Amazon S3をHDFSとして利用する利点は 実質容量無制限 Amazon EC2/S3 間の転送料は不要 クラスタが落ちてもデータは無事? こんなところでしょうか。 AmazonS3 - Hadoop Wiki 実際はここに書いてあるとおりで問題ないです。 これをきちんとわかっていなかったので無駄に苦労してしまった… 今回クライアントで使用したのはHadoop 0.19.1です。 まずは、Amazon EC2上でHadoopを起動させます。 ./hadoop-0.19.1/src/contrib/ec2/bin/hadoop-ec2 launch-cluster hdfs-test-cluster 1 このあたりはbloge
なぜMapReduceでToolRunnerを使うのか - 気まぐれな備忘録(仮)
つい先日、気になったこと。 というのも、自分がMapReduceジョブを実装するときは、 直接Jobを実装するので事足りており、 ToolRunnerを使ったことがなかったから。 ということで、CDH3u3のソースコードを調べてみた。 org.apache.hadoop.util.ToolRunner public static int run(Tool tool, String[] args) throws Exception{ return run(tool.getConf(), tool, args); } public static int run(Configuration conf, Tool tool, String[] args) throws Exception{ if(conf == null) { conf = new Configuration(); } Gener
Hadoop Conference Japan 2013で話したことと思ったこと - 急がば回れ、選ぶなら近道
Hadoop Conference Japan 2013 http://hcj2013w.eventbrite.com/ 先週終了。かなりの盛況で終わった感じです。まずは開催をサポートして頂き、相当の負担まで頂いたリクルート・テクノロジー様に感謝申し上げます。どうもありがとうございました。 さて、えっと、前回がそもそもいつだったのか、良く覚えてないわけで。2011 Fallだったような。 http://hadoop-conference-japan-2011-fall.eventbrite.com/ 2011年の9月なので、1年4ヶ月ぶりという感じですね。Track数が増えて2から3で、会場もベルサールからビッグサイトになっていました。人数も1000人超になっております。 以下、感想文です。記録としておいておく感じで。 ・内容で印象に残ったもの ・HBase~LINEのバックボーンで使って
Jenkinsとhadoopを利用した継続的データ解析環境の構築
WebAssemblyとBlazor 、WebAssembly System Interfaceでコンテナライズの設計を解説Takao Tetsuro
「Hadoopファーストガイド」を執筆しました - (ﾟ∀ﾟ)o彡 sasata299's blog
2012年09月21日19:23 Hadoop 執筆 「Hadoopファーストガイド」を執筆しました あれから1年半の月日が流れました。なんかあっという間でしたね。。 「NoSQLデータベースファーストガイド」を執筆しました そ、そしてなんと！！ 2冊目の執筆が終わりました！！！１ その名も「Hadoopファーストガイド」です。ででーん。 ファーストガイドシリーズです ( ｰ`дｰ´)ｷﾘｯ 前回のと並べるとそっくりですねｗ ファーストガイドなのでHadoopの名前は知っているけど使ったことないな〜くらいのエンジニアが対象です。普段からがしがしHadoopを使ってる人が見ても面白くないと思いますｗ こんな感じ。本書では基本的にAWSのEMR（Elastic Map Reduce）を利用してます。 近年、データサイズは増加傾向にあり、Webサイトを運営しているエンジニアやプログラマーにとって
日々進化するHadoop。これまでのおさらいと最近の動向（前編）
大規模な分散処理フレームワークとしてHadoopが登場したことにより、ビッグデータのブームや、大規模なソーシャルゲームでのログ解析による改善、コマースサイトでの機械学習によるレコメンデーションなど、多くの変化が引き起こされてきました。 そしてそのHadoop自体も、日々進化し続けています。 Hadoopとはどういうソフトウェアであり、いまどのような状況になっているのか。NTTデータの濱野賢一朗氏が、先日行われた第2回 NHNテクノロジーカンファレンスで行ったセッション「日々進化するHadoopの『いま』」で分かりやすく解説しています。 この記事ではそのセッションの内容をダイジェストで紹介しましょう。 日々進化するHadoopの「いま」 NTTデータ 基盤システム事業部 濱野賢一朗氏。 NTTデータというところで仕事をしています。NTTデータ自体はもう5年くらいHadoopをやってまして、そ
Resources | MongoDB
Expanding LLM Applications: From RAG to Agentic Systems 11 A.M. ET Are you ready to advance your AI application development skills? Join us for an exciting webinar that bridges the gap between large language model (LLM) applications, Retrieval-Augmented Generation (RAG), and the exciting domain of agentic systems. In this comprehensive session, Staff Developer Advocate Richmond Alake will explore
Hadoop and the Data Scientist
Beginner must-see! A future that can be opened by learning HadoopDataWorks Summit
Hadoop Hacks プロフェッショナルが使う実践テクニック | Ohmsha
著者中野 猛 著、山下 真一 著、猿田 浩輔 著、上新 卓也 著、小林 隆 著 定価3,888円 （本体3,600円＋税） 判型A5 頁448頁 ISBN978-4-87311-546-7 発売日2012/04/25 発行元オライリー・ジャパン
ソフトバンク通信3社向けHadoop研修資料
2010年9月7日に実施いたしました、ソフトバンクモバイル株式会社、ソフトバンクテレコム株式会社、ソフトバンクBB株式会社むけHadoop研修の資料を公開いたします。
「Mobageの大規模データマイニング」- #PRMU 2011 Big Data and Cloud で講演してきました - hamadakoichi blog
電子情報通信学会「パターン認識とメディア理解研究会 (PRMU: Pattern Recognition and Media Understanding)」＠幕張メッセ国際会議場 で招待講演をしてきました。 「Mobageの大規模データマイニング」に関して、話しています。 Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop View more presentations from Koichi Hamada 2900万人以上の登録会員をかかえるモバイルソーシャルゲームプラットフォーム「Mobage」では、１日20億超の行動情報が蓄積されています。これらの大規模行動データを対象に、データマイニング・機械学習の各種方法論を適用することにより、隠された法則を解明・より良い解を導出し、迅速なサービス洗
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
導入編～Hadoopクラスタを構築するまで
HadoopをWindows上の仮想マシンで手軽に試す方法
日々進化するHadoopの 「いま」
http://atnd.org/events/25293
Hadoop conferencejapan2011
