Hadoopをより便利に使う！HiveでのMapReduceまとめ - Y's note
目次 Hiveとは Hiveの設定 HiveQL構文(DDL) DataBase/SCHEMAの作成 Database/SCHEMAの削除 Tableの作成 Tableの削除 Table名変更 Partition作成 Partitionの削除 Columnの変更 Columnの追加/置き換え TableのProperty変更 SerDe Propertyの追加 HiveQL構文(SQL) テーブル一覧表示 テーブルの内容を表示 基本的なSELECT文 WHERE句(条件指定) DISTINCT(重複削除) ORDER BY / SORT BY句(ソート) GROUP BY句(グループ化) HAVING句(グループ化後の条件) LIMIT句 JOIN(テーブル結合) 抽出カラムを正規表現で指定 UNION(結果の結合) SUBQUERY LOAD(データの読み込み) Hiveを使う 事前準備
PigでHadoopをより便利に使う！PigでのMapReduceまとめ - Y's note
Hadoop Hacks ―プロフェッショナルが使う実践テクニック 作者: 中野猛,山下真一,猿田浩輔,上新卓也,小林隆出版社/メーカー: オライリージャパン発売日: 2012/04/25メディア: 単行本（ソフトカバー）購入: 3人 クリック: 156回この商品を含むブログ (8件) を見る Pig HadoopのMapReduceを独自で記述するのは手間が掛かります。それらの手間を出来るだけ緩和させるための便利なツールとしてDSL形式の処理フローを定義する事でMapReduceを実行するHiveやPIgというものが存在します。HiveとPigはライバルブロジェクトのようで、本日紹介するPigはYahoo!が開発しているミドルウェアになります。Hiveについては以前簡単に紹介をしたので以下のリンクを参考にしてください。PigLatinという手続き型の文法でDataのload/filter
[#BigData #ビッグデータ ] ビッグデータの本質な価値はデータ分析より自動化にある、という考え方：鈴木いっぺい の 北米IT事情： 雲の向こうに何が見えるか？：オルタナティブ・ブログ
[#BigData #ビッグデータ ] ビッグデータの本質な価値はデータ分析より自動化にある、という考え方 ビッグデータの本質な価値はデータ分析より自動化にある、という考え方 記事＝http://gigaom.com/2013/01/02/why-big-data-might-be-more-about-automation-than-insights/ 投稿者＝Derrick Harris, technology journalist 投稿日＝1/2/2013 New York Timesの2012 年末の記事、” Sure, Big Data Is Great. But So Is Intuition.”において、“ビッグデータバブル”の懸念が紹介されている。これは、人間が本来持っている経験や知見、ノウハウを犠牲にしてまで、ビッグデータの分析に依存する方向に社会に広がり始めている、とい
![[#BigData #ビッグデータ ] ビッグデータの本質な価値はデータ分析より自動化にある、という考え方：鈴木いっぺい の 北米IT事情： 雲の向こうに何が見えるか？：オルタナティブ・ブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/de585ce227ee542ebb3b3bf82c99bd813c84e7e5/height=288;version=1;width=512/https%3A%2F%2Fblogs.itmedia.co.jp%2Fmt-static%2Fsupport%2Fassets_c%2Fuserpics%2Fuserpic-230-100x100.png)
Hadoopを業務で使ってみた話 - クックパッド開発者ブログ
8月に入社した佐々木です。こんにちわ！ 入社してからはHadoopを使うことが多く、日々、大規模データと格闘しています。大変ではありますが、個人ではなかなか触ることが出来ないような大規模データを触れるのは楽しいです。 さて、Hadoopは最近色々なところで使われ始めてきていると思うんですが、実際に利用してみて困った事やtipsなど、実践的な情報はまだあまり公開されていません。その辺の情報をみんな求めているはず…！！ そこで、僕が実際に触ってみて困った事やHadoopを使う上でポイントだと思ったことなどを社内勉強会で発表したので公開してみます。Hadoopを使っている（使いたいと思っている）方の参考になれば幸いです。 [slideshare id=2711363&doc=20091214techblog-091213183529-phpapp02] Hadoopの利用はまだまだ試行錯誤の連続
優良企業はなぜHadoopに走るのか
ちなみに、この分析のために必要とされるMapReduceのコードであるが、そのサイズはわずか20ステップだという。Yahoo!のプレゼンテーターである、エリック・バルデシュバイラー氏によると、たとえ経験の浅いエンジニアであっても、MapReduceによるプログラミングは可能であるとされる。 また、VISAのジョー・カニンガム氏からも、貴重なデータが提供されていたので以下に紹介する。同社では、1日に1億トランザクションが発生するため、2年間で700億強のトランザクションログが蓄積され、そのデータ量は36テラバイトに至るという。こうしたスケールのデータを、従来のRDBを用いて分析するには、約1カ月の時間が必要とされてきたが、Hadoopを用いることで13分に短縮されたという。 これまでは、Yahoo!にしろVISAにしろ、膨大なデータをRDBに押し込むほかに方法はなく、その分析に数十日を要する
RubyでHadoopをラップ、分散処理ツールキットが登場 － ＠IT
2009/05/12 米新聞社大手のニューヨーク・タイムズは5月11日、Rubyによる大規模分散処理のツールキット「Map/Reduce Toolkit」（MRToolkit）をGPLv3の下にオープンソースで公開したと発表した。MRToolkitは、すでに稼働しているクラスタ上のHadoopと合わせて使うことでRubyで容易にMap/Reduce処理を記述することができる一種のラッパー。処理自体はHadoopが行う。すでにHadoopを使っているユーザーであれば、中小規模のプロジェクトに対して、すぐにMRToolkitを適用可能としている。 デフォルトで有用なMap、Reduceの処理モジュールが含まれていて、数行のRubyスクリプトを書くだけで、例えば膨大なApacheのログからIPアドレス別の閲覧履歴をまとめるといった処理が可能という。独自にMapやReduceの処理を定義することも
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
