Hadoop Pig の使いどころ - Tech-Sketch
「PigとHive何が違うの？」 「Difference between Pig and Hive? Why have both?(PigとHive何が違うの？)」 という質問を、先日、StackOverFlowで見かけました。恐らくHadoopを触ると一度は疑問に思う事ではではないでしょうか。 PigとHiveは、共にSQLライクな記法でMapReduceを書けるDSLですが、利用者数においてはHiveに軍配が上がっているようにみえます。 一方で、「Pigをもっと早く試せば良かった」というお話を伺うこともあり、有用（かもしれない）ツールであれば、正しく理解しておいた方がよさそうです。 というわけで、ここではPigの活用を探ります。 Pigの性能 Pigが今一つ利用されていないのは、SQLとの親和性に加え、性能面で、「JavaMapReduce＞Hive＞Pig」という傾向があるからで
Pigの情報源 - wyukawa's diary
とりあえずめもっとく ■本家 Welcome to Apache Pig! Ver 0.9.2からドキュメントの量が増えているのでこれを読めば事足りるかも。 ■書籍 Hadoop徹底入門 作者: 太田一樹,下垣徹,山下真一,猿田浩輔,藤井達朗,濱野賢一朗出版社/メーカー: 翔泳社発売日: 2011/01/28メディア: 大型本購入: 14人 クリック: 668回この商品を含むブログ (43件) を見る 11章に20ページほど書かれている。情報量としては少ないかな。 Hadoop 第2版 作者: Tom White,玉川竜司,兼田聖士出版社/メーカー: オライリージャパン発売日: 2011/07/23メディア: 大型本購入: 9人 クリック: 182回この商品を含むブログ (24件) を見る 11章に40ページほど書かれている。入門としてはいいかも。 Hadoop Hacks ―プロフェッシ
Shibu's Diary: コードを書くときに心がけていること
渋日記@shibu.jp 渋川よしきの日記です。ソフトウェア開発とか、ライフハックを中心に記事を書いていきます。 コードを書き続けるためにやってること(by Voluntas) なんか流行っているので乗ってみます。 趣味コード 趣味とはいっても、暇つぶしだったり、流行りもののチュートリアルに触って「おれ新しい◯◯やってみたぜ」みたいなのは極力しないようにしてます。仕事で必要になった時に、仕事の時間の中で集中的に学ぶ方が学習効率が高いので、趣味時間の活用という意味ではもったいないですよね。幸い、まったく未知の基礎的な内容というのはほとんど出会わなくなってきて、新しい技術といっても、既存の知識を土台にして、軽く検索すればOKなことがほとんど。ということで、趣味といっても、将来の仕事で役に立ちそうな種となる可能性のあるものを作るように心がけています。実際に種になるかどうかは運次第なので、命中率に
PigでHadoopをより便利に使う！PigでのMapReduceまとめ - Y's note
Hadoop Hacks ―プロフェッショナルが使う実践テクニック 作者: 中野猛,山下真一,猿田浩輔,上新卓也,小林隆出版社/メーカー: オライリージャパン発売日: 2012/04/25メディア: 単行本（ソフトカバー）購入: 3人 クリック: 156回この商品を含むブログ (8件) を見る Pig HadoopのMapReduceを独自で記述するのは手間が掛かります。それらの手間を出来るだけ緩和させるための便利なツールとしてDSL形式の処理フローを定義する事でMapReduceを実行するHiveやPIgというものが存在します。HiveとPigはライバルブロジェクトのようで、本日紹介するPigはYahoo!が開発しているミドルウェアになります。Hiveについては以前簡単に紹介をしたので以下のリンクを参考にしてください。PigLatinという手続き型の文法でDataのload/filter
MapReduceのパターン、アルゴリズム、そしてユースケース - きしだのHatena
Ilya Katsov氏による「MapReduce Patterns, Algorithms, and Use Cases」の翻訳 http://highlyscalable.wordpress.com/2012/02/01/mapreduce-patterns/ (下書きに入れて推敲するつもりが、なんか公開されてしまっていたので、あとでいろいろ修正すると思います) February 1, 2012 この記事では、Webや科学論文で見られる異なるテクニックの体系的な視点を与えるために、数々のMapReduceパターンとアルゴリズムをまとめた。 いくつかの実用的なケーススタディも提供している。 すべての説明とコードスニペットでは、Mapper、Reducer、Combiner、Partitionaer、ソーティングにおいてHadoopの標準的なMapReduceモデルを利用します。このフレー
「Hadoop徹底入門」が出ます - Preferred Networks Research & Development
MacBook Air 11インチ欲しい！、太田です。 1/27に、執筆に関わらせて頂いた「Hadoop徹底入門」という本が、翔泳社さんから出版されます。 OSS分散フレームワーク「Hadoop」の、日本語では初めてとなる書き下ろし本になります。執筆はNTTデータでHadoopのお仕事をされている、下垣さん、猿田さん、藤井さん、濱野さん、そして私になります。また、翔泳社の石川さんには非常にお世話になりました。 目次はこのブログの最後に掲載させて頂きました(詳細はこちら)。Hadoopとは何か？といった説明に始まり、Hadoopの周辺プロダクト(Hive, Pig, HBase, Thrift)も詳しくカバーされています。 Hadoopに関して現在日本語で読める大きな情報源として有名なのは、オライリーさんから出版されている「Hadoop」本になります。 本書はこの本と補完関係に有ると思ってい
「Hadoop Hacks」読んだ - たごもりすメモ
「Hadoop Hacks」を著者陣のご高配を得てオライリー・ジャパンから献本いただきました。ありがとうございます。 Hadoop Hacks ―プロフェッショナルが使う実践テクニックposted with amazlet at 12.04.26中野 猛 山下 真一 猿田 浩輔 上新 卓也 小林 隆 オライリージャパン 売り上げランキング: 2139 Amazon.co.jp で詳細を見る で、ざっと読んだ(自分でやってないところは眺めた程度)ので感想をざらっと。 なんというか、さすがにちょっと扱う内容が広過ぎる＆プログラミングを避けられない箇所が多過ぎる感はあって、苦労したんだろうなー、という気がする。読んで「ああこれは役に立つよね」というのがだいぶ少なくてちょっと残念。100行単位でコードを書かないといけない内容をこういう本で「hack」といって紹介するのはやっぱりちょっときびしいなー
Review: Instant Apache Hive Essentials How-to - たごもりすメモ
突然英語でメールがやってきてレビューしてくれないかと頼まれ、面白そうだから引き受けて読んでみた。日本語でしかレビュー記事書かないけど大丈夫？ と確認したら大丈夫だといって電子書籍データをもらいました。すごいことやってる会社があるなあ。イギリスの(電子書籍専門の？)出版社みたいだけど。 なおフォーマットは pdf, epub, mobi のどれでもダウンロードできる。すごい。日本はなぜこうじゃないの。 で、読んだ。76ページの短い本。 ざっくり言うと 英語だけどすごく簡単な英語で書かれてて、きわめて簡単に読める。manとか普通に英語で読んでる人なら楽勝だと思う。読めば普通に導入からいろんなクエリを発行するところまで行ける。リファレンスには使えない*1けど、それはまあ、wikiを見ればいいんじゃないですかね。 各トピックについてはかなり短いが、必ず前提になるテーブルの準備をするためのクエリ*2
Hiveクエリチューニングメモ - 科学と非科学の迷宮
Hadoop本2版を買ったその一週間後にDeals of the day で半額セールやられて死にたくなったので腹いせに書く はじめに ここに書いてあるのは全部参考リンク・文献からひっぱってきただけで、ほとんど全部検証してない。間違いがあればなるべく早めに更新するよう努力はするが、鵜呑みにして何が起きても自己責任で。 Hive のクエリチューニングに関するメモ書きである。以下のことは「書いていない」 Hadoop自体のチューニング Hive のクエリチューニング以外の話 例えば、圧縮ファイルを Hive 上で扱うにはどうするかとか JOIN 一番左のテーブルに最も大きなテーブルを持ってくる 一番左のテーブルがMRでいう入力データとして流れる。インナーテーブルのデータはメモリに保持される。 同一 JOIN キー 通常は 1 JOIN = 1 MR ジョブだが、同一の JOIN キーを使ってい
2010年まとめ:データと向き合った一年 - 科学と非科学の迷宮
はじめに:2010年弾丸ツアー 今年一年を一言でまとめると、「データと向き合った」一年でした。 2009年の終わり、私は The Datacenter as a Computer の読書会を通して、分散システムによる大量なデータの処理がこれからの時代にもっと重要になるということを学びました。 The Datacenter as a Computer 読書会 その流れを受け、1月には id:marqs や id:daisukebe とともに「集合知プログラミング」の読書会を開き、データマイニングの基礎を勉強しました。 大量のデータを扱う前に、小さなデータを扱う術を身につける必要があると思ったからです。 Programming Collective Intelligence 100111View more presentations from Sho Shimauchi. 第1回集合知プログラ
アメリカのIT企業で働くために行った英語の勉強法など - 科学と非科学の迷宮
こちらの記事を読んで、自分も書きたくなったので書いてみました。 といっても私は別に仕事で普通に日本語も使うし、半年ちょっとしか働いてないのでえらそうなことは何も言えませんが。 あくまで自分のメモ用。 入社前のスペック 小さい頃USに4年間住んでた。語彙の充実には全く役に立ってないが、多分リスニングと発音に若干のプラス補正がかかってる TOEIC は2010年(入社半年前)に遊びで受けて850ぐらい。参考記事 文法 Grammar in Use Intermediate Student's Book with Answers and CD-ROM: Self-study Reference and Practice for Students of North American English (Book & CD Rom) 作者: Raymond Murphy,William R. Smal
アメリカのIT企業で働くために行った英語の勉強法など - Play the Hand You're Dealt
今の会社は完全な米国法人で日々のメインの業務で日本語を使うことは日本語教育をずっと受けていた自分が純粋な米国法人で働くにはそれなりの英語への投資が必要だった。 ベストとは全く思わないしまだまだ向上の余地が多々あるのだけれど，会社で参考情報としてまとめたら役に立つとほめられたのでここにも残しておく。アメリカ育ちとかでまったく英語に不自由のない人から見たらかなり泥臭いことをしていると思う。これを日本にいて8年くらいやった結果、ある日アメリカ人しかいない職場に放り込まれても一応Managerとして機能する程度の英語力はなんとか身についた。自分は残念ながら言語のセンスはないコツコツ型なので、センスがあればもっとすぐにうまくなるはず。 1. 文法 少なくとも自分の場合には大学受験の時に積んだ英文法の知識が相当役に立っていて、実は受験以降まともな文法の勉強はしていない。大学受験の英語は全然バカにしたも
英語によるhadoop系メーリングリストへのバグレポート提出ガイド - 科学と非科学の迷宮
hadoop アドベントカレンダー 2011、1日目及びその他空いているところ全部を担当する @shiumachi です。 27日は誰もいないようなのでこれを27日とします。 id:showyou さんの担当でした。28日目とします。showyou さんすいません 基本 テンプレ的に書くとこんな感じ。 「本来は……であるべきだが、実際にはこうなっている」 前半は should を使い、but/in fact/however/while などを使って逆接でつないで次の文を書く。 以下の項目があるとレスポンスしやすい。 項目名 内容 概要 数行程度で何が起きたか書く 症状 特に、ログに例外が吐かれてたら必ず貼り付けること 直前にどんな作業をしていたか 何か特殊な作業を行っていたら、その手順を書く 再現性の有無 そのまんま 再現方法(わかっていれば) そのまんま 可能なら、該当 conf ファイ
今日からすぐに使えるデプロイ・システム管理ツール Fabric 入門 - 科学と非科学の迷宮
Fabric は、Python 製のデプロイ・システム管理ツールです。 最近、構築や運用を自動化するための様々なツールが出てきています。 構成管理ツールの Puppet や Chef が有名ですが、使うまでに覚えることが多いのが欠点です。 しかし、Fabric は非常にシンプルなツールで、今からすぐに使うことができます。 Fabric はデプロイ・システム管理ツールで、類似のツールとして Ruby 製の Capistrano があります。 Fabric の最大の特長は、シェルスクリプトを書き慣れた人がいきなり利用できるところです。 シェルスクリプトとしてまとめていたコマンドをそのまま run() メソッドや sudo() メソッドで囲むだけで、使うことができます。 シェルスクリプトを使っていていると、いくつもの問題に遭遇します。 名前空間の管理 変数の扱い 複雑なデータ構造がない(せいぜい
Hadoopサーバのディスク容量減少アラートが飛んできた！ってときにどう対処するか - wyukawa's diary
Linuxサーバがディスク容量不足になった！何か消さねば！ってなった時にどう対処するか - 元RX-7乗りの適当な日々 Linuxサーバのディスク容量減少アラートが飛んできた！ってときにどう対処するか - たごもりすメモ Cassandraサーバのディスク容量減少アラートが飛んできた！ってときにどう対処するか - oranie's blog MySQLサーバのディスク容量減少アラートが飛んできた！ってときにどう対処するか - Y-Ken Studio 日々の覚書: MySQLサーバーのディスク容量減少アラートが飛んでくる前に Gentooサーバのディスク容量減少アラートが飛んできた！ってときにどう対処するか - Dマイナー志向 もう何番煎じか分からなくなってきましたがHadoop版が無いので書いてみます。 2013/08/05追記 Hadoop 1.0.3の話を書いています。 まずHBas
#hcj2014 Hadoop Conference Japan 2014 で主に SQL on Hadoop の話を中心に聞いてきました（超個人的総括エントリ） - #garagekidztweetz
http://pixabay.com/en/elephants-family-baby-grass-341981/ 昨日（になってしまった、、、）は日本 Hadoop ユーザ会とリクルートテクノロジーズさんが主催するHadoop Confence Japan 2014 にいってきました。 最初に、この場を借りて、日本 Hadoop ユーザ会とリクルートテクノロジーズさんに感謝の意を書かせていただきます。 素晴らしい会場運営をありがとうございました！ （会場が前回のビックサイトから前々回のベルサール汐留に戻ったとはいえ、会場運営にかかる費用がかなり大きかったであろうことは火を見るより明らかで、感謝以外の言葉がありません。） ちなみに特に意図したわけじゃあなかったんですが、今回のカンファレンスでわたしは SQL on Hadoop に関連するものばかりきいてきました。 以降にわたしがとってきた
HBase 0.96 で導入される新しいコンパクション「Exploring Compaction」 - 科学と非科学の迷宮
Hadoopアドベントカレンダー2013、3日目を担当する @shiumachi です。 今回は HBase 0.96 の新機能を一つ紹介します。 要約 HBase 0.96 は賢くなったのでみんな使おう。 コンパクションのおさらい HBase では、Log Structured-Merge tree (LSM-tree) というデータ構造を使っています。 LSM-tree を簡単に説明すると、入力されたデータをログとメモリ上のデータストア(Memstore、メモリストア) に書き込みます。 メモリストアがいっぱいになると、まとめてディスクにフラッシュし、新しいストアファイルを生成します。 このストアファイルがたまってきたときに、少しづつ一まとめにしてなるべくファイル数を少なくするようにします。これがコンパクションです。 コンパクションを実行することにより、ファイルは一つにまとまります。こ
Apache Sqoop クックブック
小さなテストデータセットから巨大な企業データウェアハウスまで、既存のSQLテーブルに蓄積された情報をHDFS（Hadoop Distributed Filesystem）にインポートするためのツールApache Sqoopの使い方を、実例に沿ったレシピとして紹介する書籍です。 Sqoopの導入、さまざまな形式のデータインポート、エクスポートから、Oozie、Hive、HBaseなどと組み合わせて利用する方法などのレシピを収録しています。Hadoopファミリを用いたソフトウェアシステムを構築、運用する上で手元に置いておきたい1冊となるでしょう。なお本書はEbook版のみの提供となります。 序文 まえがき 1章 Sqoopの導入 レシピ1.1 Sqoopをダウンロードしてインストールする レシピ1.2 JDBCドライバをインストールする レシピ1.3 専用コネクタをインストールする レシピ1.
Clouderaで作るデータ分析環境 - 科学と非科学の迷宮
wyukawaさんがデータ分析環境について書いていましたが、全部 CDH を使えば実現可能なので便乗して書いておこうと思います。 1. ETL 処理 CDH なら以下のツールがあります。 Sqoop RDBMS / DWH などに対するインポート・エクスポートツール。最近日本語の本も出版されたので皆さん買ってください。 Hue を使えば Web ブラウザ上から設定できます。デモビデオはこちら。 Pig Hive の影に隠れがちなクエリ言語ですが、特に ETL として使う場合は書きやすいです。中身は MapReduce。Java はもちろん、Python、Javascript、Ruby、そしてGroovyでUDFが書けるのが特徴。HCatalog というツールのおかげで Hive 同様スキーマを扱えるようになりました。 Hue を使えば Web ブラウザ上から実行できます。デモビデオはこちら
Facebookの数千台規模のmemcached運用について - ゆううきブログ
Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログの続きとして、Facebook の memcached 運用に関する論文を読んだ。 タイトルなどは以下の通り。 NSDI はネットワークシステムに関するトップレベルのカンファレンス。 Scaling Memcache at Facebook Rajesh Nishtala, Hans Fugal, Steven Grimm, Marc Kwiatkowski, Herman Lee, Harry C. Li, Ryan McElroy, Mike Paleczny, Daniel Peek, Paul Saab, David Stafford, Tony Tung, Venkateshwaran Venkataramani NSDI'13 In Proceedings of the
Docker、IBM、Microsoft、RedHatがGoogleのコンテナ管理フレームワークKubernetesにこぞって開発参加する理由 - Qiita
Docker、IBM、Microsoft、RedHatがGoogleのコンテナ管理フレームワークKubernetesにこぞって開発参加する理由GoogleAppEngineDockergooglecomputeenginekubernetesgooglecloud Kubernetes is 何 先週末、Docker、IBM、Microsoft、RedHatがGoogleのコンテナ管理フレームワークKubernetesに開発参加を表明して話題になったが、この連携がどんな意味を持つのかすぐにピンときた方はどの程度いるだろうか。その前に、Kubernetesって何？ Dockerとどう関係するの？ 読み方すら分からないんだけど……って反応が多いと思う。 Googleのソフトウェアエンジニアで、Kubernetesの開発者であるBrendan BurnsによるGoogle I/O 2014のセッ
Hadoop本読書会 - 13章 ZooKeeper - 大規模分散技術勉強会 in 名古屋
大規模分散技術勉強会 in 名古屋 トップページページ一覧メンバー編集 Hadoop本読書会 - 13章 ZooKeeper 最終更新：ID:hgJMx3CHVA 2011年04月01日(金) 00:02:28履歴 Tweet Hadoop本13章が分かりやすい解説になっているとは言えないので、勉強会資料を書き起こしてます。Hadoop本は参考書程度に。(terurou) ZooKeeperとは A Distributed Coordination Service for Distributed Applications 「分散システムのための分散協調サービスです（キリッ」 『えっ』「えっ」 簡単に言うと分散システムでの面倒なところをよしなにしてくれるモノ 分散システムでロック・メタデータ共有・データ更新時のイベント通知等を行ってくれる Google MapReduceファミリーのChub
Hue - The open source SQL Assistant for Data Warehouses
All Categories Browsing (3) Community (1) Development (59) Flink sql (4) Hive (1) Impala (1) Ksqldb (3) Phoenix (3) Query (8) Release (32) Spark sql (3) Tutorial (19) Version 4 (78) Version 4.10 (11) Version 4.11 (11) Version 4.9 (7) Version 5.0 (1) Discover the power of Apache Ozone using the Hue File Browser Greetings, Ozone users! Hue officially supports browsing Apache Ozone using the Hue File
汽车保险-汽车工具-违章查询-爱车一族网
丰田前保险杠多少钱？丰田霸道前保险杠要多少钱啊？急……2020-03-21 20:49:14 宝马方向盘怎么拆卸？宝马320方向盘如何拆下来2020-03-21 16:49:47 大众用的什么变速箱？大众的变速箱是什么类型的？2020-03-21 16:43:04 途观刹车盘多少钱？途观一般刹车片价格是多少2020-03-21 16:17:53 比亚迪宋怎么车机互联？宋的百度Carlife车机互联系统怎么用2020-03-21 15:35:21 名图后排座椅能放倒吗？轿车后排座椅能放倒吗？2020-03-21 15:12:41 帕萨特电动座椅怎么拆？怎么拆03年帕萨特副驾驶的电动座椅2020-03-21 15:08:09 起亚k5还是吉利博瑞好？起亚K5和吉利博瑞怎么选？2020-03-21 14:53:52 吉利博瑞油耗多少？吉利博瑞油耗太高了解一下2020-03-21 14:32:09
これから Hadoop を学ぶ人向け読書ガイド - 科学と非科学の迷宮
なんだかんだで Hadoop 周りの本も結構増えてきましたので下にまとめました。 抜けてるのもあると思うので(特に和書)、なんかお薦めありましたらコメントください。追加します。 タイプ別お薦め読書コース 短期間で全部読むのは不可能なので、とりあえず簡単にお薦めの読書コースを紹介します。 非技術者(営業や経営者など) 象本1章と徹底入門1章だけ読んどけばいいです。余裕があれば象本16章(ケーススタディ)。読んでる暇あったらその人件費で技術者にいいPC買ってあげてください。 技術者(共通) 象本読まないとかありえないです。 別に全部読む必要ないですが、とりあえず 1-10章ぐらいは目を通してください。 それも時間的に難しいならせめて3章か4章ぐらいまで目を通してください。 可能なら徹底入門と並行して読んでください。書き方の切り口が違う2つの書籍を読むことで理解が深まります。 Hadoop 技術
【「HAクラスタ」と二重化サーバーの違い】 上記の冗長化構成の違いがわかりません。…
【「HAクラスタ」と二重化サーバーの違い】 上記の冗長化構成の違いがわかりません。 ご存知の方がいらっしゃいましたら教えていただけるとありがたいです。よろしくお願いいたします。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
使い捨て python コードの書き方
Hadoop、hBaseで構築する大規模分散データ処理システム
クラウド時代のHA（冗長化）