［1］簡単に分散処理を行えるPig
OSSの分散処理フレームワーク「Hadoop MapReduce」は便利ですが、少しハードルが高い面もあります。MapReduceをより使いやすくするツールが「Pig」と「Hive」で、大容量データを簡単に処理したいケースで威力を発揮します。個人でも手軽にPigとHiveを“体感”する方法を解説します。（NTTコムウェア 研究開発部 川前 徳章） クラウドコンピューティング時代の代表的な分散処理技術「Hadoop」がいま、熱い注目を集めています。Hadoopは、米Google社が開発した大規模ファイルシステム「Google File System」、および大量のデータを高速に処理できる分散処理フレームワーク「MapReduce」を、Googleが発表した論文を基に実装したオープンソースソフトウエアです。Google File Systemに対応するのが「Hadoop Distributed
Runtime error - Meta Search
Error message : Directory is not found or not writable (DATA_DIR) Directory is not found or not writable (DIFF_DIR) Directory is not found or not writable (BACKUP_DIR) Directory is not found or not writable (CACHE_DIR) Site admin: whitestar Copyright © 2006-2023 whitestar. All Rights Reserved. Icons powered by famfamfam. PukiWiki 1.5.0 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL
Pig Storageメモ(Hishidama's Apache Pig Load/Store Memo)
S-JIS[2011-08-14] 変更履歴 Pig Storage（Load/Store） PigのStorage（Load/Store）の作り方のメモ。 概要 Pigで独自形式のファイルを扱いたい場合はStorageクラスを用意する。 loadやstoreは、デフォルトでPigStorageが使われている。 load 'パス' using PigStorage(); store エイリアス into 'パス' using PigStorage(); これと同様にStorageクラスを用意すればいい。 ロード（読み込み）用にはLoadFunc・ストア（保存）用にはStoreFuncというクラスが用意されており、それを継承したクラスを作成する。 PigStorageのようなStorageはその両方の機能を持つクラス。 コンパイルに必要となるjarファイルは通常のUDFと同じ。 PathやW
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
User Documentation - Apache Pig - Apache Software Foundation
http://infra-engineer.com/hadoop/hadoop%E8%B1%A1%E6%9C%AC%E7%AC%AC2%E7%89%88-11%E7%AB%A0-pig-%E3%81%AE%E3%81%BE%E3%81%A8%E3%82%81/
PigInstall – アクセンスのおまけ
