Hadoop - Tech Note
mapred.child.java.opts の設定は、JobConf実行時に設定可。 (hadoop-site.xml の設定項目は実行時に設定できるものとできないものがある) public class Test { public static void main(String[] args) throws Exception { JobConf conf = new JobConf(Test.class); conf.setMapperClass(Map.class); // 子JVMの最大ヒープサイズを設定 conf.set("mapred.child.java.opts", "-Xmx512m"); ... } } SequenceFile SequenceFile は、<key, value>形式でデータを保持する。テキストをそのままMapで読み込むと、keyにバイトオフセット、
Runtime error - Meta Search
Error message : Directory is not found or not writable (DATA_DIR) Directory is not found or not writable (DIFF_DIR) Directory is not found or not writable (BACKUP_DIR) Directory is not found or not writable (CACHE_DIR) Site admin: whitestar Copyright © 2006-2023 whitestar. All Rights Reserved. Icons powered by famfamfam. PukiWiki 1.5.0 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL
VLDB2011勉強会 Research Session 18: MapReduce and Hadoop
1. 【VLDB2011勉強会】 Session 18: MapReduce and Hadoop 担当： 塩川浩昭（NTT） 1 2. 紹介する4本の論文 1. Column-Oriented Storage Techniques for MapReduce Avrilia Floratou, Jignesh M. Patel(University of Wisconsin Madison), Eugene J. Shekita, Sandeep Tata (IBM) 2. Automatic Optimization for MapReduce Program Eaman Jahani, Michael J. Cafarella (University of Michigan), Christopher Re (University of Wisconsin Madison) 3. C
HiveのSequenceFileとかパーティションとか - wyukawa's diary
Hiveに関するまとまった情報源として書籍なら徹底入門があります。 とはいえそんなに突っ込んだことは書かれていないので、本家のWikiを参照することになると思います。 https://cwiki.apache.org/confluence/display/Hive/Home 最近Confluenceに変わりましたね。 ここではSequenceFileとかパーティションとかその辺について書いてみたいと思います。 が、まずはテキストファイル形式から。なお動作環境はMac上のVirtualBox上のCentOS5.6です。yumでCDH3を疑似分散でいれてます。 下記は本家のサンプルにもあるテーブルです。dtとcountryがパーティション用のカラムです。 CREATE TABLE page_view ( viewTime INT, userid BIGINT, page_url STRING,
HerokuでEnv使う - r7kamura's Hakolog
heroku config:add API用のSecret Key等をファイルに普通に記述すると、GitHub等にpushしたい時に公開されてしまう。 Herokuでそういう値を保存したいときには、下記のコマンドで環境変数を設定できる。 $ heroku config:add FOO=bar $ heroku console 'ENV["FOO"]' bar .env Herokuはforemanの機能を利用しており、/path/to/root/.envの値も環境変数に設定してくれる。 ローカルで開発する場合でもformanを使えば.envを環境変数に設定してくれるが、foremanのコマンドでRailsを起動する場合はirbやpryが上手く動かなくなるので、ローカルではforemanを使わずに普通に起動した方がいいと思う。 .envを見てENVを設定するスクリプトを、/path/to/i
Google Codeのgitとnon-fast-forwardエラー - Kazzz's diary
Mandarine-wp7ではリポジトリにgitを選択している。 svnがgitになってもやることは変わらなくて、最初はローカルにあるファイルをGoogle Codeのサーバにアップするが、gitの場合は既にローカル側にリポジトリがあることが殆どなので、まずはこれをリモートにプッシュする。 その時のプッシュは全く問題無く終わったのだが、その後幾つかのファイルを修正して追加でコミットし、その後再度プッシュした時に問題は発生した。 >git push To https://〜.git ! [rejected] master -> master (non-fast forward) error: failed to push some refs to 'https://〜.git' To prevent you from losing history, non-fast-forward upda
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
