Kansai.pm での発表資料 (Hadoop Streaming で MapReduce) - naoyaのはてなダイアリー
Kansai.pm に参加しました。とても楽しかったです。自分も "Hadoop Streaming で MapReduce" という題目で発表しました。取り急ぎ、資料を以下に公開します。 http://bloghackers.net/~naoya/ppt/080530kansaipm.ppt MapReduce は Google のバックエンドで動いている分散並列バッチ処理システムです。GFS は Google の分散ファイルシステムです。Google ウェアのクローンとしてオープンソースで開発されているのが Hadoop。Hadoop は Yahoo! Inc や Facebook, Amazon.com などでも利用されているとのこと。Hadoop は Java ですが、Hadoop Streaming を使うと Java 以外でも MapReduce できます。 以下のエントリも合
大量件数のINSERT or UPDATE を繰り返すバッチでの注意点
１．処理速度 単純にINSERTで済む場合はCOPY文やpsqlによる手続きが便利かも知れません。 UPDATEとINSERTがどちらも含まれる場合、最初にINSERTとUPDATEの二つに分けてしまった方が早いかも知れません。 SELECT primary_column FROM table_name WHERE primary_column IN (プライマリーキーの配列３万前後）; とかで。 PRIMARYキーが40バイトだったとしても、1MB程度のメモリ量で済みそうです。 ２．メモリ使用料について ３万件のデータはファイルに入っていると思うので、単純にfopen+fgetsにしてやればそれほどメモリは使わないんじゃないかと思います。 memory_get_usage()関数を使えれば、実際にメモリ量を見てやると良い気がします。 メモリやPHPの処理よりも、Postgre側やCPU、
meadow＆trampで、リモートPC内のファイルを編集しようとしているのですがうまくいきません。…
meadow＆trampで、リモートPC内のファイルを編集しようとしているのですがうまくいきません。対処方法を教えてください。 ■各ソフトのバージョン ・meadow 2.10 ・tramp 2002-02-18 ■設定内容 ・下記サイトを参考に、.emacsを設定しました。 http://www.ep.sci.hokudai.ac.jp/~michi/pc/tips/win-15.html ・tramp関連の設定内容です。エラーになる行があったので、一行コメントアウトしています。 (add-to-list 'load-path "~/.emacs.d/tramp/lisp/") (require 'tramp) (setq tramp-default-method "plink") (setq tramp-completion-without-shell-p t) (setq tramp
PHPで、自分が動いているURLを取得するにはどうすればいいのでしょうか？
PHPで、自分が動いているURLを取得するにはどうすればいいのでしょうか？
力試しにナベアツのような判定をするプログラムを作ろうとしたところ、問題が発生しました。…
力試しにナベアツのような判定をするプログラムを作ろうとしたところ、問題が発生しました。 3の倍数や5の倍数は考えるまでもないんですが、3のつく数字をどう判定したらいいのかわかりません。 どのように判定させればよいのでしょうか？
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
人力検索はてな：自分自身で組んだプログラムで、他の人には配布せず、自分だけしか使っていないプログラムはありますか？
