タグ

ブックマーク / blog.livedoor.jp/sasata299 (2)

  • EC2上での分散処理(Hadoop)をローカルから実行 - (゚∀゚)o彡 sasata299's blog

    2009年12月23日20:37 Hadoop EC2上での分散処理(Hadoop)をローカルから実行 以前の記事で、Cloudera を使うことで hadoop-ec2 というコマンドが使えるようになって、Hadoop クラスタを起動したり、クラスタの中身を見たりできるということを紹介しました。今日は hadoop-ec2 で利用できるその他のコマンドを紹介します〜。 ・ master 上でコマンドを実行したいとき hadoop-ec2 exec [cluster] "実行したいコマンド" このように指定すると "実行したいコマンド" が master 上で実行されます。このコマンドとして Hadoop の実行コマンドを渡してあげれば、ローカルの環境から EC2 上で分散処理を実行することが可能です。 ・ master 上にファイルをコピーしたいとき hadoop-ec2 push [c

  • POEで簡単なIRCのbotを作ってみた。 - (゚∀゚)o彡 sasata299's blog

    2009年05月05日00:39 Perl POEで簡単なIRCのbotを作ってみた。 今頃!?って感じもしますが、POEを使ってみました。(*・ω・)ノ POEはイベント駆動アプリケーションフレームワークで、イベントに対するアクションを設定することで、設定したイベントに対してリアルタイムに処理できる、というものみたいです。今回はIRCで、「URLを投げられたらタイトルを返す」というbotを作ってみました。ソースを貼っときます。 irc.pl #!/usr/bin/perl use strict; use warnings; use POE qw(Component::IRC); use HTML::TagParser; my $url = qr{s?https?://[\-_\.~\*'\(\)a-zA-Z0-9;/\?:@&=\+,%#]+}; my $channel = '#hoge

  • 1