タグ

ブックマーク / h2plus.biz (3)

  • Hadoopで始める並列データ解析/後編 | Inhale n' Exhale

    1月13日(金)にPalo Altoで行われたJTPAのギークサロンに参加してきた。今回は参加者がラップトップ持ち込みでコーディングしていくハッカソン形式で、会場入りする前までにHadoopが使える環境を自前で用意しておく必要があった。 前編では、Hadoopを使って計算処理をするための準備として、EC2上にHadoopクラスタを構築する方法を紹介した。後編では実際にギークサロンで手を動かしてやったことを中心に紹介していこう。 WordCount.java – 最初のサンプルコード Hadoop Tutorial / Module4: MapReduceで紹介されているWordCount.javaを使って、EC2上のHadoopクラスタで処理をさせてみる。いわゆる"Hello, wolrd!"的なサンプル。 まずはEC2上のUbuntuにSSHでログインして、Hadoopのクラスタを立ち上

    Hadoopで始める並列データ解析/後編 | Inhale n' Exhale
  • Hadoopで始める並列データ解析/前編 | Inhale n' Exhale

    1月13日(金)にPalo Altoで行われたJTPAのギークサロンに参加してきた。今回は参加者がラップトップ持ち込みでコーディングしていくハッカソン形式で、会場入りする前までにHadoopが使える環境を自前で用意しておく必要があった。もうそれだけで、いつものギークサロンよりハードルが高いのだが、当日は15人ほどのギークたち(中には3日前にベイエリアに来たばかりという学生もいた)が集まって、おのおのラップトップとにらめっこしながらHadoopと戯れていた。 今回のギークサロンをホストしてくださった山中仁氏が、EC2上にHadoopクラスタを構築する方法を、参加者向けの資料としてWeb上に準備してくださり、「Hadoop=未知の領域」だった自分でもすんなりHadoopクラスタを組むことができた。だが残念なことに、この資料自体がEC2上に一時的に立てたサーバーに置かれており情報が恒久的には残ら

    Hadoopで始める並列データ解析/前編 | Inhale n' Exhale
  • TwitterにOAuthクライアントアプリを登録する方法 | H2+ Goes On

    一六社のバナー広告を取得するREST APIを使って、Twitterへの自動ポスティングAPI(仮名:地域ツイッター)を地道に開発しています。地域ツイッターは地域ホームページのオーナー様に代わって、Twitterへネットチラシなどの広告をつぶやくことになるのですが、Twitter APIを利用するには必ず「ログイン」というプロセスを経なければなりません。従来、Twitter APIではBasic認証が使われており、account/verify_credentialsメソッドでTwitterにログインすることになります。 セキュリティ上の問題 しかし、account/verify_credentialsメソッドを使うためには、ログインするユーザーのアカウント(またはメールアドレス)とパスワードが必要になります。地域ツイッターは地域ホームページのバックグラウンドで実行されることになるので、オー

  • 1