blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術：CodeZine
はじめに こんにちは。Hadoop連載 第4回は太田さんに代わって大倉が担当します。 これまでの連載で、Hadoopによるデータ処理の概略については理解されていると思います。今回はHadoopを利用したシステムの実例ということで、ブログ分析を行う「blogeye」システムの概略と、その中でのHadoop利用法を紹介します。 また、blogeyeはAmazonが提供しているEC2（レンタルサーバ）、S3（ストレージ）をHadoopと組み合わせて利用しているので、その辺りの導入方法についても紹介します。これまでの連載Hadoop、hBaseで構築する大規模分散データ処理システムHadoopのインストールとサンプルプログラムの実行複数マシンへHadoopをインストールする blogeyeとは 「blogeye」（ブログアイ）は日本語のブログをクロール、リアルタイムに分析して、流行語と思われるもの
64ビット版「Windows」、急速な普及の兆し
作れば、いずれは使われるようになるようだ。 64ビットチップがいい例だ。Advanced Micro Devices（AMD）は2003年にデスクトップPC向け64ビットチップをリリースした。それまでと同じ価格で64ビットチップが手に入るのだから、消費者に受け入れられるという読みだった。 「この業界は今、新たな革新の波を求めている」と、2003年9月にサンフランシスコで64ビットチップを発表した際、当時AMDの最高経営責任者（CEO）であったHector Ruiz氏は、集まった大勢の人々に語りかけた。だが、業界は新たな革新の波をそれほど求めていなかったようだ。 もちろん、対応するOSがなかったので64ビットチップは普及が進まなかった。断続的な試みのあと、2005年秋にMicrosoftがようやく64ビット版の「Windows XP」をリリースした。 だが、64ビット版Windows XPが
インテル、次世代グラフィックチップ「Larrabee」の詳細を公開
Intelは、NVIDIA、ATIと直接競合し、未知の技術領域、市場区分に入るかもしれないチップの詳細を公開した。 「Larrabee」は単体のチップだ。これはつまり、Intelが現在プロセッサと一緒に半導体チップの一部として提供している、ローエンドだが幅広く使われている統合グラフィックスチップとは大きく異なることを意味する。また、LarrabeeはIntel x86汎用アーキテクチャをベースにしている。 Intelによれば、最初のLarrabee製品は「PC市場をターゲットにする」という。つまり、LarrabeeはPCゲーム市場で、NVIDIA、AMD傘下のATIと直接競合することになる。NVIDIAとATIは現在、「独立した」スタンドアロンのグラフィックスプロセッサ市場を支配している。 Larrabeeは、中央演算処理装置（CPU）とグラフィックスプロセッサの最も優れた特性を融合したも
Hadoop Streaming - naoyaのはてなダイアリー
id:naoya:20080511:1210506301 のエントリのコメント欄で kzk さんに教えていただいた Hadoop Streaming を試しています。 Hadoop はオープンソースの MapReduce + 分散ファイルシステムです。Java で作られています。Yahoo! Inc のバックエンドや、Facebook、Amazon.com などでも利用されているとのことです。詳しくは http://codezine.jp/a/article/aid/2448.aspx (kzk さんによる連載記事)を参照してください。 Hadoop Streaming 記事にもあります通り、Hadoop 拡張の Hadoop Streaming を使うと標準入出力を介するプログラムを記述するだけで、Hadoop による MapReduce を利用することができます。つまり、Java 以外
IE7でコンテント・ネゴシエーションが残念なことになる件 | 水無月ばけらのえび日記
Accept-Language によるコンテント・ネゴシエーションが IE7 でうまく動作しないらしいというお話があり、いろいろ調査。 問題を簡潔にまとめると、「IE7で複数の言語を設定している場合に、その設定の順位が無視されているように見える」という感じ。たとえば、コンテンツ側で日本語と英語を用意しているとき、以下のような動作になります。 言語設定何も無し……英語コンテンツが返ってくる英語のみ設定……英語コンテンツが返ってくる日本語のみ設定……日本語コンテンツが返ってくる英語、日本語の順で2言語を設定……英語コンテンツが返ってくる日本語、英語の順で2言語を設定……英語コンテンツが返ってくる (順番が無視されている!)日本語、英語の順で設定したら日本語を返してほしいのに、何故か英語が返って来るという。 この原因は、「IEBlog : Accept-Language Header for I
Lenovoも小型ノートPC参入。399ドルから
中国のPCメーカーLenovo Groupは8月4日、新製品「IdeaPad S10」で小型ノートPC市場に参入すると発表した。 S10は厚さ約1インチ（2.5センチ）、重さ2ポンド（907グラム）強と薄型軽量で、ネットサーフィンや電子メール、音楽再生、基本的なアプリケーションなどのシンプルな用途での利用が可能とLenovoは説明している。 CPUにはIntelのAtomプロセッサ、OSにはWindows XPを採用。10.2インチのLEDバックライト付きディスプレイを搭載し、キーボードサイズはフル機能ノートPCのキーボードの85％。ワイヤレス接続機能としてはWi-Fiを内蔵し、Express Cardスロットにモバイル通信カードを差すこともできる。Webカメラ、USBポート2基、4in1マルチカードリーダーも備える。 S10は、「80GバイトHDDと512Mバイトメモリ」「160Gバイト
OpenID とプライバシーについて - 日向夏特殊応援部隊
高木先生の大作である日本のインターネットが終了する日を受けて、僕の日記のコメント欄にてid:futureeyeさんから質問が来ていたので、個人的な見解としての回答をしたいと思います。 名寄せの問題 ａ サイトで住所氏名Ｅメールアドレス等の個人特定情報を入力することによって、その個人特定情報と契約者固有ＩＤ（ｉモードＩＤ等）とが紐付けられ、ネット上での行動履歴情報が契約者固有ＩＤを手掛かりに収集され（名寄せされ）、その収集情報と個人とが結び付けられる。 そもそも前提として携帯キャリアが確認無く契約者固有IDを任意のサービスに対して公開するという行為と、OpenIDのようにユーザの同意の下に Relying Party ( OpenID 認証を提供されるサービス ) に対して公開するのでは話のレベルが全然違います。 とは言え名寄せと言う点ではクロールして公開されている全ページを収集すればある程
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MapReduceとHadoopの将来について、YahooのDoug Cuttingにインタビュー
TechCrunch | Startup and Technology News
