NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
プロセッサ別に見る並列アーキテクチャ （1/3）－ ＠IT
第3回 プロセッサ別に見る並列アーキテクチャ 株式会社フィックスターズ 中村 孝史 2009/8/31 CPUの周波数の高速化競争が頭打ちになり、1コアにおける処理能力は限界となった。CPUの進化がマルチコア化に向かった結果、並列コンピューティングの門戸が開かれた（編集部） 第2回「現代のプロセッサと並列実行」では、一般的な汎用プロセッサのハードウェア構成について説明しました。 並列ハードウェアは、構成要素のどの部分が並列に動作するように設計されているのかによって分類されており、効果的な並列プログラミングに当たってハードウェアの基礎知識が求められます。 前回、紹介したスーパースカラー、SIMD、マルチコア／マルチプロセッサ、ハードウェアマルチスレッドといった技術が、実際のプロセッサにどのように組み込まれているのか。 今回は、Intel Core i7、Cell Broadband Engi
ゲーム機はいずれ不要に？ ゲームストリーミングの新たな可能性「Gaikai」とは
いずれゲームはすべてネットワーク上で動作するように？ ソフトウェアはすべてサーバー側に置いておき、ユーザーはインターネット越しに、利用したい時にサーバー上のソフトウェアにアクセスするだけ――。インターネットが登場したころから、こうした「クラウドコンピューティング」は夢の技術のひとつと言われてきました。 そんな中、これを「ゲームに活用しよう」という企画が海外で立ち上がっており、その最新デモ動画がYouTubeで公開され話題を呼んでいます。 「Gaikai」の公式サイト。名前の由来はやはり日本語の「外界」から？ 「GaiKai」と名付けられたこちらのサービスは、サーバー上に置かれたゲームにインターネットブラウザ（動画ではFirefoxを使用）を通じてアクセスすることで、離れた場所からでもこれらのゲームを楽しむことができるというもの。 インストール不要、どこでも手軽にアクセス可能といったメリット
3D描画処理もクラウドに溶け込む？ Intel社が映像転送を実演
米Intel社は，カリフォルニア州Mountain Viewで開催した研究展示会「Research@Intel Day」で，複数の機器間で3次元グラフィックス映像を伝送する技術を展示した。携帯端末やパソコン，サーバーが互いに連携する機能を高めるという「Web2.0」や「クラウド・コンピューティング」などに共通する概念が，3次元グラフィックス描画にも適用される未来を示したものである。 「Wireless Remote Graphics Rendering Demo」は，携帯型パソコン端末で遊べるレーシング・ゲームの3次元グラフィックス映像を，無線LAN経由で別のパソコンに転送し，大画面のHDTVディスプレイに表示させるデモである。映像の遅延時間は2msほどで，ゲームを楽しむには問題ない水準である。 図1 右の男性が持つ小型パソコン端末でレーシング・ゲームを楽しみつつ，その3次元グラフィックス
Intel社，スマートフォンのアプリ実行をクラウドの“仮想スマートフォン”で高速化する「CloneCloud」を実演
米Intel Corp.の研究開発部門が開いたイベント「Research@Intel Day 2009」で同社は「CloneCloud」と呼ぶ，スマートフォン向けのクラウド技術を実演した。CloneCloudは，サーバー上の仮想マシンで，スマートフォンのアプリケーション・ソフトウエアの一部を実行することで，端末の処理負担を軽減し，高速化する技術である。 CloneCloudは，ユーザーのスマートフォンの環境の「クローン」を，サーバー上の仮想マシン（VM）に作り，その環境で端末と同じアプリケーションを実行するしくみを取る。ユーザーがスマートフォン側で処理能力が必要なアプリケーションを起動すると，専用のソフトウエアが実行に必要なデータの一部を，サーバーで動作するクローン環境に転送する。クローン環境で同じアプリケーションを起動し，処理を肩代わりすることで，スマートフォン端末側では処理が高速化した
「マルチ・クラウド」という選択肢
「天下の大勢，合一して久しくなれば必ず分かれ，分かれて久しくなれば必ず合一する」－－－14世紀の作家である羅貫中は「三国志演義」の中で，「集中と分散の繰り返し」が歴史の理（ことわり）と指摘した。IT業界でも今，新しい集中の動きが起きている。ご存じの通り，クラウド・コンピューティングである。 米国では，クラウド・コンピューティングを「コンピューティングの集中化の動き」と捉える見方が主流的である。代表的な論客が，2003年に「IT doesn't Matter」という論文を発表して話題になった評論家のNicholas Carr氏である。 Carr氏は2008年1月に出版した「The Big Switch: Rewiring the World, From Edison to Google」という著書で，「コンピュータは発電機と同じ。発電機がそうであったように，コンピュータもGoogleのような
GoogleのMapReduceアルゴリズムをJavaで理解する
GoogleのMapReduceアルゴリズムをJavaで理解する：いま再注目の分散処理技術（前編）（1/2 ページ） 最近注目を浴びている分散処理技術「MapReduce」の利点をサンプルからアルゴリズムレベルで理解し、昔からあるJava関連の分散処理技術を見直す特集企画（編集部） いま注目の大規模分散処理アルゴリズム 最近、大規模分散処理が注目を浴びています。特に、「MapReduce」というアルゴリズムについて目にすることが多くなりました。Googleの膨大なサーバ処理で使われているということで、ここ数年の分散処理技術の中では特に注目を浴びているようです（参考「見えるグーグル、見えないグーグル」）。MapReduceアルゴリズムを使う利点とは、いったい何なのでしょうか。なぜ、いま注目を浴びているのでしょうか。 その詳細は「MapReduce : Simplified Data Proc
グーグルデータセンターの内側--明らかにされた独自性
サンフランシスコ発--先日、Googleの秘密が少しだけ明らかになった。 Googleがデータセンター業務を公開することは滅多にないが、米国時間5月28日、GoogleフェローであるJeff Dean氏が業務の一部を話題に取り上げた。28日に当地で開催された「Google I/O」カンファレンスの超満員の聴衆に対して講演を行ったDean氏は、Googleのインフラがいかに独特かを説明しながら、Googleの秘密を少しだけ明らかにした。 Googleはごく普通のサーバを使用している。プロセッサ、ハードドライブ、メモリも同様だ。 一方、Dean氏は、1800台のサーバで構成されるクラスタは、たいしたものではないというわけではないが、ごくありふれていると考えているようだ。しかし、Googleがそのようなハードウェアを使って、700〜1000台のサーバが使われる一般的な検索クエリに0.5秒以下で応
【特集】超並列プロセサ - GeForceアーキテクチャとCUDAプログラミング | エンタープライズ | マイコミジャーナル
Copyright (C) Mainichi Communications Inc. All rights reserved. 掲載記事の無断転載を禁じます
【詳報】「Google App Engine」ってなんだ − ＠IT
2008/04/08 米グーグルは3月7日、「Google App Engine」を発表し、ついにクラウド向けサービスに参入した。この市場では米アマゾンが先行。フルスタックのWebアプリケーション環境を提供することを武器に、グーグルは新たな開発者の取り込みを狙う。Google App Engineの速報記事はこちら。 公開したGoogle App Engineのプレビュー版は1万人の限定サービス。大量のドキュメントとWindows、Mac、Linux向けのSDKがすでに用意されている。 Google App Engineのメリットはグーグルの各サービスを運用する高信頼なインフラを使って、Pythonで書いたアプリケーションを実行できることだろう。インフラとは具体的には分散ファイルシステムの「GFS」や、データストレージシステムの「BigTable」だ。Google App Engineのブ
西川善司の3Dゲームファンのための「次世代DirectX」講座〜DirectXは並列コンピューティングAPIへと進化する
【10月2日】 「任天堂カンファレンス 2008.秋」レポートその1 ハード編 「自分専用DS」を目指した「ニンテンドーDSi」 「任天堂カンファレンス 2008.秋」レポートその2 ソフト編 年末年始も磐石? 「Wii Music」ではとたけけ登場!? 「任天堂カンファレンス2008秋」 主要タイトル・ファーストインプレッション 「ニンテンドーDSi」を一足先に体験!! 他 任天堂、スクリーンショット集〜DS編 「マリオ&ルイージRPG3!!! (仮)」、「メイドイン俺」、「立体ピクロス (仮称)」など 任天堂、スクリーンショット集〜Wii編 「罪と罰2 (仮称)」、「Punch-Out!!」、「街へいこうよ どうぶつの森」など 任天堂、「ニンテンドーDSi」を発表 30万画素カメラ付、SDカードスロット付で11月1日発売 【速報版】 佐藤カフジの「PCゲーミ
plaggerとMapReduce - YuichiTanakaの日記
本屋で日経ソフトウェアという雑誌を立ち読みしてたら、結城浩さんの連載でplaggerについて語っていた。なんとなくplaggerってperlの人たちのための話なんでしょ？と勝手に思ってて、ちょっと敬遠していたんだけど、結城さんの記事を読む限り、plaggerってMapReduceと同じだなと思った。それで俄然興味津々。 MapReduceに関しては、こちらの記事がすばらしいので、私が何も言う必要はないと思うけど、とても簡単に言うと、Googleが提案した、大量の分散したデータそれぞれにある処理を加え、その後に（必要に応じてフィルタリングしてから）それらを一つにまとめる、というプログラミングモデルの事（だと私は理解している）。こういったモデルに基づいてプログラムを書いても結構色々な事ができるみたいで、現にGoogleではMapReduceの論文が書かれた時点でMapReduceライブラリを使
グーグル、無限への挑戦 (BusinessWeek)：NBonline(日経ビジネス オンライン)
気になる記事をスクラップできます。保存した記事は、マイページでスマホ、タブレットからでもご確認頂けます。※会員限定 無料会員登録 詳細 ｜ ログイン Stephen Baker （BusinessWeek誌シニアライター、ニューヨーク） 米国時間2007年12月13日更新 「Google and the Wisdom of Clouds」 「データ量が今の1000倍になったとしたら、君ならどうする？」 この質問をされると、それまで自信満々で入社面接に臨んでいた若者はしどろもどろになってしまう。 今や超難関、米グーグル（GOOG）の採用面接でのひとコマである。質問を投げかけるのは、上級ソフトウエアエンジニアのクリストフ・ビシグリア氏（27歳）。ほっそりとした体格と、ウエーブのかかった長髪のビシグリア氏が試しているのは、目の前にいる大学生が「グーグラー（グーグル社員）」流の発想法について来られ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoopの解析資料
Amazon.co.jp： Googleを支える技術 ‾巨大システムの内側の世界 (WEB DB PRESSプラスシリーズ): 西田 圭介: 本
PAC Learner: Hadoop Links