ローエンドプロセッサでサーバを効率化--カーネギーメロン大学の「弱小ノード」
メインストリームサーバは、マルチコアプロセッサと膨大な記憶容量を搭載してますます屈強になっているが、カーネギーメロン大学とIntel Labs Pittsburghの研究者たちは、コンピュータ界きってのやせっぽちの弱虫の方が、今日のインターネット上でのジョブの多くに適している可能性があると考えている。 研究者たちが提唱する代替物には、「弱小ノードの高速アレイ（Fast Array of Wimpy Nodes：FAWN）」という名前が付けられている。これは、ACM Symposium on Operating Systems Principlesで発表されたばかりの論文に記述されている。 簡単に言えば、汎用サーバを使うよりも、ローエンドのプロセッサとフラッシュメモリで構成されたサーバのクラスタを使用した方が、作業によっては低いコストと少ない消費電力で処理できると、研究者たちは考えている。近
優良企業はなぜHadoopに走るのか
ちなみに、この分析のために必要とされるMapReduceのコードであるが、そのサイズはわずか20ステップだという。Yahoo!のプレゼンテーターである、エリック・バルデシュバイラー氏によると、たとえ経験の浅いエンジニアであっても、MapReduceによるプログラミングは可能であるとされる。 また、VISAのジョー・カニンガム氏からも、貴重なデータが提供されていたので以下に紹介する。同社では、1日に1億トランザクションが発生するため、2年間で700億強のトランザクションログが蓄積され、そのデータ量は36テラバイトに至るという。こうしたスケールのデータを、従来のRDBを用いて分析するには、約1カ月の時間が必要とされてきたが、Hadoopを用いることで13分に短縮されたという。 これまでは、Yahoo!にしろVISAにしろ、膨大なデータをRDBに押し込むほかに方法はなく、その分析に数十日を要する
もう1つの、DBのかたち、分散Key-Valueストアとは
もう1つの、DBのかたち、分散Key-Valueストアとは：分散Key-Valueストアの本命「Bigtable」（1）（1/3 ページ） RDBとは別の、クラウド時代のデータベースとして注目を浴びている「分散Key-Valueストア」。その本命ともいえる、Googleの数々のサービスの基盤技術「Bigtable」について徹底解説 クラウド時代のデータベース「分散Key-Valueストア」 グーグルがインターネットの世界をここまで席けんできた最大の理由は何でしょうか。実は、それは同社の優れた検索技術ではありません。グーグルが成し遂げた最も大きなブレークスルーの1つは、同社が生み出した巨大な分散データストア、「Bigtable」にあります。 Bigtableは、Google検索をはじめ、YouTubeやGoogle Map、Google Earth、Google Analytics、Goog
分散メモリー技術
分散メモリー技術とは，数十～数千台のサーバーに搭載される物理メモリーを連携させて，巨大な論理メモリーとして使用する技術である。作り出したメモリーを，データベースのキャッシュ・メモリーとして使用することで，アプリケーションのパフォーマンスが向上する（図1）。 Webアプリケーション分野で広く使われている分散メモリー技術が「memcached」だ。元々はブログ・サービス「LiveJournal」用に開発されたソフトウエアだが，オープンソース化され，ソーシャル・ブックマーク・サービスの「digg」や，ソーシャル・ネットワーク・サービス（SNS）の「mixi」でも使われるようになった。 米GoogleのPaaS（Platform as a Service）である「Google App Engine」にも，memcachedに相当するメモリー・キャッシュ機能が搭載されている。開発者はGoogle A
Q4M - a Message Queue for MySQL
Q4M (Queue for MySQL) is a message queue licensed under GPL that works as a pluggable storage engine of MySQL, designed to be robust, fast, flexible. It is already in production quality, and is used by several web services (see Users of Q4M). To start using Q4M, download either a binary or source distribution from the install page, and follow the installation instructions. A small tutorial is also
楽天版MapReduce・HadoopはRubyを活用 － ＠IT
2008/12/01 楽天は11月29日、東京・品川の本社で開催した技術系イベント「楽天テクノロジーカンファレンス2008」において、近い将来に同社のEコマースサービス「楽天市場」を支える計画があるRubyベースの大規模分散処理技術「ROMA」（ローマ）と「fairy」（フェアリー）について、その概要を明らかにした。 レコメンデーションの処理自体はシンプル 楽天市場では現在、2600万点の商品を取り扱い、4200万人の会員に対してサービスを提供している。この規模の会員数・商品点数でレコメンデーション（商品の推薦）を行うのは容易ではない。 ※記事初出時に楽天市場の会員数を4800万人としてありましたが、これは楽天グループのサービス利用者全体の数字でした。楽天市場の会員数は正しくは4200万人とのことです。お詫びして訂正いたします。 レコメンデーションの仕組みとして同社は、一般的でシンプルなア
2.6に新搭載のmultiprocessingを見て俺のPythonがおっきした件 | TRIVIAL TECHNOLOGIES 4
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー いやー，multiprocessingモジュールイイよ。パねえよ。要はプロセス間通信を行うときに便利なパッケージで，threadingと似たようなAPIなのでGILが回避できてマルチプロセッサとかマルチコアの性能を有効に使えてウハウハとか，リモートマシンにあるプロセスと通信したりオブジェクトをやりとりしたりできてウハウハとか，まあそういうモノです。これでおっきしない奴は技術者として大切な資質を失っていると思うよ。べつにおっきしなくてもいいんだけど，そういう奴とは一緒に仕事したくないよ。 ドキュメントのイントロダクションを超訳してみたです。 はじめに multiprocessingはth
転回点を迎えたAmazonのクラウド：[Analysis] - ＠IT
Web 2.0の特徴とされる「永遠のベータ」。その典型的サービスの1つと見られていたアマゾンのクラウドサービス「Amazon Web Services」（以下、AWS）が2008年10月23日、ついにベータの冠を取って正式サービスとなった。同時に99.95％のアップタイムを保証するSLA（サービス品質保証契約）の提供も開始した。 Amazon Web Servicesの転回点を告げる3つの発表 クラウドコンピューティングの狭義の定義として「PaaS」（Platform as a Service）を使えば、現在急速に技術・サービスの拡張を続けているビッグプレーヤーは、グーグル、アマゾン、マイクロソフト、セールスフォースの4社だろう。 PaaSとは、ハードウェアやOSとは無関係に、インターネット上のサーバ群を使ってソフトウェアを実行するプラットフォームを実現、提供するサービスのことだ。もちろん
![転回点を迎えたAmazonのクラウド：[Analysis] - ＠IT](https://cdn-ak-scissors.b.st-hatena.com/image/square/6e84fc6ab06f31b2e64248cbfc92fe06deb5bab5/height=288;version=1;width=512/https%3A%2F%2Fimage.itmedia.co.jp%2Fimages%2Flogo%2F1200x630_500x500_ait.gif)
moratorium
主にUNIX系プログラミングに関する話題と、情報科学科での日常を書いているブログです。kzk's bookshelf id:nobu-qが僕のblogの本リストのヘビーユーザーらしいので、リストを作ってみました。 kzk's bookshelf 全部買うべき！(本当だろうか。 最近は出来るだけ帰宅してから読書するように頑張ってます。ここ1～2年ぐらいコード偏重すぎだったので。。。しっかりした書籍で基礎的な知識を補強した上で、論文を読み、自分のアイデアや実装等を出していけたら、と思います。 次はhigeponさんの読んでいる"Working Effectively With Legacy Code"が気になってます。 En Google by Gulfweed En Google by Gulfweed ysn先生の作られたGrease Monkey。クリック一発で、日本語版Googleと英
L. Tierney氏のsnowパッケージでクラスタ計算を行う - RjpWiki
RjpWiki はオープンソースの統計解析システム R に関する情報交換を目的とした Wiki ですL.Tierney氏のsnowパッケージでクラスタ計算を行う (間瀬茂) 必要に迫られ、計算機クラスタで計算をせざるを得なくなりました。幸い私は 東工大の誇るグリッドスパコンTSUBAME(現時点で公称アジア最速)を自由に使える(但し現在１ジョブあたり16ノードの制限)恵まれた立場にありますが、ただRを実行しても一台分しか使わないので、却って自分のパソコンよりも遅い(笑）。（追加註：TSUBAMEは32GBもしくは64GBのメモリを使えるため巨大なオブジェクトを扱う計算はさすがに早い)。並列処理用にRコードを書くのは面倒そうなので、これまで宝の持ち腐れ状態でしたが、最近 snow パッケージを使うと、面倒無しにRで並列計算ができることを知り、やっと使ってみる気になりました。ということで、勉強
Home | Hypertable - Big Data. Big Performance
Big Data. Big Performance. Hypertable delivers scalable database capacity at maximum performance to speed up your big data application and reduce your hardware footprint. 100% Hadoop Compatible Hypertable seamlessly overlays on top of Hadoop to provide supercharged scalable database infastructure for your big data application. Less Hardware, Lower Cost Hypertable delivers maximum efficiency and su
Welcome to Apache™ Hadoop™!
Apache Hadoop The Apache® Hadoop® project develops open-source software for reliable, scalable, distributed computing. The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. It is designed to scale up from single servers to thousands of machines, each offering local computation an
Msato's lecture notes
講義ノート プログラミング言語処理 (情報学類、平成20年度、2学期 、火曜日 1、2 時限) バックナンバー： 機械語序論 (情報学類、平成18年度、3学期 、火曜日 1, 2時限)[佐藤担当は後半] プログラミング入門II 講義 資料 (情報学類、平成18年度、3学期、月曜日 5, 6時限) プログラミング環境特論 (システム情報工学研究科、平成19年度)[佐藤、建部] プログラミング言語処理 (情報学類、平成19年度、2学期 、火曜日 1、2 時限) プログラミング環境特論 (システム情報工学研究科、平成18年度) 機械語序論 (情報学類、平成18年度、3学期 、火曜日 1、2 時限) プログラミング入門I 講義 資料 (情報学類、平成18年度、2学期、木曜日 １、２時限) プログラミング言語処理 (情報学類、平成18年度、2学期 、火曜日 1、2 時限) 総合科目「I
グーグル、無限への挑戦：日経ビジネスオンライン
気になる記事をスクラップできます。保存した記事は、マイページでスマホ、タブレットからでもご確認頂けます。※会員限定 無料会員登録 詳細 ｜ ログイン Stephen Baker （BusinessWeek誌シニアライター、ニューヨーク） 米国時間2007年12月13日更新 「Google and the Wisdom of Clouds」 「データ量が今の1000倍になったとしたら、君ならどうする？」 この質問をされると、それまで自信満々で入社面接に臨んでいた若者はしどろもどろになってしまう。 今や超難関、米グーグル（GOOG）の採用面接でのひとコマである。質問を投げかけるのは、上級ソフトウエアエンジニアのクリストフ・ビシグリア氏（27歳）。ほっそりとした体格と、ウエーブのかかった長髪のビシグリア氏が試しているのは、目の前にいる大学生が「グーグラー（グーグル社員）」流の発想法について来られ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Redirecting...
生きあたりまったりブログ
「実現したいことを計算機の問題に置き換えることが『技術力』」、伊藤CTOが“はてな流”大規模データ処理の極意を語る：CodeZine
Hadoop、hBaseで構築する大規模分散データ処理システム
mixi Engineers’ Blog javascript
Scientific Computing Associates