Mapreduce2.0 - 急がば回れ、選ぶなら近道
次世代Hadoopの開発が進んでいる。現状の推移では、少なくとも分散クラウドでの「OSSインフラ」としてはHadoopが最有力候補であることは間違いない。クラウド上での分散処理基盤での技術競争ではGoogleやAmazonが相当抜きんでいる現在、それに対抗しうる可能性があるOSSはHadoopの潮流の延長線上にしか考えられない。その形としてHadoop-MapReduce2.0があるように見える。現在の状態で自分なりの次世代Hadoopの理解をまとめておく。基本的に全部は見切れていないので、そのあたりはあしからず。基本的に次世代Hadoopの仕組みは大きく二つの要素からなる 現在のところの柱はHDFSとMapreduce2.0の二つだ。 まずMapReduce。これは従来の「MapReduce」というものからはほど遠い。むしろ「任意」の分散処理実行フレームワークにたいして、適切なリソースを
ブータン公務員だより：日経ビジネスオンライン
このコラムについて ブータンを「夢の国」として扱うわけでもなく、また「幸せの国と言っているけれど、こんなに課題があるではないか！」とあら探しをするわけでもない。「多くの課題を抱えながら、『国民の幸せ』を最大化することを目指すブータン政府の国づくりの知恵」「いやなことだってあるけれど、『結局は、幸せだよね』と言ってしまうブータンの人々の幸せ上手に生きる知恵」を紹介する 記事一覧 記事一覧 2011年8月25日 ブータン的である、ということ 【最終回】ビジョン、リーダー、そしてコミュニティ いつもたくさんの示唆に富むコメントをいただき、どうもありがとうございます。6月中旬にこの連載を始めてから、早いものでもう10回目となりました。そして、実は今回が最終回です。 2011年8月18日 バブルの背景「快楽主義」は悪いことか 異性へモノへ、走る走る。最後は家族、友人と支え合う バブル的消費行動に駆り
藤沢数希の英語本セレクション : 金融日記
移民とか海外移住のはなしをこの前ちょっこっと書いたので、今日は英語の本の話でもしましょうか。 英語は世界の共通語で、外国人同士が出会ったらとりあえず英語で会話することになっています。 世界の唯一のデフォルトの言葉です。 未来永劫この事は変わらないでしょう。 さて、英語のはなしです。 正直言って僕はもう何年も英語「の」勉強をしたことがありません。 しかし、毎日英語「で」仕事をしています。 もちろん僕は日本語が母国語で、英語は大人になってから後天的に身につけた外国語ですから、受験勉強等を通して最初は英語「を」勉強していたわけです。 はるか昔のことなのですが、その時とても役にたった本がいろいろありました。 このまえ本屋に行った時、そのどれもがまだ売られていることに気付きました。 やっぱり僕がいいと思ったものは他の人もいいと思っているんですね。 とんでもないロングセラーで本の後ろを見ると恐ろしいほ
「メタクラウドAPI」がオープンソースで登場
カリフォルニアで先週開催されたオープンソースのイベント「OSCON 2009」で、Amazon EC2、Rackspace Cloud Servers、Slicehost、GoGridなど複数のクラウドサービスを1つのAPIで利用できるオープンソースのライブラリが発表されました。「libcloud」と呼ばれ、スタートアップのCloudkickが開発中です。The Registerが、記事「Open source API dreams of The Meta Cloud」で報じています。 libcloudを発表した同社のブログでは、このオープンソースソフトウェアを次のように説明しています。 libcloud is a unified software interface for working with services like Amazon EC2 or Rackspace Cloud
Les sources de l'information
Découvrez comment exploiter pleinement les capacités de votre iPhone grâce à ce guide exhaustif. De l’accès rapide aux informations via Apple News et les widgets, à la personnalisation de vos communications avec Messages et Facetime, en passant par l’optimisation de votre appareil avec des réglages précis, ce tour d’horizon vous offre toutes les clés pour enrichir votre expérience utilisateur. App
クラウド・コンピューティングが企業のビジネスを成功へ導く TOP
「イニシャルコスト削減」「柔軟性・拡張性の確保」「運用管理の負担軽減」といった効果を期待され，情報システムの様々な課題を解消するものとして注目を集めるクラウド・コンピューティング。今年2月，東京・港区の品川プリンスホテルで「クラウド・コンピューティング フォーラム」が開催された。フォーラムでは，クラウド・コンピューティングをめぐる最新動向や適用事例，有力IT企業提供のソリューションなどが紹介された。
基礎からはじめるPython---目次
オブジェクト指向スクリプト言語であるPythonは，日常の作業に利用するちょっとしたスクリプトから，商用サイトや大規模Webシステムまで幅広く適用できる非常に便利なプログラミング言語です。日本ではあまり認知度は高くありませんが，欧米を中心に幅広く利用されており，米Googleなどの有名企業でも採用されています。 この特集では，プログラミング言語Pythonの魅力と使い方を説明します。特にこれからPythonをはじめようというビギナーの方に，とっかかりとなる言語の基礎と導入方法を説明します。 第1回 気軽にPythonを始めよう 第2回 データベース・プログラミングも簡単 第3回 スクレイピングにチャレンジ！ 第4回 Google App EngineでPythonプログラムを公開してみる 第5回 GoogleAppEngineでMVCアプリケーションを作成する 第6回 Djangoフレーム
Apache CouchDB
Data Where You Need It Apache CouchDB ™ lets you access your data where you need it. The Couch Replication Protocol is implemented in a variety of projects and products that span every imaginable computing environment from globally distributed server-clusters, over mobile phones to web browsers. Store your data safely, on your own servers, or with any leading cloud provider. Your web- and native a
MapReduce - naoyaのはてなダイアリー
"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。 MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapReduce の計算モデル map() にはその計算問題のデータとしての key-value ペアが次々に渡ってきます。map() では key-value 値のペアを異なる複数の key-value ペアに変換します。reduce() には、map() で作った key-value ペアを同一の key で束ねたものが順番に渡ってきます。その key-values ペアを任意の形式に変換すること
ITpro SPECIAL - SaaSが透過する「日本IT界の脆弱性」見えてきた課題をいかに克服するか
SaaSに代表されるITシステムのサービス化がグローバル規模で進展するなか，日本は欧米に比べ早くも後れを取っている。本サイトでは， SaaS時代を見据えた際に見えてくる日本IT界の現状の課題を指摘するとともに，それを克服するための解決策を探っていく。 企業システムにおいても、SaaSは着実に浸透しつつある。SaaS市場の拡大を後押ししているのが、顧客ニーズとインフラの進化、ITプロバイダーの積極的な取り組みである。これらの追い風を受けて、SaaSの機能はますます拡充され、より使いやすいサービスへと進化している。では、企業はSaaSを取り入れることで、どのようなメリットを享受することができるのだろうか。また、その際に注意すべきポイントも含めて、SaaSの現状と可能性について考えてみたい。
Bigtable: A Distributed Storage System for Structured Data - steps to phantasien t(2006-09-11)
2006-09-11 近況 今月は貧乏なので慎しく暮らしている. 週末もひきこもりとしてオンラインの記事を読んで過ごすことに. ウェブを眺めているといいタイミングで Google の新作論文が出ていた. ありがとう, Google の中の人. これ. GFS, MapReduce, Sawzall とつづく Google インフラ N 部作の 4 章が幕をあげた. 実はデータベースも作ってるんだぜ, という話. BigTable という名前だけは以前から O'Reilly Radar などに登場していた. ようやく公式な文書があらわれた. BigTable は GFS をはじめとする Google インフラの上に作られた分散データベース. 少し変わったデータモデルと, 運用までワンセットのヘビーな実装を持つ. 実装の話もまあ面白いんだけれど, それよりデータモデルが印象的だった. 先にその
テクノロジー : 日経電子版
電通、三菱UFJ信託銀行など大手企業が相次ぎ参入を表明する「情報銀行」。ここに挑むベンチャー企業がDataSign（東京・渋谷）だ。同社の太田祐一社長は情報銀行という言葉が生まれる…続き 中部電力が「情報銀行」参入へ 電力データを活用 ［有料会員限定］ 「情報銀行」説明会に２００社 データ流通の枠組み始動
Google Architecture - High Scalability -
Update 2: Sorting 1 PB with MapReduce. PB is not peanut-butter-and-jelly misspelled. It's 1 petabyte or 1000 terabytes or 1,000,000 gigabytes. It took six hours and two minutes to sort 1PB (10 trillion 100-byte records) on 4,000 computers and the results were replicated thrice on 48,000 disks. Update: Greg Linden points to a new Google article MapReduce: simplified data processing on large cluster
サーバサイドJavaScriptフレームワーク·Helma MOONGIFT
Ajaxの隆盛もあって、JavaScriptが見直されている。そして、クライアントサイドのみならず、サーバサイドでもJavaScriptを使おうと言う動きすらある。 Javaが好きでサーバサイドJavaScriptに興味がある方はこちらを試してみてはどうだろう。 今回紹介するオープンソース・ソフトウェアはHelma、サーバサイドJavaScriptフレームワークだ。 Helmaは一からサーバサイドJavaScriptを作り上げている訳ではない。JavaによるJavaScript実装であるRhinoと、HTTPサーバであるJettyを組み合わせている。 JavaScriptながら、データベースへ接続する事ができる（ドライバはJavaのものを利用）。サンプルアプリケーションとしてデバッガーや、Shellライクに動作するものが付属する。 同じJavaScriptとは言っても、クライアントサイドと
Design works｜新デザインオンラインカジノ 日本語対応
Design Works - デザインワークス姉妹ブログ・DesignDevelopのデザインをリニューアルいたしました。 Designworksの新ドメインでの運用・リニューアルのご報告はさせて頂きましたが、Designworksのリニューアルとともに、姉妹ブログとして運用しているDesignDevelopのデザインも、大幅にリニューアルいたしました!!! Design Worksは、様々な商品やインスピレーションから生まれた新しいデザインを発信し、販売促進に繋げる広告やデザインを作り出しています。大幅にリニューアルしたDesign Worksでは、オンラインカジノ 日本語対応のデザインなど、オンラインの新たな分野にも活動を広げています。最新のH P新デザインとなった姉妹サイトブログのDesign Developと共に、今後もウェブデザインに関する様々な情報をお届けしていきます。 今回、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本IBM、管理者のクレジットカード番号参照も禁止できるデータベース保護システム：ITpro
ログイン画面
Build and implement a single sign-on solution
Amazon.co.jp: クラウドを実現する技術: 米持幸寿: 本
保守担当者だって夜はぐっすり眠りたい！～後任者への引き継ぎのためにまとめておくべき6つの情報
