いま再注目の分散処理技術
実運用の障害対応時間比較に見る、ログ管理基盤の効果 （2017/5/9） ログ基盤の構築方法や利用方法、実際の案件で使ったときの事例などを紹介する連載。今回は、実案件を事例とし、ログ管理基盤の有用性を、障害対応時間比較も交えて紹介 Chatwork、LINE、Netflixが進めるリアクティブシステムとは何か （2017/4/27） 「リアクティブ」に関連する幾つかの用語について解説し、リアクティブシステムを実現するためのライブラリを紹介します Fluentd＋Elasticsearch＋Kibanaで作るログ基盤の概要と構築方法 （2017/4/6） ログ基盤を実現するFluentd＋Elasticsearch＋Kibanaについて、構築方法や利用方法、実際の案件で使ったときの事例などを紹介する連載。初回は、ログ基盤の構築、利用方法について プログラミングとビルド、Androidアプリ開
そのソフト，売る？売らない？
「Googleの凄さは，Failure-oblivious computing（エラー忘却型コンピューティング）のような新しい概念を，世界で初めて大規模に取り入れていることだと思います」－－そう語るのは，楽天技術研究所の森正弥所長。4月に始めたクラウド・コンピューティングの取材も，随分と遠いところまで来たな－－と筆者は思わずにはいられなかった。 エラー忘却型コンピューティング（failure-oblivious computing）とは，米Massachusetts Institute of Technology（MIT）のMartin Rinard氏らが提唱した概念（Rinard氏らの論文）。メモリーに何らかのエラーが発生したとしても，プログラムの処理を停止するのではなく，エラーを無視して処理を継続するという考え方だ。楽天技術研究所の森氏は，こう例えながら説明する。 データをキーと値（V
アマゾン、「Hadoop」を利用した「Amazon Elastic MapReduce」のベータサービスを開始
Amazonの子会社Amazon Web Services（AWS）は米国時間4月2日、オープンソースのソフトウェアフレームワーク「Hadoop」を利用して大量のデータ解析を行う、新たなクラウドコンピューティングのベータサービスを開始した。 「Amazon Elastic MapReduce」と呼ばれるこのサービスは、集中的なデータ処理を必要とする企業、研究者、アナリストを対象に開発された（発表資料）。HadoopはYahooなどの企業も採用しているが、Clouderaなどの新興企業はHadoopを企業データセンターとして利用するためのサービスを提供している。 Amazon Elastic MapReduceは、同社の「Elastic Compute Cloud」（EC2）および「Simple Storage Service」（S3）上でHadoopを稼働させる。顧客はAmazon Ela
Groovin' High:map reduceで感じる未来 - livedoor Blog（ブログ）
「しらなーい」って人に、何人か会ったので、ちょっと解説しながら話をすすめます。 いつも大量のデータを処理しているGoogleが、「バックエンドでこんなことやって効果を上げてます。」という論文を2004年に発表した。 そこに書かれているのは、分散処理のためのデザインパターン「MapReduce」。 大量データをいくつかの単位に分割して、キーと値に分割する処理（Map）と、それを集計する処理（Reduce）に分ける事で、処理単位同士の関連性を希薄化し、その結果分散並列処理を可能にする。というもの。 このデザインパターンを実装したオープンソース製品が、世界中にうじゃうじゃあるんだけど、一番有名なのが、Javaで実装された「Hadoop」。 Javaで実装されてるから、Javaで利用すればいいんだけど、こいつにはstreamingという機能も搭載されていて、他の言語でもMapReduceを実装でき
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Internet Evolution - Ron Miller - Developers Pile On After Jobs Android Attack
複数マシンへHadoopをインストールする
Hadoopの解析資料
