タグ

hadoopとクラウドに関するkimimasaのブックマーク (3)

  • いま再注目の分散処理技術

    実運用の障害対応時間比較に見る、ログ管理基盤の効果 (2017/5/9) ログ基盤の構築方法や利用方法、実際の案件で使ったときの事例などを紹介する連載。今回は、実案件を事例とし、ログ管理基盤の有用性を、障害対応時間比較も交えて紹介 Chatwork、LINENetflixが進めるリアクティブシステムとは何か (2017/4/27) 「リアクティブ」に関連する幾つかの用語について解説し、リアクティブシステムを実現するためのライブラリを紹介します Fluentd+Elasticsearch+Kibanaで作るログ基盤の概要と構築方法 (2017/4/6) ログ基盤を実現するFluentd+Elasticsearch+Kibanaについて、構築方法や利用方法、実際の案件で使ったときの事例などを紹介する連載。初回は、ログ基盤の構築、利用方法について プログラミングとビルド、Androidアプリ開

  • そのソフト,売る?売らない?

    Googleの凄さは,Failure-oblivious computing(エラー忘却型コンピューティング)のような新しい概念を,世界で初めて大規模に取り入れていることだと思います」--そう語るのは,楽天技術研究所の森正弥所長。4月に始めたクラウド・コンピューティングの取材も,随分と遠いところまで来たな--と筆者は思わずにはいられなかった。 エラー忘却型コンピューティング(failure-oblivious computing)とは,米Massachusetts Institute of Technology(MIT)のMartin Rinard氏らが提唱した概念(Rinard氏らの論文)。メモリーに何らかのエラーが発生したとしても,プログラムの処理を停止するのではなく,エラーを無視して処理を継続するという考え方だ。楽天技術研究所の森氏は,こう例えながら説明する。 データをキーと値(V

    そのソフト,売る?売らない?
  • Groovin' High:map reduceで感じる未来 - livedoor Blog(ブログ)

    「しらなーい」って人に、何人か会ったので、ちょっと解説しながら話をすすめます。 いつも大量のデータを処理しているGoogleが、「バックエンドでこんなことやって効果を上げてます。」という論文を2004年に発表した。 そこに書かれているのは、分散処理のためのデザインパターン「MapReduce」。 大量データをいくつかの単位に分割して、キーと値に分割する処理(Map)と、それを集計する処理(Reduce)に分ける事で、処理単位同士の関連性を希薄化し、その結果分散並列処理を可能にする。というもの。 このデザインパターンを実装したオープンソース製品が、世界中にうじゃうじゃあるんだけど、一番有名なのが、Javaで実装された「Hadoop」。 Javaで実装されてるから、Javaで利用すればいいんだけど、こいつにはstreamingという機能も搭載されていて、他の言語でもMapReduceを実装でき

  • 1