米Twitterなどでも利用されているクラスタマネージャ「Apache Mesos」、ApacheのTLPに昇格 | OSDN Magazine
非営利団体のApache Software Foundation（ASF）は7月24日、クラスタ管理ソフトウェア「Apache Mesos」をトップレベルプロジェクト（TLP）に昇格したことを発表した。米Twitterやカリフォルニア大学で使われているクラスタ管理ツールで、分散環境でリソースの分離と共有を効率よく行うことができるという。 Apache Mesosはカリフォルニア大学バークレー校の研究機関AMPLabのプロジェクトを起源とし、データセンターでのリソースの共有/隔離を管理する技術として開発された。アプリケーションとプールされたサーバー間の抽出レイヤとして動作し、分散環境でジョブの実行を最適化できる。これにより、無駄なクラスタの作成を防ぐという。 1万台のノードにも対応し、ZooKeeperを利用したフォールトトレランス、マルチリソーススケジューリング、Webベースの管理UI、J
MapReduce - naoyaのはてなダイアリー
"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。 MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapReduce の計算モデル map() にはその計算問題のデータとしての key-value ペアが次々に渡ってきます。map() では key-value 値のペアを異なる複数の key-value ペアに変換します。reduce() には、map() で作った key-value ペアを同一の key で束ねたものが順番に渡ってきます。その key-values ペアを任意の形式に変換すること
Hadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、地域サービス事業部の吉田一星です。 今回は、Hadoopについて、Yahoo! JAPANでの実際の使用例を交えながら書きたいと思います。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 複数のマシンへの分散処理は、プロセス間通信や、障害時への対応などを考えなければならず、プログラマにとって敷居が高いものですが、 Hadoopはそういった面倒くさい分散処理を一手に引き受けてくれます。 1台では処理にかなり時間がかかるような大量のデータも、複数マシンに分散させることで、驚くべきスピードで処理を行うことができます。 例えば、今まで1台でやっていた、あるログ集計処理
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
