分散システム処理モデルに関する動向について（MapReduceからBorgまで）
詳細については後述しますが、MapReduceの処理モデルは、上記の通り各区分ごとにそれぞれ単純化（限定）されたモデルであったと言えます。 また、MapReduceの関数プログラミングおよびグラフ的な特徴も合わせて以下に整理してみます。 関数プログラミング的な特徴 MapおよびReduceフェーズは、それぞれ関数型プログラミングのMapおよびReduce処理をモデル化したものです。MapReduceは、参照透過性がある純粋な関数処理と言えます。参照透過性とは入力により出力が一意に決まる性質のことです。言い換えればMapReduceの処理は、大域などの処理に影響する外部の環境は持たず、内部的にも静的な一時変数などの状態も持たないことを意味します。 純粋な関数処理は複数の処理が同時に実行されても他の並列に動作している処理の状態には左右されないため、この参照透過性は並列化に向いている性質がありま
データベース アーキテクチャーの動向と使い分け
QConTokyo ( http://www.qcontokyo.com/KotaUENISHI_2015.html ) の発表スライド
CoreOS が提供してくれるもの - Qiita
CoreOS の提供してくれる etcd と fleet を少し触って見たのでまとめることにします。 あんまり頑張って CoreOS のドキュメントを読んでいないので理解に間違いがある可能性があるので、編集リクエスト大歓迎です。 詳細なエントリー @mopemope が書いてくれています。詳細に知りたい方はコチラを読むと良いです。 入門と書いてある割にまったく入門ではないので注意。 CoreOS 入門 - Qiita CoreOS は Docker を提供してくれる便利 OS というイメージが広まってますが、それはあまり適切ではありません。 CoreOS はクラスター機能を持っているモダンな Linux です。もちろん Docker も入っていますが、それはベースの一つというだけです。Docker を使うだけなら Ubuntu に Docker をインストールして使う方が良いでしょう。 C
管理が困難―分散処理の常識はZooKeeperで変わる
管理が困難―分散処理の常識はZooKeeperで変わる：ビッグデータ処理の常識をJavaで身につける（8）（1/3 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 分散処理の課題が「管理」なのは常識 複数の計算機上で動作（分散）するアプリケーション、ソフトウェアが多く存在します。分散ソフトウェアは複数の計算機で動作することで大量のデータを扱えたり、高負荷な状況に対処します。本稿では、複数の計算機（クラスタ）で動作する各サーバを「インスタンス」と呼びます。 本連載で紹介した分散Key-Valueデータベースである「HBase」は複数の計算機で動作する代表的なソフトウェアです。両ソフトウェアはともに「Apache ZooKeeper」（以下、Z
Berkeley Open Infrastructure for Network Computing - Wikipedia
Berkeley Open Infrastructure for Network Computing（バークレー・オープン・インフラストラクチャ・フォー・ネットワーク・コンピューティング）、略称 BOINC（ボインク、発音 [bɔɪŋk][2]）は、ボランティア・コンピューティングとグリッド・コンピューティングのためのオープンソースのミドルウェア・システムである。もともとはSETI@homeプロジェクト（2020年3月31日終了）をサポートするために開発されたが、数学、言語学、医学、分子生物学、気候学、環境科学、宇宙物理学などの多様な分野で、他の分散アプリケーションのためのプラットフォームとして一般化された[3]。BOINCは、研究者が世界中の複数のパーソナルコンピュータの膨大な処理資源（英語版）を利用できるようにすることを目的としている。 BOINCの開発は、カリフォルニア大学バークレー
Jubatusを公開しました - Preferred Networks Research & Development
先日、NTTと共同研究開発したJubatusを公開しました。 OSSで公開されてますので、興味がある方は使ってみるなり、ソースコードを眺めるなり、できればプロジェクトに参加していただけたらと思います。 Jubatus（ユバタス）は、大規模分散上でリアルタイムで機械学習を行うためのフレームワークです。 このプロジェクトは元々、機械学習やデータ解析が好きなPFIと、ネットワークやシステム運用実績が豊富で技術力があるNTT情報流通プラットフォーム研究所と組んで何かできないかということで始めました。 「大規模分散」＋「リアルタイム」＋「深い解析」という三つの特徴を持った上でデータを分析するためにどのようなアーキテクチャが考えられて、その上でどのような解析ができるのかというのを日々試行錯誤して作っています。 今回はリリース第１段ということで、手法としては分類（教師有学習の多クラス分類）に絞ってOSS
マイクロソフトのHadoop対抗技術「Dryad」、いよいよ始動か？
大規模分散処理のフレームワークとしてグーグルが開発したMapReduce処理や、そのオープンソース実装であるHadoopが急成長し、ビジネスの分野での商業利用が立ち上がり始めていることは、Publickeyでも何度か記事で紹介してきました。 Hadoopを表計算のように使える「InfoSphere BigInsights」、IBMが発表 グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作 Hadoopは企業のための新たな情報分析プラットフォームとなる、とCloudera グーグルがBigQueryの開始を発表し、IBMも大規模処理のエンジンとしてHadoopを採用、AmazonクラウドでもHadoop処理を行う「Amazon Elastic MapReduce」サービスを提供していることから分かるように、Hadoopはクラウドでの大規模
Paxosアルゴリズム - Wikipedia
Paxosとは信頼性が低いプロセッサのネットワークにおいて合意の問題を解決するためのプロトコルの集合である。 合意とは参加者のグループにおいて単一の結果について合意を得るプロセスである。参加者や通信手法に障害が起きる可能性がある場合、この問題は困難なものとなる[1]。 合意プロトコルは分散コンピューティングにおける状態機械アプローチの基礎であり、これはレスリー・ランポート[2]により提案され、Fred Schneiderによってサーベイがなされている[3]。 Paxosプロトコルは1990年に登場し命名されたが、論文として出版されたのは1998年であった[4]。 これ以前に、ナンシー・リンチ、Cynthia Dwork、Larry Stockmeyerは"部分同期"システムの広い範囲における合意形成方法を例証している。Paxosは分散トランザクションの文脈において、1988年にOkiとBa
MapReduce - Wikipedia
MapReduce（マップリデュース）は、コンピュータ機器のクラスター上での巨大なデータセットに対する分散コンピューティングを支援する目的で、Googleによって2004年に導入されたプログラミングモデルである。 このフレームワークは関数型言語でよく使われるMap関数とReduce関数からヒントを得て作られているが、フレームワークにおけるそれらの用いられ方は元々のものと同じではない。 MapReduceのライブラリ群は、C++、C#、Erlang、Java、OCaml、Perl、Python、PHP、Ruby、F#、R言語、MATLAB等のプログラミング言語で実装されている。 MapReduceは巨大なデータセットを持つ高度に並列可能な問題に対して、多数のコンピュータ（ノード）の集合であるクラスター（各ノードが同じハードウェア構成を持つ場合）もしくはグリッド（各ノードが違うハードウェア構成
Apache Hadoop - Wikipedia
Apache Hadoopは大規模データの分散処理を支えるオープンソースのソフトウェアフレームワークであり、Javaで書かれている。Hadoopはアプリケーションが数千ノードおよびペタバイト級のデータを処理することを可能としている。HadoopはGoogleのMapReduceおよびGoogle File System(GFS)論文に触発されたものである。 HadoopはApacheのトップレベルプロジェクトの1つであり、世界規模の開発貢献者コミュニティによって開発され、使用されている。[2] Hadoopは、以下の4つのモジュールによって構成されている。 Hadoop Common: 他のモジュールから共通して利用されるライブラリ群。 Hadoop Distributed File System (HDFS): Hadoop独自の分散ファイルシステム。 Hadoop YARN: Hado
Rubyで分散オブジェクト (dRuby) | Netsphere Laboratories
(2002.04.27 加筆。) ネットワーク越しにオブジェクト（のメソッド）を呼び出せる分散オブジェクト技術。pure Rubyな実装であるdRubyで遊んでみる。 I like Ruby. 何が嬉しいの？ スタンドアロン・プログラム 分散オブジェクト化する オブジェクトをやり取りする ひとつのサーバーで複数のリモートオブジェクト オブジェクトサーバーを分散させる 何が嬉しいの？ 一つのプロセス内だとオブジェクトを操作するのは単にメソッドを呼び出すだけ。プロセスを跨ごうとすると，とたんにソケットだの何だのと，オブジェクトを分解して送信し，受信したら再びオブジェクトに復元しないといけなくなる。ネットワークの先にあるオブジェクトに直接アクセスできたらいいのに，と思う。これができるのが分散オブジェクトの嬉しさ。 分散オブジェクトの構図を図にするとこんな感じ。 [クライアント] [オブジェクト実
node.js vs Erlang (ネタ) - kuenishi's blog
ついぞ最近node.jsなんてのがでて、繁華街のあちこちでチヤホヤされてる。そんなときに、モヒカン族Erlang村(erlang-questions)に「node.jsってどうなの？」的燃料が投下されたわけですよ。これは炎上しそうだ…と追いかけてたら、ネタどころか案外真面目なハナシばっかりだったのですが。まずは真面目に問いかけをする純朴な成年（想像）。 「Erlang好きだし使ってるんだけど、Erlangとnode.jsてそれぞれどういうジャンルがすごいの？RabbitMQとかejabberdみたいなのつくろうとしたらどうなるの？簡単なチャットサーバーつくるくらうならnode.jsのが断然簡単だよね？分散システムで使うなら断然違うとか？ Ulf Wigerによると、ブロックする関数の問題を簡単に解決してくれるとか書いてあるみたいだけど (link)」 おっお。素直な質問。これはみんな釣られ
2004-06-06
タカナシさんへ(でしたよね？)． 写真をお送りしますので，koichik at improvement.jp までご連絡ください． ただしですね，スタラジOFFでの写真をお送りすることは出来ません．メモリカードのリーダーをスターロジックの事務所に忘れてきてしまったのです．．． 心より恥じる． 無事帰ってきました． 中央線でうとうとしてしまい，気が付いたら新宿に着いていてドアが開いていました．ダッシュで降りてどうにか乗り過ごさずに済みました．あわや，高井さんの二の舞になってしまうところでした．(^^; ともあれ，スターロジックの皆様，どうもありがとうございました． 参加者の皆様，チャットに参加の皆様，リスナーの皆様，お疲れ様でした． さて，寝ますか．．． うーみゅ，なかなか厳しいご意見もあるようで．．． 2chよりS/N比が低いとは．．． 心より恥じる． っていうかですね，今回のイベントのタ
ビザンチン将軍問題 - Wikipedia
ビザンチン将軍問題（ビザンチンしょうぐんもんだい、英語: Byzantine Generals Problem）とは、相互に通信しあう何らかのオブジェクト群において、通信および個々のオブジェクトが故障または故意によって偽の情報を伝達する可能性がある場合に、全体として正しい合意を形成できるかを問う問題である[1]。フォールトトレラントシステムでの多数決の妥当性や分散コンピューティングの処理の妥当性に関わる問題と言え、二人の将軍問題を一般化したものと言える。 ビザンチン将軍問題に帰結される故障や障害をビザンチン故障（Byzantine Failure、あるいはビザンチン障害）と呼ぶ。また、ビザンチン将軍問題が発生しても全体として正しく動作するシステムをビザンチン・フォールトトレラント性（Byzantine Fault Tolerance）があるという。 ビザンチン将軍問題は、東ローマ帝国（ビザ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://qiita.com/nyarla/items/ba3f05c7c2c7bd6490e8
ChordアルゴリズムによるDHT入門