第9回 データ処理における性能の見積り | gihyo.jp
はじめに 前回は、ハッシュ結合における具体的な並列化方法を説明しました。今回は、これまで説明してきたアルゴリズムの性能を定量的に見積ってみます。 データ処理性能の見積り これまで、第6回では、選択処理のアルゴリズムとしてスキャン（Scan）と索引スキャン（Index Scan）について、第7回と第8回では、結合処理のアルゴリズムとしてソートマージ結合とハッシュ結合について、それらの並列化方法を説明してきました[1]。ここでは、それらのデータ処理の性能を定量的に見積り、すなわち、当該アルゴリズムの複雑さ（計算量）や処理量を数値化し、それらを比較してみようと思います。 まずは、前提条件を整理しておきます。 RとSの2つのデータが存在 R、Sは複数の計算機に均等に分割されており、各計算機においてはN個のレコード（タプル）から構成 R、Sのそれぞれのレコードのサイズ（RecordSize）は同一
シェアリングエコノミー：新しい形の消費モデル デザイン会社 ビートラックス: ブログ
シェアリングエコノミーとはサービス・人材・プロダクトの共有することによるビジネスの一種である。日本語では、共同消費や協調的消費と訳される。この市場で提供されるサービスの大半が、有形もしくは無形のものを共有し、利用者に必要な時に、それを利用してもらうビジネス形態が一般的だ。 これまで、ものの共有は家族、友人など限られた人間関係やコミュニティーにおいて行われていたものが、利益を生み出すビジネスモデルへと変化した。このビジネス形態が生まれた大きな要因がインターネットの存在だ。インターネットの発達により、人と人、人ともの、所有者と利用者を結びつけることが容易になった。 さらに、インターネットの恩恵により、情報、もの、人材の管理・運用がコスト削減に寄与し、今までビジネスモデルとして実現が難しかったものが可能になった。これらが大きな影響を与えたのではないだろうか。 シェアリングエコノミーを利用したサー
GitHub - fatih/vim-go: Go development plugin for Vim
This plugin adds Go language support for Vim, with the following main features: Compile your package with :GoBuild, install it with :GoInstall or test it with :GoTest. Run a single test with :GoTestFunc). Quickly execute your current file(s) with :GoRun. Improved syntax highlighting and folding. Debug programs with integrated delve support with :GoDebugStart. Completion and many other features sup
KubernetesとOpenShiftの話
第24回 PaaS勉強会で発表した資料です http://paas.connpass.com/event/10872/Read less
第8回 データ処理における並列アルゴリズム［3］ | gihyo.jp
はじめに 前回は、結合処理の並列化における基本戦略について説明し、ソートマージ結合における具体的な並列アルゴリズムを説明しました。今回は、ImpalaやPrestoに加えて、Apache SparkやHadoop MapReduceのMap Joinにおいても用いられているハッシュ結合における具体的な並列アルゴリズムを説明します。 ハッシュ結合における並列アルゴリズム ハッシュ結合は、2つのデータにおいて同一の属性値をもつレコードを見つける方法として、レコードのハッシュ値を用いるものです[1]。すなわち、当該方法においては、一方のデータのすべてのレコードの結合キーに対してハッシュ関数を用いてハッシュ値を計算し、当該ハッシュ値からなるハッシュ表を事前に構築しておき、他方のデータのレコードの結合キーに対して同一のハッシュ関数から得られたハッシュ値を用いてハッシュ表を参照することにより、同一の
CMSY10
Gray Computing: An Analysis of Computing with Background JavaScript Tasks Yao Pan, Jules White Vanderbilt University USA {yao.pan, jules.white}@vanderbilt.edu Yu Sun California State Polytechnic University, Pomona USA yusun@cpp.edu Jeff Gray University of Alabama USA gray@cs.ua.edu Abstract—Websites routinely distribute small amounts of work to visitors’ browsers in order to validate forms, render
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://qiita.com/nyarla/items/ba3f05c7c2c7bd6490e8
Distributed Transactions and Scalability Issues in Large-scale Distributed Systems - Ivan Voroshilin’s Blog.
Paper: Consensus Protocols: Two-Phase Commit - High Scalability -
Two-phase commit: availability, scalability and performance issues
http://www.symform.com/how-it-works/features/
はてなブログ | 無料ブログを作成しよう
NAS Market to Reach $7.0 Billion by 2017
Cloud Storage Industry worth $234.9 billion by 2028
lecture17.PDF
次世代非集権型インターネット MaidSafe とは何か? - Qiita
http://www.cs.cmu.edu/~srini/15-446/S09/lectures/10-consistency.pdf
http://www.cs.umd.edu/class/spring2009/cmsc724/aries.pdf
softwareengi.com
Using Parallel Execution