第6回 データ処理における並列アルゴリズム［1］ | gihyo.jp
はじめに 前回は、データ処理における並列性について説明しました。今回からは数回に渡って、当該データ処理における具体的な並列アルゴリズムについて説明します。まずはその準備として、並列システムの性能指標について見ていきます。 並列システムや並列アルゴリズムにおける性能指標 並列システムや並列アルゴリズムを評価する場合においては、スケーラビリティ（Scalability）という指標が用いられることがあります。スケーラビリティは、仕事量や計算資源などが増加したときの処理能力や性能特性を表すものであり、データ処理におけるスケーラビリティの指標は次の2つに分類することができます。 スピードアップ（Speed-up） スケールアップ（Scale-up） スピードアップは、あるジョブを処理する場合において、当該ジョブを処理する計算機などの計算資源を増やしたときに、当該ジョブの処理するための時間がどの程度低
cf7e8b0ecd3ceb9eb74826803c65514b
筆者：齊藤貴義 福島県相馬市在住。Webエンジニア・インフラエンジニア・データアナリスト・作家。ニックネームはサイバーメガネ。お仕事のご依頼は saito@geek.sc までお気軽にどうぞ。 職歴：メディカルネット→ティーカップ→丸紅情報システムズ→インフォバーン→feedpath→オールアバウト→手嶋屋→ライブドア（livedoor Reader）→enish→フルスピード→起業, etc. 相馬高校理数科出身。高校生クイズ全国大会出場。大学は雄弁会（全関ディベートリーグ準優勝）。openSUSE Linuxユーザー会。バツイチ。 ■単著 インプレスR&D『スクレイピング・ハッキング・ラボ』 ■共著 『Wizard Bible事件から考えるサイバーセキュリティ』 運営サイト はてな村定点観測所 相馬灯 ミライハック サークルメンバーのサイト Security Akademeia ハイヤ
日立がCOBOLデータ向けHadoopアプライアンス
日立製作所は2013年10月15日、COBOLデータをOSSの分散処理ソフト「Apache Hadoop」で活用する「かんたんHadoopソリューション for COBOL基幹データ活用」を、10月17日に販売開始すると発表した（写真）。取引履歴や販売実績など、基幹系のビッグデータ分析が主なターゲットである。 同社のブレードサーバー「HA8000-bd/BD10」に、Hadoopや「COBOL2002」「uCosminexus Grid Processing Server」など各種ソフトをインストール／設定して提供する。同社が開発した分散共有ファイル「Hitachi Striping File System（HSFS）」は、「POSIXに準拠したデータ入出力が可能な上に、Hadoopの分散ファイルシステム「HDFS」と互換性がある」（日立製作所 プラットフォームサービス開発本部 OSSテク
オープンソースのクローラツール「Apache Nutch 2.0」登場
The Apache Nutch PMCは7日(米国時間)、Apache Nutchの最新版「Apache Nutch 2.0」を公開した。Apache Nutchは、Javaで開発されているハイスケラーブルなWeb検索フレームワーク。Apache Solr、Apache Tika、Apache Hadoop、Apache GoraといったApacheプロジェクトで構築されており、Webクローリング機能やリンクグラフデータベース、HTML解析といった機能を備えている。 Apache Nutch 2.0は小規模なクローラから、Hadoopクラスターでデプロイされた大規模なWebクローラまで、様々なユースケースをカバーできるよう設計されているWeb検索ソフトウェア。Apache Nutch 2.0で構築されたWebクローラは、Apache Accumulo、 Apache Avro、Apach
［第6回］クラスターのアーキテクチャー HDFS編
第3回でディストリビューションとディトリビューターや製品ベンダーを詳しく説明しましたが、その後2012年6月に様々なベンダーからApache Hadoop関連製品が新たにリリースされています。 米クラウデラは2012年6月5日（現地時間）、Apache Hadoopバージョン2をサポートしたCDH 4.0.0をリリースしました。 同じくHadoopのディストリビューターである米ホートンワークスも2012年6月12日（現地時間）、Apache HadoopのディストリビューションHortonworks Data Platform （HDP） 1.0を、Apache Hadoop 1.0.3ベースでリリースしました。このディストリビューションには管理とモニタリングサービスを提供するコンポーネント、Apache AmbariベースのHortonworks Management Center （H
うるう秒によるjava障害と連動して生じたHDFSメタデータ破損からの復帰手順 - 生物物理計算化学者の雛
※本記事ではうるう秒によるjavaの異常と、それに伴って生じたHadoop 0.21.0 HDFSのメタデータ破損からの復旧手順を説明します。なお、本復旧手順は私の環境で上手くいっただけであり、他の環境で同様の手順を行ったとしても復旧できる保証はありませんので、ご注意ください。 昨日（2012/7/1）Hadoopクラスタの一部マシンでCPU負荷が突然MAXに張り付いていることに気付きました。 今日になってこの現象はうるう秒のあとにjavaに生じた不具合であることが分かりました（参考：http://d.hatena.ne.jp/sh2/20120702、このブログの記述と同様にjavaとksoftirqdプログラムが大きなCPU負荷を占め続けていました）。 この障害が起きていたのはOSがfedora10, 13のマシン群で、他のマシンはCentOSであり不具合無く動作していました。 試行錯
日本IBM、表計算のように分析できるHadoopソフト新版「BigInsights」
日本IBMは2011年8月31日、大量データを分析するシステムをHadoopを用いて構築・運用するミドルウエアの新版「InfoSphere BigInsights Enterprise Edition V1.2」を発表した。新版では、表計算ソフトのようにHadoopデータを分析できる「BigSheets」機能を追加した（写真）。2011年9月2日に出荷する。 InfoSphere BigInsightsは、大量データ分析用の分散処理ソフト「Apache Hadoop」の、IBM版のディストリビューションである。Hadoopシステムを構築・運用するためのツール群を、企業向けにパッケージ化している。Hadoop独自の情報処理プロセス（MapReduce処理）を扱いやすくする上位言語（Jaql、Pig、Hive、その他）、インストーラ、統合開発環境、ジョブスケジューラ、ワークフローエンジンなどを
いまさら聞けないHadoopとテキストマイニング入門
ビッグデータ時代の救世主「Hadoop」とは 「Apache Hadoop」は今、最も注目を集めている技術の1つです。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 Hadoopを活用している企業は年々増え続けていて、不可欠な技術になりつつあるといえるでしょう。 本連載では、Hadoopとは何か、Hadoopがどう活用できるのかということを、「テキストマイニング」に焦点を当てて解説していきたいと思います。 重い処理を複数のマシンに分散させる 複数のマシンに処理を分散させるには、プロセス同士の通信、監視、障害時の対応などを考えなければならず、プログラマにとってハードルが高いものです。しかし、Hadoopはそういった面倒くさい処理を一手に引き受けてくれ、プログラマは、やりたい処理だけに集中できます。 例えば、Hadoopを使うと、1
Hapyrus
BIG data processing on the CLOUD! Using Hapyrus, you can develop applications for your BIG data without special knowledge of parallel distributed programming. You can choose our application specified each domain and run your job on the cloud!! You can get a notifying mail when we are ready to offer our service to you! Please register from here or the 'Get Notified' button above.
マイクロソフトのHadoop対抗技術「Dryad」、いよいよ始動か？
大規模分散処理のフレームワークとしてグーグルが開発したMapReduce処理や、そのオープンソース実装であるHadoopが急成長し、ビジネスの分野での商業利用が立ち上がり始めていることは、Publickeyでも何度か記事で紹介してきました。 Hadoopを表計算のように使える「InfoSphere BigInsights」、IBMが発表 グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作 Hadoopは企業のための新たな情報分析プラットフォームとなる、とCloudera グーグルがBigQueryの開始を発表し、IBMも大規模処理のエンジンとしてHadoopを採用、AmazonクラウドでもHadoop処理を行う「Amazon Elastic MapReduce」サービスを提供していることから分かるように、Hadoopはクラウドでの大規模
HDFS の信頼性（原題：HDFS Reliability） (Pac Learner)
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
Hadoop入門とクラウド利用
EDF2012 Kostas Tzouma - Linking and analyzing bigdata - Stratosphere
MapReduceのJava実装Apache Hadoopを使ってみた (1/3) - @IT
MapReduceのJava実装Apache Hadoopを使ってみた：いま再注目の分散処理技術（後編）（1/3 ページ） 最近注目を浴びている分散処理技術「MapReduce」の利点をサンプルからアルゴリズムレベルで理解し、昔からあるJava関連の分散処理技術を見直す特集企画（編集部） Apache Hadoopプロジェクトとは何か？ 本特集では、いま再注目の分散処理技術についていろいろと紹介してきました。前編の「GoogleのMapReduceアルゴリズムをJavaで理解する」では、分散処理技術で最近注目を浴びているものとして、グーグルのMapReduceアルゴリズムを紹介し、中編の「イロイロな分散処理技術とイマドキのWebサービス」では、MapReduceに至るまでのさまざまな分散処理技術やWebサービスについて紹介しました。 そのMapReduceアルゴリズムをJavaで実装したも
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
メキメキ開発の進む Apache Sparkのいまとこれから （Spark Casual Talk #1 発表資料）
Impalaの挙動及びそのトラブルシューティングについて - Google グループ
Charming Python: Functional programming in Python, Part 3
EMCに訊く、「企業がHadoopを使うためにすべきこと」
Amazon EMR（Hadoopなどのビッグデータフレームワークを簡単に実行）| AWS
Hadoop、hBaseで構築する大規模分散データ処理システム
IBM Developer
