ネームノードのヒープメモリのサイジング
このブログは「Sizing NameNode Heap Memory」ドキュメントの翻訳記事です。 各ワークロードには、ユニークにバイトを配分するプロファイルがあります。一部のワークロードではヒープメモリとガベージコレクションにデフォルトのJVMの設定を使用することができますが、他のワークロードではチューニングが必要です。このトピックでは、動的なヒープの設定によってボトルネックが発生した場合のNameNodeのJVMのサイジングに関する指針を提供します。 すべてのHadoopのプロセスは Java Virtual Machine（JVM）上で実行されます。JVMの数はデプロイモードによって異なります。 ローカル （またはスタンドアロン）モード − デーモンは存在せず、すべてが単一のJVM上で実行されます。疑似分散モード −（NameNodeデーモンなどの）各デーモンは、単一のホスト上の独自
やっぱりビジネスパーソンも、おさえておきたい 機械学習やソーシャル分析を支えるビッグデータ基盤Apache Spark
やっぱりビジネスパーソンも、おさえておきたい 機械学習やソーシャル分析を支えるビッグデータ基盤Apache Spark ビジネスや社会活動におけるビッグデータの重要性が益々高まる中で、それを支えるテクノロジーとして、大規模データの分散処理フレームワーク「Apache Hadoop」が注目を集めてきた。一方で、Hadoopを活用したシステム開発の難易度の高さや用途による得意・不得意も浮き彫りになってきた。 そこで関心が高まっているのが、Hadoop環境をベースとしても動作する分散処理フレームワークの「Apache Spark」である。Hadoopと同様に大規模データの分散処理に対応しながら、Hadoopが不得意とする領域での性能を向上させると共に、従来よりも容易に開発できる環境を整えた。2015年6月には、IBMが「今後10年間で最も重要なオープンソースプロジェクト」と位置付けて、大規模なリ
Apache Spark Streaming＝大規模準リアルタイムストリーム処理？ - 夢とガラクタの集積場
こんにちは。 Sparkについて調べてみよう企画第２段（？）です。 １回目はまずSparkとは何かの概要資料を確認してみました。 その先はRDDの構造を説明している論文と、後Spark Streamingというストリーム処理基盤の資料がありました。 とりあえず、そんなわけで（？）お手軽に概要がわかりそうなSpark Streamingの方を調べてみました。 まず見てみた資料は「Overview of Spark Streaming」（http://spark.incubator.apache.org/talks/strata_spark_streaming.pdf）です。 というわけで、読んだ結果をまとめてみます。 Spark Streamingとは何か？ 大規模ストリーム処理フレームワーク ・100オーダーのノードにスケールする ・秒単位のレイテンシで処理を実行可能 ・Sparkのバッチ
Migrating from MapReduce 1 (MRv1) to MapReduce 2 (MRv2, YARN) | 5.2.x | Cloudera Documentation
Migrating from MapReduce 1 (MRv1) to MapReduce 2 (MRv2, YARN) This is a guide to migrating from Apache MapReduce 1 (MRv1) to the Next Generation MapReduce (MRv2 or YARN). MapReduce 2, or Next Generation MapReduce, is a long needed upgrade to the way that scheduling, resource management, and execution occur in Hadoop. At their core, the improvements separate cluster resource management capabilities
Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編）
Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編） 最近ビッグデータ処理基盤として急速に注目を集めているのが「Apache Spark」です。 Sparkは、Hadoopと比較されることも多く、Hadoopよりも高速かつ高機能な分散処理基盤だと言われています。Sparkとはいったい、どのようなソフトウェアなのでしょうか？ 今年6月にSparkのコミッタに就任したNTTデータの猿田浩輔氏に聞きました。 以下は猿田氏から伺ったSparkの紹介をまとめたものです。また、後編では猿田氏がコミッタになった経緯などもインタビューしました。 Hadoopでは複雑な処理に時間がかかる Sparkとはなにかの前に、まずはHadoopの話から始めさせてください。 Hadoopとは、ざっくり言うと分散処理フレームワーク「
リクルート全社検索基盤のアーキテクチャ、採用技術、開発体制はどうなっているのか
リクルート全社検索基盤のアーキテクチャ、採用技術、開発体制はどうなっているのか：Elasticsearch＋Hadoopベースの大規模検索基盤大解剖（1）（1/2 ページ） リクルートの事例を基に、大規模BtoCサービスに求められる検索基盤はどう構築されるものなのか、どんな技術が採用されているのか、運用はどうなっているのかなどについて解説する連載。初回は全体的なアーキテクチャ、採用技術、開発体制について。 連載目次 大規模BtoCサービスで求められる検索基盤は、どうあるべきなのか カスタマー（消費者）が求めるものが日々変わっていく現在において、BtoCの検索基盤はどうあるべきなのでしょうか。 例えば、リクルートで使われている検索基盤の「Qass（Query analyze search system）」は単に全文検索機能を提供するのではなく、以下を軸としています。 サービスごとに最適化され
Hadoopを使いこなす(1)
まず、 1 の入力ファイルを分割する方法は、InputFormatクラスの、getSplits関数を上書きすることで、カスタマイズできます。 また、 3 のInputSplitから、KeyとValueを抽出する処理も、InputFormatクラスを通じてカスタマイズできます。 InputFormatのgetRecordReader関数を通じて、RecordReaderクラスを生成するのですが、これに任意のRecordReaderクラスを指定すればOKです。 2 のMap処理ですが、ユーザが指定したMapperクラスの処理を実行します。 Mapperクラスは、MapRunnerクラスを通じて、初期化処理、map関数を繰り返す過程、終了処理といった一連の流れを実行します。 MapRunnerクラスをカスタマイズすれば、こうした流れを制御することができます。 0.20.0からの新しいMapRed
Apache Hadoop エコシステム を中心とした分散処理の今と未来
Copyright©2015 NTT corp. All Rights Reserved. Apache Hadoop エコシステム を中心とした分散処理の今と未来 小沢 健史 ozawa.tsuyoshi@lab.ntt.co.jp ozawa@apache.org 2 Copyright©2015 NTT corp. All Rights Reserved. • 処理基盤の意義 • MapReduce の動向と進化 • MapReduce の概要 • MapReduce の課題と解法 • 分散処理基盤の動向 • Google の処理基盤スタック • Microsoft の処理基盤スタック • オープンソースの処理基盤スタック • オープンソース開発 • なぜ会社として貢献するか • 活動内容 • 面白かったこと，大変なこと • これからの目標 アジェンダ 3 Copyright©201
Ruby scripting in Hive Query Language | GREE Engineering
こんにちは。Web Game事業統括本部 データ基盤チームの lan です。 Advent Calendar 3日目の今日は、Hadoopの上に乗るデータウェアハウスであるApache Hiveについて、話をさせて頂きたいと思います。グリーでは、Hadoopをレポーティングや大規模バッチ処理などに使っています。現在は、Apache Hive 0.12.0版を導入しております。OSSコミュニティから最新の成果をできるだけ早く取り込んでいきたいと考えているからです。 レポートなどのために社内用のUDFライブラリも作っています。しかし、それでもサポートしにくいシーンがまだまだあります。そのために、小さな小さなハッキングをして、HQL内にRubyスクリプティングを利用できる機能を開発しました。RedisのLuaスクリプティングのようなものをイメージするとわかりやすいかもしれません。 今回紹介するの
第1回 なぜ、Hadoopはどのように動くのか、を学ぶのか | gihyo.jp
はじめに ビッグデータ解析のためのシステム基盤として、Hadoopをはじめとするオープンソースのデータ処理ソフトウェア（データ処理系）が広く利用されつつありますが、当該データ処理系をすでに利用している、もしくは利用の検討をしている読者の方々の中には、たとえば以下のような問題を抱えている方が少なからずいらっしゃるのではないでしょうか。 データ処理系の使い方はなんとなくわかるが、その内部をあまり理解できていない。または、内部の動作原理がよくわからないので、本格的に使う気にならない。 同様の目的を達成する複数のデータ処理系において、どれを使って良いかがよくわからない。または、適切に使い分けられていない気がする。たとえば、どのような場合にHadoopを用いて、どのような場合に同類のデータ処理系であるImpalaやSparkを用いれば良いかが“明確に”わからない。 このような問題を解決するには、
ITエンジニアの幸せな未来とは？ - さくらインターネット創業日記
Something went wrong, but don’t fret — let’s give it another shot.
Hadoop用カラムナストレージ「Parquet」正式版をTwitterがオープンソースで公開
データを列方向に格納することで読み出し性能を向上し、高速な分析を実現する技術は、「カラム型データベース」「カラムナーストレージ」「カラム型データストア」などと呼ばれて注目されています。その技術をHadoopのストレージに持たせることで、Hadoopでもさらに高速な分析を可能にする「Parquet」バージョン1.0を、Twitterがオープンソースで公開しました。 公開したのは7月30日と1カ月ほど前のことで気付くのが少々遅かったのですが、ほかに日本語の記事が見当たらなかったので紹介したいと思います。 Parquetとはどのようなソフトウェアなのか、Twitterのブログから少し長めの説明を引用しましょう。 Parquet is an open-source columnar storage format for Hadoop. Its goal is to provide a state
ASF、スキーマフリーのHadoop向けSQLクエリエンジン「Apache Drill」をトップレベルプロジェクトに | OSDN Magazine
オープンソースプロジェクトを運営する非営利団体Apache Software Foundation（ASF）は12月2日（米国時間）、NoSQLデータベース向けのクエリエンジン「Apache Drill」をトップレベルプロジェクト（TLP）とすることを発表した。 Apache DrillはHadoopやNoSQL向けのSQLクエリエンジン。これを利用することで、スキーマの定義なしにJSONやParquet、HBaseテーブルなどに対しクエリを実行でき、ユーザーは生成されたデータをすぐに利用できる。米Googleのインタラクティブなアドホック型クエリシステム「Dremel」をベースとし、2012年8月にASFのインキュベータープロジェクトとなっていた。 HDFS、NoSQLなどのスキーマフリーのデータストア向けデータモデルを持ち、スタンドアロンのクエリエンジンとしてさまざまなデータソースをサ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloudera | ハイブリッドデータカンパニー
CDHの歴史とCDH5新機能概要 #at_tokuben
並列データベースシステムの概念と原理
MRQL Project Incubation Status - Apache Incubator
分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 （オープンソースカンファレンス 2015 Tokyo/Spring 講演資料）