図解 MapR のメモリ管理 - nagix
MapR Hadoopディストリビューションにおいて、メモリがどのように割り当てられているかは一見わかりにくいので、図を使いながら詳細を解説していきましょう。なお、説明はMapR 5.0のYARN構成がベースになっています。YARNアプリケーションのメモリ割り当ての説明以降は、どのHadoopディストリビューションでも同じなので広く参考になると思います。 MapRのサービスのメモリ割り当て MapRでは各ノードで管理や処理を担うプロセスを「サービス」として定義しています。一般的なHadoopにも存在するYARNのResourceManagerやNodeManagerといったサービスもあれば、HDFSの代わりにファイルシステムの機能を提供するMapR-FSやCLDBのようなサービスや、NFSサーバ機能を提供するNFSサービス、Web UI機能を提供するMapR Control Systemサ
JSON形式のデータをDrill - すだちっこのOrdinary Days
このエントリはSpark, SQL on Hadoop etc. Advent Calendar 2014 - Qiitaの13日目の記事です。 Apache Drillとは SQL分散クエリエンジンです。 標準SQLサポートや様々なデータソースへの接続などの特徴があります。 今回は特徴の一つである”スキーマレスデータに対するSQLクエリ”を実行してみます。 Drillについて詳しくは こちらを参照ください。 環境準備 MapRのSandBox版を使います。 インストール方法は下記を参考にして下さい。 Drillは下記バージョンがインストールされてました。 mapr-drill.noarch 0.5.0.275270-1 @/mapr-drill-0.5.0.275270-1.noarch JSON形式のサンプルデータは下記を使用します。 Aggregation with the Zip
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
