Cloudera Managerを使った複数クラスタの管理と設定の差分 - Qiita
Cloudera Manager Advent Calendar 2015の5日目です。 Cloudera Manager（以下CM）を使えば、1台のCM上で複数クラスタの管理が可能です。たとえば分析基盤と検索基盤のように、各クラスタには任意の名前をつけられます。 さて、CMでは管理しているクラスタ間での設定差分も確認できます。パフォーマンスの調査を行うときなどには期待通りに動いているクラスタとの違いを確認したいことがままあります。今回はHiveの設定差分を確認してみましょう。クラスタ一覧から、分析基盤のHiveサービスを選択します。 設定画面から、「検索基盤のHiveとの差分」を選択すると、差分がすべて表示されます。 ここでは特に「ヒープサイズ」について差分を絞り込んでみましょう。もちろん日本語での検索にも対応しており、以下のようにMetastore Serverのヒープサイズに違いがあ
ClouderaManagerでImpalaクエリを検索する - Qiita
Cloudera Manager Advent Calender 2015 の15日目です。 目的 HadoopクラスタでHiveやImpalaを運用中には、様々なユーザがクエリを実行します。 その際にユーザによっては、、、 Impalaのメモリを食い尽くすクエリが投げられる。 １ヶ月は終わりそうにない規模のデータを対象としたHiveクエリが投げられる。 エラーが返ってくるんだけど！１日経っても終わらないんだけど！とオフィスに怒号が響く。 これどうなってんのなんとかしてよ、と運用者が責められる。 ……という事態が発生します。 リソースプールやアドミッションコントロールやクエリ実行者への教育という対処はありますが、 まずは対処以前に問題の発見が必要です。 ここではClouderaManagerを使って問題となったクエリを素早く見つけ出し、 そのクエリの中から原因を特定していく流れを紹介します
ディープラーニングフレームワークをCDHとCloudera Data Science Workbenchで動かす
原著者：Vartika Singh 原文：Deep Learning Frameworks on CDH and Cloudera Data Science Workbench 訳：有賀 「ビッグデータ」の台頭により、機械学習はずっと簡単になりました。少量のデータだけを観察した後に新しいデータを一般化する、統計的推定の負担が大幅に軽減されたためです。典型的な機械学習タスクのゴールは、観測データを説明する変動要因を分離するように特徴を設計することです。 しかし、多くの実世界の人工知能アプリケーションの難しさの主な原因は、変動要因の多くが観察できるすべてのデータに影響を与えることです。 ディープラーニングは、より単純な表現を導入することによって、表現学習を通してこの中心的な問題を解決します。 企業や研究者は、現在および将来のテクノロジーの進化に影響を及ぼすために、ますます多くのデータを分析して
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Sho Shimauchi on Twitter: "プレミアムフライデー警察だ！！！業務を継続している者、全員両手を上げろ！！！"
