Cloudera Managerによる操作ログをLinuxコマンドレベルで閲覧する - Qiita
Cloudera Manager Advent Calendar 2015の20日目です。 「Cloudera Manager を使うと便利だけど、裏で何をやっているのかよくわからない」という意見を聞くことがある。 安心してほしい。Cloudera Manager は、CDHに対するあらゆる操作をLinuxのコマンドレベルで表示することができる。 Cloudera Manager と CDH は疎結合になっていて、CDH自体への操作はほとんどがシェルスクリプトなどによるコマンド実行で行われている。 よって、それらの操作を外部から閲覧することは非常に容易であり、またその操作を手動で再現することも可能である(普通このようなことを行う必要はないが)。 環境 Cloudera Manager 5.5 本編 Cloudera Manager のホーム画面に 全ての最近のコマンド というタブがある。こ
Cloudera 5.4 (CDH 5.4 + Cloudera Manager 5.4) リリース
Cloudera Enterprise 5.4 表記の通り、Cloudera Enterpriseの新しいバージョン(5.4)が公開されています。日本語のリリースはこちら。 リリースブログ（英語） Cloudera 5.4: Built for Production Success （英語） 今回のリリースは「品質、セキュリティ、パフォーマンス、使いやすさ」の改善にフォーカスしているとのことです。いつものように技術的に興味深い点をピックアップしてみます。 あくまでも個人的に興味があるものだけを抜き出しているので、詳細は5.4のリリースノートとImpala 2.2のリリースノートごらんください。 RHEL6.6/CentOS 6.6のサポート 多くの要望に応えて対応されました。多くの方に朗報じゃないかと思います。 Hadoop HDFS Hadoop 2.6へのリベース データノードのホット
Announcing: Cloudera Enterprise 5.3.3 (CDH 5.3.3, Cloudera Manager 5.3.3, and Cloudera Navigator 2.2.3)
Dear CDH, Cloudera Manager, Impala, and Cloudera Navigator users, We are pleased to announce the release of Cloudera Enterprise 5.3.3 (CDH 5.3.3, Cloudera Manager 5.3.3, and Cloudera Navigator 2.2.3). Cloudera Enterprise 5.3.3 This release fixes key bugs and includes the following. CDH Replacing DataNode Disks or Manually changing the Storage IDs of Volumes in a Cluster may result in Data Loss. Fi
Hadoop を 10 分で試そうとしたら 2 時間 49 分かかった話 - garbagetown
みなさんビッグデータしてますか？本日は懺悔のブログです。 経緯 世間から遅れること五年、そろそろぼくもビッグデータしたいなと思って Hadoop 周りを調べてみたところ、エコシステムがもりもり成長中で Web 上の情報は新旧入り乱れているわ、書籍の情報はあっという間に古くなるわで、ビッグデータ界の Hello World 的な WordCount を試すのもひと苦労という有様でした。 そんな折、"2014年版 Hadoopを10分で試す(1) | Tech Blog" というブログを発見してキタコレ！と試してみたところ、いろいろあって 結果的に 10 分では試せなかったので、冗談半分で Hadoopを10分で試すというブログを参考にVMをダウンロードしたら残り2時間49分と表示されたときの顔をしてる— 箱と矢印と方眼紙 (@garbagetown) 2015, 2月 3 などとツイートした
2014年版 Hadoopを10分で試す(4) まずはHiveから（中編）
メタストアの役割 まず、Hadoopはデータベースではありません。HiveはHadoop（Hadoop分散ファイルシステム）にあるデータを処理するために、HiveQLにより開始されるMapReduceジョブをHadoopクラスタに投入（サブミット）するだけです。Hadoopクラスタからみれば、ワードカウントや円周率を計算するようなMapReduceジョブを実行することと、何の違いもありません。 このとき、MapReduceとして処理するために用いられるのがメタストアです。 昨日実行したクエリを例にしてみましょう。 SELECT * FROM sample_07 ORDER BY salary DESC; テーブルの名前は sample_07。ORDER BY salary としているので、少なくとも salary という列がありそうだことがわかります。 先ほど書いたように、Hiveで処理す
2014年版 Hadoopを10分で試す(3) まずはHiveから（前編）
Hadoop関連（全部俺） Advent Calendar 2014:11日目の記事です Cloudera Quickstart VMによりHadoopの環境が用意できました。HadoopのコアはHDFS（Hadoop分散ファイルシステム）とMapReduce（分散処理）ですが、今回はHadoopに関するところは無視して、まずは10分(ぐらい)で Hiveとはどんなものか、使いながら把握していきましょう。かなり大雑把なので、正確な情報は書籍やウェブでご確認下さい。 HDFSやMapReduceについては以前書いた記事などを参考にして下さい（めざせ！hadoopエンジニア（開発者編）、Hadoopを40分で理解する） Hiveとは です。愛くるしい（笑）。見れば見るほど愛着がわいてきます（笑）。なお、こんな非売品＆限定のHiveTシャツもあります。 SQLを知っている人は多い HiveはAp
2014年版 Hadoopを10分で試す(1)
Hadoop関連（全部俺） Advent Calendar 2014:7日目 先週の研修中に、「Hadoopをこれから試してみたいけど、どこから始めたらいいでしょうか？」という質問がありました。 構築の勉強をしたいのであれば、今ならパブリッククラウドや仮想化環境を使えるので、実際に構築してみるのが良いでしょう。パッケージを手作業でインストールしても良いですし、Cloudera Managerを使えば簡単です。 MapReduceやSparkのジョブの開発方法を学びたいのであれば、環境を用意した上で、先日紹介したO’Reillyなどの書籍を利用したり、あるいはセミナーや研修を受講するのが良いかもしれません。 MapRediuceやSparkを試すための簡単な方法のひとつは、「Hadoop入門：Hadoopを10分で理解する」 シリーズで紹介したCloudera Managerであり、Clou
ClouderaのImpalaさんとimpala-shellで戯れてみる| mwSoft
概要 Impalaさんと親しくなろうという事で（この子を仕事で使う機会があるかは知らない）、とりあえずimpala-shellから「あれやってこれやって」と命令を発してみる。 CSVからテーブルを作ってみる 適当なCSVファイルをHDFSに置いて、そこからテーブルを作ってSELECTしてみる。CSVの内容は下記みたいな感じにしておく。 1,文字列1,true,101.2,2013-10-24 10:20:05 2,文字列2,false,53.15,2013-10-25 10:20:05 3,文字列3,true,-18.5,2013-10-26 10:20:05 4,文字列4,false,0,2013-10-27 10:20:05 5,文字列5,true,-12.35,2013-10-28 10:20:05 test1.csvとでも名付けて、HDFSにあげて、CREATE TABLEする。
VirtualBoxでCloudera QuickStart VM（CDH4）を動かしてみる| mwSoft
概要 Clouderaが公開しているVMイメージを利用して、CDH4を動かしてみる。VMを立ち上げればすぐにHadoopが試せる便利な一品。 本例ではOSはMint13を使用してる。VMなんで他のディストリでもWindowsでも動きはほとんど変わらないはず。 イメージのダウンロード まずはClouderaのダウンロードサイトへ行って、VirtualBox用のイメージを落としてくる。Cloudera QuickStart VMというヤツ。 https://www.cloudera.com/content/support/en/downloads.html ちなみにファイルサイズはかなり大きい。自分が落とした時は2.4GBだった。ダウンロード完了までにけっこうかかるので、将棋でもするか本でも読みながら待つ。８六歩、同歩、8五銀 …… 2七銀。 落としたら解凍する。 このVMに関する説明書きには
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
