ClouderaManagerAPIを使ってHadoopジョブの状況を可聴化する - frkout's diary
はじめに この記事はドワンゴ Advent Calendar 2015 - Qiita および Cloudera Manager Advent Calendar 2015 - Qiita の 12/3 分の記事です。 Hadoopを運用するにあたって欠かせないもの、そうClouderaManager。みなさんもちろんClouderaManager使ってますよね。使ってない人は今すぐ入れましょう。 ClouderaManagerはとにかく最高で、クラスタのセットアップもさくっと終わるし、綺麗なグラフでクラスタの状況わかるし、ユーザが投げているクラスタジョブの状況も見れたりして最高に便利で、僕なんか仕事中の8割位はClouderaManagerのこと気になってしょうがないんだけど、とはいえドキュメント書いたりコード書いたり設計したり会議に出なくてはいけないのでずーっとClouderaManag
Facebook、分散SQLエンジン「Presto」公開。大規模データをMapReduce/Hiveの10倍効率よく処理すると
Facebookは、数ペタバイト級の大規模データに対しても、対話的にアドホックな問い合わせを可能にする分散SQLエンジン「Presto」を、オープンソースで公開しました。 PrestoはFacebook社内で大規模データの分析のために開発され、すでに同社社内使われているもの。 FacebookはPrestoを開発した背景として、大量のデータをHadoop/HDFSベースで保存したものの、バッチ指向のMapReduceではなく、リアルタイム性に優れた処理が必要になったためだと、次のように説明しています。 Facebook’s warehouse data is stored in a few large Hadoop/HDFS-based clusters. Hadoop MapReduce [2] and Hive are designed for large-scale, reliabl
Hadoopと愉快な仲間たち 〜おなじみのキャラクターを集めてみた〜 - developer’s delight
いよいよHadoop:The Difinitive Guideの日本語版が発売されました。売れ行きも好調なようで、Hadoopは今年ますます日本で広がっていくのだろうと感じています。さてHadoopを使っている人が、みんな口を揃えて言うのが「ロゴ（キャラクター）がダサイ」ということです。果たして本当にそんなにダサいのか、改めてHadoopファミリーのキャラクターを見ていきましょう。Hadoop(Core & MapReduce & HDFS)もはや説明不要と言ってもよい、一番有名なキャラクター。そもそも"Hadoop"という名前はDoug Cutting氏の子供が象のぬいぐるみにつけた名前が由来ということなので、象がロゴなのでしょうが、なぜ黄色いのかは謎です。これが全然可愛くないというがよく話題になります。確かに最初に見たときは僕もそう思ったのですが、以下に紹介するHadoopのサブプロジ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
