はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

MicroStrategy Desktopは、マイクロストラテジー社が提供するBIツールである。最近無償で利用できるようになった。 他のBIツール無償版と比較すると、以下の点が優れている。 各種DBに接続可能 ローカルにデータを保存可能 なので、このMicroStrategy Desktopをそのまま業務利用できてしまう。 MicroStrategyは、一般的な時系列グラフはもちろん、ネットワーク図やサンキーダイアグラムといった複雑なビューも簡単に作成できる。 本記事では、Mac版の MicroStrategy Desktopを使ってOSSのSQL-on-HadoopエンジンApache Impala (incubating)(以下Impala)に接続する方法を紹介する。Impalaについてはこちらの記事も参照のこと。 環境 MicroStrategy Desktop 10.6.0 CDH

Webページのスクレイピングと分析・可視化で使用したPython製WebクローラScrapyについて覚えたことについて記載する。 本記事はメモ程度の内容であり、情報の正確性については保証しない。必ず公式ドキュメントを参照すること。 サンプルコード サンプルコード1 import scrapy class QiitaCalendarSpider(scrapy.Spider): name = "qiita_calendar" allowed_domains = ["qiita.com"] start_urls = ["http://qiita.com/advent-calendar/2016/calendars"] custom_settings = { "DOWNLOAD_DELAY": 1, } def parse(self, response): for href in response

先日、2016年アドベントカレンダーのはてブ数の分析というブログ記事を投稿した。このデータの可視化には様々な技術が使われている。本記事では、どのような技術を活用して作成したのかについて説明する。 ソースコードはこちら。 概要 このVizは、QiitaとAdventarに投稿された、全アドベントカレンダー及びそこに登録された記事のはてなブックマーク数を元に、どのカレンダーや記事が人気なのか、あるいはQiitaとAdventarのどちらが人気なのかを視覚化することを目的として作成された。データソースは、Qiita及びAdventarに登録された、アドベントカレンダー2016の全カレンダーページである。カレンダーには記事のメタデータが含まれている。記事そのもののページやユーザページのクロールはしていない。 システムの概要 データの収集→ETL→BIという流れで処理を行った。 データ収集 Webク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この投稿はDistributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の22日目です。 昨日はkiszkさんのSparkの記事でした。 この記事の概要 Impalaを使い込んでいる人向けの、役に立つ小ネタ集という位置づけ。 Impala入門ではないので、Impala 入門のような情報は下記のようなページを参照すること。 SQL-on-Apache Hadoop – ジョブの特性に適したツールの選択 http://www.cloudera.co.jp/blog

Hadoopには、ラックの位置を意識してデータを配置するラックアウェアネスという機能がある。この機能を使うことにより、ラック障害などによる複数ノードの同時ダウンなどに対する耐障害性を持たせることができる。 本記事では、Cloudera Manager にてラックIDを設定する方法を説明する。 ラックアウェアネスの機能そのものについてはApache Hadoop の該当ページを参照のこと。 環境 Cloudera Manager 5.9.0 手順 トップメニューから、 ホスト → すべてのホスト をクリックする。 ラックIDを設定したいノードにチェックをつけ、 選択内容に対するアクション → ラックの割り当て をクリックする。 ラック名を入力する。ラック名はスラッシュで始まる、ファイルパスのような方式で記載しなければならない。例: /rack1, /group1/rack2 影響を受けるサー

原文: http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/FairScheduler.html バージョン: 3.0.0-alpha1 ライセンス: Apache License 目的 このドキュメントでは、Hadoop用のプラガブルスケジューラであるFairSchedulerについて説明します。このスケジューラは、YARNアプリケーションが大規模なクラスタでリソースを公平に共有できるようにします。 イントロダクション フェアスケジューリングは、すべてのアプリケーションが平均して同じリソースの時間を共有するように、アプリケーションにリソースを割り当てる方法です。Hadoop NextGenは、複数のリソースタイプのスケジューリングが可能です。デフォルトでは、フェアスケジューラはスケジューリングフェアネス決定

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? (2016/10/14 16:09 追記) 現在 yarnpkg の githubにて "nyarn"への名称変更の提案がなされています。こちらも参照してください https://github.com/yarnpkg/yarn/issues/673#issuecomment-253718435 (2016/10/17 13:04 追記) 上記提案に対し、 yarn コマンドの名前は変更せず yarn コマンドへのエイリアス yarnpkg を作成するとのコメントがあり、それをもって issue はクローズとなりました。 https://

HDFSにおける DataNode(以下DN) に対する分散書き込みを、DNのディスクボリューム間で釣り合いがとれるようにするよう設定することができる。 環境 CDH 5.8.0 Hadoop 2.6.0 ベース 概要 デフォルトではDNはラウンドロビンで新しいブロックレプリカをディスクボリュームに書き込む。 新しいレプリカの場所を決定するときにそれぞれのボリュームの空き容量を考慮してボリュームを選択するポリシーをDNに設定することができる。 設定できる内容は以下の通り。 DNボリューム同士の空きディスク容量の差分の許容範囲(バイト) 新しいブロック割り当てが、より空きディスク容量の大きいボリュームに送られる割合(パーセント) プロパティの説明 以下、プロパティと設定に必要な変更の値についての一覧を示す。プロパティの説明については Cloudera Manager の説明文を引用した。 D

Cloudera Manager には豊富なチャート機能が付属していて、運用や障害解析を楽にしてくれる。 チャート機能を使った運用については、下記の記事などが詳しい。 http://www.slideshare.net/Cloudera_jp/troubleshooting-using-cloudera-manager-cwt2015 http://qiita.com/brfrn169/items/43e2069e141cfa9536ec このチャート、実は全てSQLライクなクエリ言語「tsquery」で作成されている。 このtsqueryを使うと、Cloudera Manager 上であらゆるチャートを自分で作成することが可能だ。 チャートビルダーページを開くには、トップメニューから チャート → チャートビルダー を選択すればよい。 tsquery の使用方法を覚えるには、右上の ?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Apache Hadoop (以下Hadoop) が登場して10年が経ち、その間にHadoopとそのエコシステムも誰も予想できないほど大きく進化してきた。当初バッチ処理専用と言われていたHadoopも、今やSQLエンジンや機械学習など様々なアプリケーションを動作させることができる汎用基盤となっている。しかし、「Hadoopとは何か？」「Hadoop入門」のような初心者向け記事は未だに初期の頃のHadoopを想定した説明しかしておらず、現在のHadoopについて正しい情報を伝えていないように見える。一方、「最新のHadoop」といった類の

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Clouderaのドキュメントに書かれているImpala Performance Guidelines and Best Practices が非常に素晴らしい内容なので翻訳した。 内容は Apache Impala (incubating) (以下 Impala) をターゲットとして記述しているが、パーティション設計などについては Hive にそのまま適用できる内容なので、Impala を使用していない人でも読んで損はないと思う。 環境 CDH 5.7.0 (Impala 2.5.0) 本文 このドキュメントは、Impalaを利用する

Cloudera Manager Advent Calendar 2015の20日目です。 「Cloudera Manager を使うと便利だけど、裏で何をやっているのかよくわからない」という意見を聞くことがある。 安心してほしい。Cloudera Manager は、CDHに対するあらゆる操作をLinuxのコマンドレベルで表示することができる。 Cloudera Manager と CDH は疎結合になっていて、CDH自体への操作はほとんどがシェルスクリプトなどによるコマンド実行で行われている。 よって、それらの操作を外部から閲覧することは非常に容易であり、またその操作を手動で再現することも可能である(普通このようなことを行う必要はないが)。 環境 Cloudera Manager 5.5 本編 Cloudera Manager のホーム画面に 全ての最近のコマンド というタブがある。こ

アメリカ地質調査所が公開している地震の発生データを検索可能にし、結果を地図上にマッピングする方法を紹介する。 環境 CDH 5.4.2 Cloudera Manager を使ってクラスタを準備するか、クイックスタートVMを準備すること。VMの準備方法についてはこちらを参考。 データセット 最近発生した地震のデータセット。 アメリカ地質調査所 より取得する。 検索システムのアーキテクチャ データセットの取得と HBase へのロード HBaseにTSVデータを投入する(ImportTsv)の記事を参照。 Solr から HBase テーブルのインデックス作成 HBaseのデータからSolrの検索インデックスを作成するの記事を参照。 検索結果を地図上に表示する http://<hueサーバのノード>:8888/indexer にアクセスし、 earthquake-collection を選択し

Cloudera Manager を使って、Hiveserver2 がダウンしたときにアラートメールを受け取る方法を紹介する。 環境 Cloudera Manager (5.x 以降) 準備 アラートメールを受信するメールアドレスを設定するだけで、他に設定する必要はない。 アラートメールの受信アドレスの設定 Cloudera Management Service を開き、 設定 から 受信者 というキーワードで検索し、 アラート: メールメッセージの受信者 という設定項目に、アラートメールを受信したいメールアドレスを入力する。 設定を変更したらCloudera 管理サービスを再起動する。 アラートメールの一例 Hiveserver2 がダウンすると、以下のようなメールが送信される。 アラート送信のテストをしたければ、単純にプロセスを kill すればいい。 リンクをクリックすれば Clou

Apache Flume 1.5.0 で Twitter Source が入ったので、Twitter から簡単にデータを取得することができる。(注: Experimental のため利用には十分注意すること) この記事ではMac上で簡単に試すための方法を紹介する。 環境 Flume バージョン: CDH 5.4.2 (1.5.0 ベース) OS: Mac OS X 10.10.3 準備 ファイルのダウンロード Cloudera のリポジトリからFlumeのtar.gzを取得する。 最新版へのリンク 適当な場所に Flume を設置し、展開する。私は ~/lib/flume にしている。 次に avro-tools をインストールする。 # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels

質問 java 初心者が hadoop を開発できるレベルになるまで何を勉強したらいいでしょうか? おすすめの書籍、サイト、勉強法等あれば教えてください。 回答 java 初心者ということで, java に話題を絞って回答します. まずは「独習 java」でも Web 上の教材でも何でも良いので, java について構文とか基本的なところを押さえましょう. javadoc, jar については知っている必要があります. ant, maven まで概要を押さえられれば尚良いです. 次に hadoop プロジェクトが使用しているライブラリを把握しましょう. これは pom.xml という xml ファイルの dependencies 要素の中に列挙してあります. それぞれのライブラリがどのような目的のものかを把握するくらいで最低限良いでしょう. ライブラリの javadoc を読むのも良いです