HDPとAmbariを試している - wyukawa's diary
今度新規にHadoopクラスタを構築する予定なのですが、HortonworksのHDPおよびAmbariをちょっと試しています。 僕は今までApacheのコミュニティ版Hadoop 1系を1年ほど運用していたので、今どきのHadoop事情にうとかったんですがいろいろ変わってるんですね。 NameNode HAとか名前だけは知っていたのですが、実態がどんなもんだかよくわかってなかったし。 今の時点でHadoopのディストリビューションを選択するとしたら、Apacheのコミュニティ版, CDH, HDPのいづれか３択で、どれを選ぶにしてもYARNに突入せざるをえないでしょう。 例えばHiveしか使わないにしても。 で、まあ、とりあえずHDPは新しいし触ったことある人も少なそうなのでちょっと試しています。 yumでひとつづつインストールしていってもいいのですが、AmbariというCloudera
Ansibleを使ってHadoop(CDH4) アップデート – OpenGroove
（毎日同じようなAnsibleネタ記事を書いているようだが、これでも微妙に違う） つい先日Hadoop CDH4が4.3.0から4.3.1になったので、せっかくだからAnsibleを使ってアップデートをやってみた。対象は疑似分散環境だからわざわざAnsibleを使わなくてもいいと言えばいいのだが、こういう定型作業の抽象化に慣れておきたいので、ま、練習のつもりで。 実行環境 管理用マシンからAnsible実行 （AWS t1.micro CentOS 6.3） アップデート対象のHadoop疑似分散モードマシン （AWS m1.small CentOS 6.3） メインのplaybookとなるcdh_update.yml 実行場所直下のtasksディレクトリに子playbookを分けて格納し、それらを順次実行させる処理を記述した。ホストの定義はserversファイルに記述。 servers（
第41回 データマイニング+WEB ＠東京( #TokyoWebmining 41st ) −モデリング・テキスト分析 祭り−を開催しました - hamadakoichi blog
第41回 データマイニング+WEB ＠東京( #TokyoWebmining 41st ) −モデリング・テキスト分析 祭り− Eventbrite Google グループ 会場提供し運営を手伝って下さった FreakOut のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧 参加者セキココ：第41回 データマイニング+WEB ＠東京 セキココ (作成してくれた [Twitter:@komiya_atsushi] さんに感謝） 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「データマイニング+WEB＠東京 について」(15分) 講師：[Twitter:@hamadakoichi] オー
IPython NotebookでApache-Sparkを動かす - 雑記帳
背景 ビッグデータとかリアルタイム解析とかデータマイニングとか機械学習とか、皆が面白そうにブログ書いてたり話してたりしてるから興味あるんですよ。面白そうなんですよ。 で、個人的に興味があって調べていますというただそれだけです。 下手の横好き以下なので、何をいまさらレベルのことをやりながら楽しんでます。 ※ 前回の投稿と同じです やること IPython NotebookでApache-Sparkを動貸せるように設定するだけです。 ググれば色々出てくるけど自分の近くに置いておきたいのでメモ。 さっき知ったけど、sparkの1.2.0が出てたので既に微妙に古い。 けどどうせ同じで大丈夫と思ってる。 前提 PCローカルで動かすこと IPython Notebookが起動出来ること 環境 Windows 7 / Mac OS X Yosemite / Ubuntu 14.11 全部64bit 手順
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
