2013年 Hadoop 運用ログ @ Treasure Data | Post Moratorium
2013年 Hadoop 運用ログ @ Treasure Data Hadoop Advent Calendar 2013、5日目のエントリです。2日遅れてすいません！ 細かいのは上げればキリが無いんだけど、誰かの役に立てばと思い Treasure Data でHadoopクラスタを運用してみたログ 2013年度版を公開してみます。 対象バージョン2013年には、ディストリビューションのアップグレードを5回ほど行いました。 CDH3u0CDH3u1CDH4.1.2CDH4.2.0CDH4.2.1メジャーアップグレードは複数バージョンを同時に走らせて問題が無いことを確認後、切り替えを行っています。しかしCDH3って既にEnd of Maintenanceなんですね、知らなかった。 運用体制約3名、年末には約8名程。約100社に向けてサービス運用をしていて、数分ジョブが刺さるだけでもサポートチ
バッチ処理、ジョブ管理について書いてみる - wyukawa's diary
僕はHive, Pythonでバッチ処理を書いてAzkabanでジョブ管理するシステムを構築、運用した経験が2年ほどあるので今日はバッチ処理、ジョブ管理について書いてみようと思います。 僕の経験上Hadoop特有の部分、例えばテスト環境が作りづらいとかバッチサーバーはジョブをsubmitするだけなので負荷はそんなにかからないとか、はあるけれど割と汎用的なのではないかと思います。そもそもバッチ処理、ジョブ管理について書かれたものはほとんど見た事がないので参考になれば嬉しいし、こういう良い方法もあるよ！とかあれば是非ブログ等に書いてほしいと思っております。 最初に言っておくとバッチ処理、ジョブ管理において重要なのは障害時のリカバリのしやすさです。正常時はまあいいでしょ。 なので例えば引数に日付を持てないようなバッチ書いたら辛いですし、LL言語で書く方がコンパイル、パッケージングとか楽です。CP
Hadoopを使ってEveOnlineのマーケットデータを解析してみた | Little by little, and bit by bit
一部抜粋してみた。 これをみていると次の事が分かる。 orderid : 3367478423 をみてみるとreportedtime 2014-02-03 23:27:50.757008 と2014-02-03 23:58:17.077872でvolremain（在庫数）が異なる この差をみるとこの間に1496個差がある。 つまりは、30分あまりでtypeid:37(typeidはアイテム番号）がstationid:60015021（これどこのステーションだろ）で1496個売れた事がみえてくる。 こんな感じで解析していけばどこで何がうれたのかわかります。（実際のEveonline上のデータではないので正確なのはわからないが、なんとなくはつかめるはず） また、ordered:3370586756は報告日時が2014-02-03 02:09:47.146754で終わっているが、上記のデータから
ページが見つかりません | 日本HP
ページが見つかりません。 目的のページは、移動または削除によって無効になっている可能性があります。申し訳ありませんが、検索またはリンク先よりお探しください。
zabbixでhadoopクラスタのJVMを監視したい - Tech-Sketch
なぜzabbix？ Hadoop監視ツールとしてはAmazon Elastic MapReduceでの利用や、NTTデータが公表した 検証資料 で採用された Ganglia の方が有名ですが、日本ではユーザ会の活動も活発なzabbix を使って監視したい！という方のためのアプローチです。zabbixに強いTISの某I氏が作成したものを引き取ってJVM監視用に拡張しました。 zabbix-server-1.8.5に含まれているzabbix-templateにはjmxを使った定義も格納されているのですが、portの特定等少々面倒なようなので、新たに定義しなおしています。 監視のためにやったこと 基本的にはawkでJVMやリソース情報を取るスクリプト書き、zabbix-agentから呼び出しています。 こんな感じです。 ps auxww で取れる情報から、指定のプロセスを実行クラス名でgre
Osc2012 spring HBase Report
1. 今話題のHadoop HBaseの 性能検証結果と Zabbixによる性能監視のご紹介 日本ヒューレット・パッカード株式会社 テクノロジーコンサルティング統括本部 データセンターソリューション第一本部コアテクノロジー部 石田精一郎 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Confidentiality label goes here 2. お話ししたい内容 • インフラの観点からのHBase • どのように信頼性が確保されているのか • スケールアウトやIOのアーキテクチャ • 性能監視のポイント • 検証の観点とハマりどころ • プロダクトの基本的な特徴、性能特性の確
日々進化するHadoop。これまでのおさらいと最近の動向（前編）
大規模な分散処理フレームワークとしてHadoopが登場したことにより、ビッグデータのブームや、大規模なソーシャルゲームでのログ解析による改善、コマースサイトでの機械学習によるレコメンデーションなど、多くの変化が引き起こされてきました。 そしてそのHadoop自体も、日々進化し続けています。 Hadoopとはどういうソフトウェアであり、いまどのような状況になっているのか。NTTデータの濱野賢一朗氏が、先日行われた第2回 NHNテクノロジーカンファレンスで行ったセッション「日々進化するHadoopの『いま』」で分かりやすく解説しています。 この記事ではそのセッションの内容をダイジェストで紹介しましょう。 日々進化するHadoopの「いま」 NTTデータ 基盤システム事業部 濱野賢一朗氏。 NTTデータというところで仕事をしています。NTTデータ自体はもう5年くらいHadoopをやってまして、そ
Hadoopを使ってTwitterやFacebook上での「影響力」を数値化するには - nokunoの日記
Hadoopを使ってTwitterやFacebook上での「影響力」を数値化しているKloutというサービスがあるそうです。大変興味深かったので翻訳してみました。元記事のCloudera社とKout社の許可を頂いて掲載しています（@shiumachiさん、ありがとうございます！） Using Hadoop to Measure Influence | Apache Hadoop for the Enterprise | Cloudera ソーシャルメディア上の影響力測定サービス「Klout」とはKlout | The Standard for InfluenceKloutのゴールは影響力の数値化の分野でのスタンダードになることだ。近年のソーシャルメディアの普及により、多くの測定可能な友達関係に関する情報が手に入るようになってきている。Facebookユーザには、平均して130人の友達がいる
Cloudera製Hadoopによる完全分散モードの構築
Clone via HTTPS Clone with Git or checkout with SVN using the repository’s web address. Cloudera製Hadoopによる完全分散環境の構築 構成 VirtualBox上に構築 namenode 1台 datanode 3台 ホストオンリーネットワーク 192.168.10.x 内部ネットワーク 192.168.20.x IP: Domain 10: master 11: slave1 12: slave2 13: slave3 公開鍵 パスフレーズ無し ssh-keygen -t rsa で作成したものKeyPairを各スレーブにコピーして相互にパス無し接続出来るようにする 構築手順 参考: http://www.kde.cs.tut.ac.jp/~atsushi/?p=64 共通 $ vim /e
DougCuttingの講演から思うことのメモ - 急がば回れ、選ぶなら近道
一応感想というかメモ書き ・DougはApacheのChairmanであり、ポジション的には Clouderaのビジネスを語る立場ではないので、 普通にテクノロジーとして意見を聞くべき ・ビジネス的には仮にC社が買収されたとして 本家がApacheで保護されているので大ジョブというスタンス （この辺は割り引いた方がよいとは思うが） ・ということはスペックリーダーはClouderaではなく Apache本家とみた方が妥当。新規の開発はほぼApache中心で Clouderaはパッケージ担当に近い。万が一に備えて エンジニアも心情的にはそっちに振っているとみた。 ・ApacheHadoopは「インフラ的な役回り」に行こうとしてる。 YARNやMapReduce2.0を見ればわかる通り、 ResourceManagerのワードが山ほど出てくる。 これは「ノード処理はすべて引き受ける」という風に見
Cloudera Blog
In an era where artificial intelligence (AI) is reshaping enterprises across the globe—be it in healthcare, finance, or manufacturing—it’s hard to overstate the transformation that AI has had on businesses, regardless of industry or size. At Cloudera, we recognize the urgent need for bold steps to harness this potential and dramatically accelerate the time to […] Read blog post
Hoopの性能を確認してみたらもうlibhdfsとかオワコンでHoop使えって結果になった - たごもりすメモ
前に書いた エントリ の通りHoopが有望な感じだったんだけどどのくらいの性能が出るのか見てみないことには本番投入して性能出ませんでした乙、ということになりかねない。ので見てみた。 なお検証に関係する環境としては以下の通り。ちなみに前はCDH3u1で試してたけど、今回はCDH3u2 (JDK6u29) on CentOS5。メモリが問題になることは全くないので全て省略。 ベンチ用サーバ Intel Xeon 4Core HT 2.4GHz データ中継サーバ (deliver) Intel Xeon 4Core HT 2.4GHz Hadoop NameNode (+JobTracker) (namenode) Intel Xeon 1Core HT 3.16GHz Hadoop DataNode + TaskTracker x9 Intel Xeon 1Core HT 3.16GHz Ho
Hadoopのトラブルシューティングに関する資料があったのでめもっとく - wyukawa's diary
Hadoop World 2011でClouderaの人が発表した資料を見つけたのではっておく。 Hadoop Troubleshooting 101 - Kate Ting - Cloudera View more presentations from Cloudera, Inc. Clouderaのサポートチームの極意が詰め込まれているようだ。 内容的にはHadoop徹底入門の10章の「性能向上のためのチューニング」と若干かぶっているが参考になります。 io.sort.mb < mapred.child.java.opts とすることとか（ていうかmapred.child.java.optsを増やすことはあるかもしれないがio.sort.mbっていじるもんなのかな）、プロセス数やファイルディスクリプタいじれとか、map出力のスレッドいじれとか、Jetty 6.1.26は使うなとか、盛り
Cloudera配布VMwareパッケージで簡単Hadoop学習環境構築 - takadayuichiのはてなブログ
会社でHadoopやhiveを使っているのですが、自宅で学習環境を構築するのはひと苦労です。 今回は手軽に、Hadoop、hiveさらにはその他のサブプロジェクトを使える環境を整えるため、 Clouderaが配布しているVMwareパッケージを導入してみました。 ※事前にmacへVMwareインストール済 Cloudera VMwareパッケージはこちらからフリーでダウンロードできます。 https://ccp.cloudera.com/display/SUPPORT/Downloads ダウンロードしたcloudera-demo-vm-cdh3u1-vmware.tar.gzを解凍し、 cloudera-demo-vm.vmxファイルを開きます。 すると、VMwareの仮想マシンのライブラリに、cloudera-demo-vmが追加されます。 cloudera-demo-vmを起動します
HadoopのMapReduceジョブのチューニングに関する資料があったのでめもっとく - wyukawa's diary
Hadoop Summit 2012でClouderaの人が発表した資料を見つけたのではっておく。 Hadoop Summit 2012 | Optimizing MapReduce Job Performance View more PowerPoint from Cloudera, Inc. HadoopのMapReduceジョブのチューニングに関するもので、内容的にはHadoop徹底入門の10章の「性能向上のためのチューニング」と若干かぶっているが参考になります。 spillとかのシャッフルフェーズをどうチューニングするかについて詳しく書かれていて、record fullってログに出てたらメタデータがspillしてるからよくないよねみたいなことが書かれてます。 徹底入門だと10.2.2の「Map処理でのフレームワークのチューニング」に書かれていますね。ていうかio.sort.reco
HBase Sizing Notes
The document discusses several key factors for optimizing HBase performance including: 1. Reads and writes compete for disk, network, and thread resources so they can cause bottlenecks. 2. Memory allocation needs to balance space for memstores, block caching, and Java heap usage. 3. The write-ahead log can be a major bottleneck and increasing its size or number of logs can improve write performanc
Cloudera impalaの性能評価（Hiveとの比較）
Hadoop MapReduceの処理速度より1桁速いと聞いて、早速自前のクラスタ環境で評価しました。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
アクセス解析システムの裏側 （公開用）
Apache Hadoop ソリューション向けのリファレンスアーキテクチャ日本語版 -Dell コミュニティ
Clouderaの品質保証・CDHのテスト工程について by Andrew bayer
