Zabbix jp勉強会 Hadoop-HBaseの監視_20120512
1. Zabbixによる Hadoop/HBaseの監視 Hadoop/HBaseの運用におけるZabbixの活用事例 日本ヒューレット・パッカード株式会社 テクノロジーコンサルティング統括本部 データセンターソリューション第一本部 コアテクノロジー部 石田精一郎 1 © Copyright 2012 Hewlett-Packard Development Company, L.P. 2011 2. 本日のお題 • お話ししたい内容 • Hadoop/HBase概要 • Hadoop/HBaseの監視と運用 • Hadoop監視プラグインの中身 • Hadoop監視を効率化するZabbixの機能 • まとめ • Appendix – インフラエンジニアなら監視しておきたいHadoopメトリクス – HP サービス紹介 2 © Copyright 2012 Hewlett-Packard D
第4回社内Hadoop勉強会が開催されました。 - ミッションたぶんPossible
先週土曜は社内で不定期開催のHadoop勉強会が開催されました。講師はいつもの@choconeco。今回はHadoopからちょっと離れて「アルゴリズム」がテーマに扱われました。Hadoopは分散処理のアーキテクチャで、1CPUで全て処理するものと同じように実行しようとすると、処理できない、というケースが多発するとのこと。分散処理に向いたアルゴリズムを適切に選択し、Hadoopを様々なシーンで有効活用できるようにするのが狙いです。 最初は「Make10」。1〜9までの数字を1つずつ4つ使って四則計算で「10」になる計算式を探し出すプログラムを作る、というもの。例は以下。これをプログラムで自動でピックアップしていくわけです。 (1 + 3 - 2) * 5 = 10 これが相当難しい。FizzBuzzくらいの難易度で出来るかなぁと思ってたら、全然歯が立ちませんでした。一応その場でJavaで即興
「いまさら聞けないHadoop勉強会」が開催されました - ミッションたぶんPossible
久々のブログ更新。すっかりサボってました。社内に戻ってきたらもっと自由に時間使えるかと思っていたら、色々とゴタゴタあり過ぎて逆に全然余裕が無い状態になっています。充実しているのはいいですが、アウトプットが少ないのは宜しくないですね。月も変わったことだし、ちゃんと気合入れ直して書いていきたいと思います。 先週末の2/4(土)は社内で「いまさら聞けないHadoop勉強会」が開催されました。主催はオレ、講師は無着衣系エンジニア：@choconeco(通称：裸王)*1。彼は以前開催した勉強会でも講師を務めてくれています。 そもそもは、オレが現在参画しているスマートフォン案件のお客さんから「Hadoopで検証実験をしたいんだけど。」とプロトタイプ開発と検証を依頼されたことが発端。紆余曲折があり、オレ自身は殆どその案件には関われなくなったんですが、Hadoopは会社でも初めてチャレンジする技術、しかも
今さら聞けないHadoop勉強会 第1回に参加してきた - Diary of absj31
1月19日 今さら聞けないHadoop勉強会 第1回(東京都) ちょっと書くタイミングを逸したので今件に関してはスライド参照のみで割愛。 (25) 今さら聞けないHadoop View more presentations from Toru Takizawa 替わりと言っちゃあ何だが、主だった各種リンクをざっくりまとめてみた。今後の学習の参考にして行きたいと思います。 公式・概要 Welcome to Apache™ Hadoop™! Hadoopユーザー会 Hadoop - Wikipedia 基礎・入門 Welcome to Apache Hadoop! いまさら聞けないHadoopとテキストマイニング入門 (1/3) - ＠IT MapReduceのJava実装Apache Hadoopを使ってみた (1/3) - @IT Hadoop、hBaseで構築する大規模分散データ処理シス
MapR勉強会にて - 急がば回れ、選ぶなら近道
先日MapR勉強会に参加した、というか主催者だったので、一応まとめ。 細かい内容とかは以下にまとめてくださった方々がいらっしゃるので感謝でございます。 @znj6さん MapR(GreenPlumHD)の中身説明会参加 http://zenjiro.wordpress.com/2012/01/19/inside-mapr-briefing/ @johtaniさん 2012.01.20 Friday MapR中身説明会に参加しました。 http://johtani.jugem.jp/?eid=57 t_otodaさん [Hadoop][MapR]MapR(GreenPlumHD)の中身説明会に参加してきました。 http://tech.hatenablog.com/entry/2012/01/19/234644 moguzoさん 「MapR(GreenPlumHD)の中身説明会」に参加してき
第1回EMR勉強会に参加しました | DevelopersIO
こんにちは。くろの（福田）です。 先日、第1回EMR勉強会に参加してきました。 ■開催概要 日時：2011年12月15日（金） 場所：タイムズビル24 主催：ヴェルク株式会社、クリエーションライン株式会社 Webサイト：http://atnd.org/events/23056 ハッシュタグ：#emrstudy_jp ■クラウド型Hadoop Service - Amazon Elastic MapReduce クリエーションライン株式会社 李さん クラウド型Hadoopサービス オンデマンド －ジョブフロータイプ、データ処理タイプ、クラスタ規模を指定してHadoop作成 プロビジョン Hadoopクラスタ構成/ソフトウェアインストールが自動的に行われる Amazon S3、RDS、SimpleDB エフェメラル －結果がS3に保存され、ジョブフローは削除される ephemeral：はかない
VLDB2011勉強会 Research Session 18: MapReduce and Hadoop
1. 【VLDB2011勉強会】 Session 18: MapReduce and Hadoop 担当： 塩川浩昭（NTT） 1 2. 紹介する4本の論文 1. Column-Oriented Storage Techniques for MapReduce Avrilia Floratou, Jignesh M. Patel(University of Wisconsin Madison), Eugene J. Shekita, Sandeep Tata (IBM) 2. Automatic Optimization for MapReduce Program Eaman Jahani, Michael J. Cafarella (University of Michigan), Christopher Re (University of Wisconsin Madison) 3. C
Hadoopソースコードリーディング第7回に行ってきました - Tech Log - s21g
Hadoop World NYC 2011の参加レポートがあるということをTwitterで発見して、Hadoopソースコードリーディング第7回に行ってきました。 アジェンダは下記の3つ Hadoop World NYC 2011 参加レポート Part.1 Hadoop Troubleshooting 101 セッションレポート Hadoop World NYC 2011 参加レポート Part.2 それぞれで気になったところをメモ。 Hadoop World NYC 2011 参加レポート Part.1 Hadoop World NYC 2011の概要紹介と基調講演の内容の紹介といった感じ。会場の様子の紹介を聞く限りは盛況だったようですね。 参加者についてのトピックとしては、 利用者の平均Hadoopクラスタは120ノード 12.8％は1PB以上のデータ量 だとか。 基調講演の内容として
gumiStudy #10「ソーシャルゲームの解析を支える技術-Hadoop編-」開催致しました - gumi Engineer’s Blog
度々登場しております、gumiの新居です。 最近勉強会報告のブログばかりとなっておりますが、また何か面白いネタがあれば書きたいなーと思いつつ業務に追われ後手後手に回っております。。。 ということで、遅くなりましたが、先日11/8（火）、【エンジニアカフェEvent×gumiStudy】ソーシャルゲームの解析を支える技術-Hadoop編-を開催致しました。 ちなみにMongoDB編はこちら↓↓↓ gumiStudy #9「ソーシャルゲームの解析を支える技術-MongoDB編-」開催致しました 弊社からは堀内と本間、そしてAmazon Web Services（AWS）を提供されているアマゾンデータサービスジャパン株式会社から大谷様をお招きし、発表を頂きました。 会場は、今回もパソナテック様にご提供頂きました。 ソーシャルゲームとデータ解析 まずは弊社CTO堀内から、開会の挨拶と「ソーシャルゲ
第14回 データマイニング+WEB 勉強会＠東京( #TokyoWebmining 14th)－大規模分散データマイニング 祭り－ を開催しました - hamadakoichi blog
2011/10/16 "第14回 データマイニング+WEB 勉強会＠東京"を開催しました。 第14回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 14th)−大規模分散データマイニング 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「データマイニング+WEB勉強会＠東京 について」(10分) 講師 ： id:hamadakoichi [Twitter:@hamadakoichi] オープニングト
第一回社内Hadoop勉強会が開催されました - ミッションたぶんPossible
昨日は@choconeco 主催で社内Hadoop勉強会が開催されました。3時間程度を3部に分けてHadoopのさわりについてみっちり・・・というと日本語として変ですが、しっかり準備してきてくれたので社内勉強会としてはかなり本気の内容だったと思います。あれなら金取れるんじゃないかなぁ。 Hadoopとは〜Hadoopのアーキテクチャ解説 Hadoopを利用したビジネス展開 ハンズオン Hadoopのアーキテクチャは前提知識無しだととても難しいので、かなり丁寧に資料を作ってきてくれたのですが、それでもスンナリ頭には入らず・・・。オレらでそんなんだから会社の他の連中だともっとシンドイでしょうねぇ。Hadoopを他者に説明するやり方として「Hadoop = インフラ = あることさえ意識しなくて済むように使う」と説明するというのは非常に解り易かったです。 ハンズオンはHadoopを簡単に使える「
2011-06-30
http://www.apple.com/jp/startpage/ これは、すごいイベント！！！ 一日でもいい、行ってみたいものだぁ〜！ UKだからか、あまり知ってるアーティストいないが。 セッショントークもあるみたいだし、これはいいイベントじゃないかなぁ〜！ 昨日参加した内容を整理します。 ☆Hadoopを中心とした分散環境での開発方法論・モデリング・設計手法等についての座談会(第5回） トークした人：JR(システム部門) 九州電力(システム部門) JRどこだかは不明だったですが。 かなり突っ込んだ話をされてました。 中身濃かったです。 ■鉄道基幹システムの開発 現状のシステムの構成など 耐用年数:10年〜25年(長いものでは25年変わらない・・・汗) ⇒ 鉄道ポイント切替の耐用年数が25年らしい 開発基幹:1〜5年 新しいMW/HWの仕組みを導入するに当たって 2年 調査 2年 検証
Hadoopモデリング座談会（第5回）へ行ってきました - 虎塚
第5回とのことですが、自分は初めて参加しました。 そもそもHadoopとタイトルにつくイベントへ行ったのは、初めてでした。これまで遠巻きに見ていましたが、何か、色々あって参加することに。 zusaar.com - zusaar リソースおよび情報 2011/06/29_Hadoopを中心とした分散環境での開発方法論・モデリング・設計手法等についての座談会(第5回） #hadoopmodeling - Togetter せっかくなのでノートを上げておきます。 1. 「鉄道システムへの誘い」 [twitter:@ayasehiro]さん 発表の目的は、「学生の方に鉄道システムに興味を持ってもらうこと！」とのこと。 鉄道システムの開発のお話 システムは一度作ったら長く使う 耐用年数10年以上 開発のスパンも長い 長いときで5年くらい 製造に時間をかけられない 半分が開発、半分が試験 開発
Kansai.pm での発表資料 (Hadoop Streaming で MapReduce) - naoyaのはてなダイアリー
Kansai.pm に参加しました。とても楽しかったです。自分も "Hadoop Streaming で MapReduce" という題目で発表しました。取り急ぎ、資料を以下に公開します。 http://bloghackers.net/~naoya/ppt/080530kansaipm.ppt MapReduce は Google のバックエンドで動いている分散並列バッチ処理システムです。GFS は Google の分散ファイルシステムです。Google ウェアのクローンとしてオープンソースで開発されているのが Hadoop。Hadoop は Yahoo! Inc や Facebook, Amazon.com などでも利用されているとのこと。Hadoop は Java ですが、Hadoop Streaming を使うと Java 以外でも MapReduce できます。 以下のエントリも合
第10回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 10th)を開催しました −2nd Week−大規模分散 機械学習 祭り− - hamadakoichi blog
2011/04/10 "第10回 データマイニング+WEB 勉強会＠東京−2nd Week−大規模分散 機械学習 祭り−"を開催しました。 第10回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 10th)−2nd Week−大規模分散 機械学習 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「データマイニング+WEB勉強会＠東京 について」(10分) 講師 ： id:hamadakoichi [Twitter:@hamadakoi
第９回 データマイニング+WEB 勉強会＠東京に参加してきた - nokunoの日記
というわけで行ってきました。第９回 データマイニング+WEB 勉強会＠東京 ( TokyoWebmining 9)?1st Week? 大規模解析・機械学習・クオンツ 祭り? : ATNDFirst Weekって。■大規模解析：1. Mahout Canopy Clustering (講師：@hamadakoichi)(発表30分＋議論60分) Canopy Clusteringは通常の多くの手法と異なり、クラスタ数指定を必要とせず、指定距離 離れたクラスタ算出を実現する。 Hadoop上で動作する大規模データマイニング・機械学習ライブラリ Mahoutでの実行法も含めお話しします2. 機械学習＝機械の代わりに人間が学習 (講師：@shuyo))(発表20分＋議論40分) Gihyo.jp でも機械学習の連載し裾野を広げる活動をされている @shuyo さん。 今回、機械学習の歴史や専門外
DEVLOVE HangarFlight - Winter Sortie - - n3104のブログ
https://sites.google.com/a/devlove.org/development/past-beneficiaries/devlove-hangarflight http://kokucheese.com/event/index/6308/ 今回はスタッフ兼スピーカーという立場で参加させてもらいました。一年前のDevLOVE 2009 FUSION - n-3104の日記では一参加者という立場であったことを考えると、この一年で立ち位置が変わったなぁーと思いました。去年から勉強会に参加するようになって、いつかはスピーカーになりたいと思っていたのですが、こんなに早くその立場になるとは思いもしませんでした。きっとDevLOVEの巻き込み力のおかげだと思います。ほんと感謝しています。 スライド ということで、公の場での初スライドです。 ただいまHadoop勉強中View mor
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://atnd.org/events/23817
Hadoopソースコードリーディング第7回に参加しました。 | @johtani の日記
オライリー「Hadoop」勉強会で２章を担当した話（ストリーミング動かず） - ビットの海に溺れて