TechCrunch | Startup and Technology NewsWelcome back to TechCrunch’s Week in Review — TechCrunch’s newsletter recapping the week’s biggest news. Want it in your inbox every Saturday? Sign up here. Over the past eight years,…
『HBaseCon2013参加レポート（後編）』
General Sessionの中で出てきたHBaseエコシステムに触れると、今年のHBaseConのセッションのいくつかを紹介できるのでまずHBaseエコシステムについて書きます。 Hadoopエコシステムの1つとしてHBaseがあるわけですが、そのHBase自身のエコシステムも発展してきています。まず、SQLライクなクエリでHBaseにアクセスできるオープンソースプロダクトとして、ClouderaのImpala、SalesForceのPhoenix、Apache Drillといったものがあります。今回それぞれ本カンファレンスでセッションがありました。 Impala はデータサイエンティストがHadoop上のデータをインタラクティブに解析できることを目指したクエリエンジンで、HBase・HDFSの両方をサポートしています。高速に動作するようC++で開発されており、クエリがHiveQLがベ
『HBaseCon2013参加レポート（前編）』
2013年6月13日に開催されたHBaseCon2013に参加してきましたのでレポートさせていただきます。HBaseConは、Apache HBaseの貢献者、開発者、管理者およびユーザのためのコミュニティイベントで、年1回開催されています。 今回はサンフランシスコのマリオット・マーキースホテルが会場で、講演は4トラック構成になっており、参加者は興味のあるものを選択して聴講していきます。 それでは、早速セッションの紹介に移りたいと思います。私は、Facebook、Yahooの中の人のセッションを紹介します。長文ではありますが、とても興味深い内容だと思いますので、是非最後までご覧ください。 HBase use cases at Facebook Liyin Tang, Software Engineer, Facebook & HBase PMC Member Facebookは、大規模なデ
「LINE」を支えるHBaseの裏側など、Hadoop Conferenceが開催
オープンソースソフトウエア（OSS）の分散バッチ処理ソフト「Hadoop」のユーザー会「Hadoop Conference Japan 2013 Winter」が2013年1月21日、東京ビッグサイトで開催された（写真1）。スマートフォン向けコミュニケーションツール「LINE」を運営するNHN Japanの中村俊介氏が、LINEのストレージとして利用する「HBase」の運用ノウハウを語るなど、ユーザー企業やHadoop関連ベンダーによる21セッションが行われた。 Hadoop Conference Japanが開かれるのは、今回が4回目。冒頭のセッションでは、Hadoopのオリジナル開発者であるダグ・カッティング氏（Apacheソフトウエア財団会長）がビデオメッセージを寄せ、今後のHadoopの開発方針などを説明した。 Hadoopは、米グーグルが2000年代前半に論文発表した分散ファイル
HBaseについての情報源 - wyukawa's diary
クレジットカード現金化詐欺【業界人が教える口コミ情報】 の12/2分として書きます。 内容は薄いというかHBaseの情報源についてのまとめエントリです。 ■本家 Top http://hbase.apache.org/ JIRA https://issues.apache.org/jira/browse/HBASE Subversion http://svn.apache.org/repos/asf/hbase/ ■書籍 HBase 作者: Lars George,Sky株式会社玉川竜司出版社/メーカー: オライリージャパン発売日: 2012/07/25メディア: 大型本購入: 1人 クリック: 9回この商品を含むブログ (5件) を見る 通称馬本。なにはさておきまずはこれ。 序盤はJava APIの解説が多いが8章がアーキテクチャの話でここがメインだと思う。 HBase in Actio
Facebook's HBase Backups - StampedeCon 2012
At StampedeCon 2012 in St. Louis, Pritam Damania presents: Reliable backup and recovery is one of the main requirements for any enterprise grade application. HBase has been very well embraced by enterprises needing random, real-time read/write access with huge volumes of data and ease of scalability. As such, they are looking for backup solutions that are reliable, easy to use, and can co-exist wi
第2回NHNテクノロジーカンファレンスでしゃべってきた - たごもりすメモ
勤務先が主催でNHNテクノロジーカンファレンスという技術者向けイベントをやってるんだけど、その登壇者として社外の誰かから推薦されたらしいので(何故……)、ひとセッションしゃべってきた。なお「HBase at LINE」の発表は「HBaseについて誰かいない？」と主催の伊勢さんに聞かれたのに自分が推薦しました。みんなありがたがるといいよ。 他の人の話も、懇親会でのあれやこれやも大変楽しかった。HBaseなー、火山かー、みたいな。そのうち techblog にまとめエントリが上がるんじゃないでしょうか。それまでこっちでも見ると当日の状況が多少なりわかるかもしれません。 第2回NHNテクノロジーカンファレンス #nhntech まとめ - Togetterまとめ で、自分がしゃべったときのスライドはこちら。(slideshareのembed用タグを埋めてもはてなダイアリーに弾かれてしまう…… 対
目指せHadoopエンジニア-管理者・DBエンジニア編-
前編の「開発者編」では、Apache Hadoop（以降Hadoop）の歴史と概要に加え、開発者に必要な知識を客観的に証明できる認定資格、CCDH(Cloudera Certified Developer for Apache Hadoop)を紹介しました。後編では、Hadoopの管理者に求められる知識に加え、Hadoopの管理者向け認定資格、また最近のHadoop関連の話題とカラム指向分散データベースであるApache HBaseの紹介、およびHBaseの認定資格を紹介します。 Hadoopの管理者に求められるもの 前編で紹介したように、Hadoopでは一台から数千台規模のクラスタを構築することが可能であり、必要に応じてスケールアウトさせることができます。Hadoopは非常に強力ですが、管理するのはそれほど簡単ではありません。言い換えると、正しい知識を持たずに運用すると、大きなトラブルが
livedoor Techブログ : 第2回NHNテクノロジーカンファレンス開催！
(※ 2012.7.27追記 : 講演5を追加しました) NHN技術部会、株式会社データホテルの伊勢幸一です。 おまたせいたしました。 お約束通り、来る8月18日（土)、第2回NHNテクノロジーカンファレンスを開催します！ 今回のテーマはこちら！ 「H （エッチ)」 もともと本当は第2回テーマとして今流行のHTML5大特集を予定していたのですが、前回のカンファレンスでスピーカーをして頂いたGREEの藤本さんから、 「LINEで使っているHBaseの話を聞きたい」 という余計な突っ込みというか、プレッシャーを与えられまして、思わず、 「じ ・・・・ 次回に ・・・・」 と言ってしまい(やっべー！次回はHTML5で行く予定だったんだけど)、HTML5とHBaseじゃ全くカテゴリーが違うし関連性も無いのでどうするか、何か共通性が無いか？と、悩んでおりましたところ、 「あれ？両方とも頭文字が「H」
HBaseのRow Keyの設計についてのメモ - wyukawa's diary
Facebook Messageで使われたり、LINEのストレージで使われたり、と事例も多く出てきているHBase（Bは大文字。これ重要）ですが、個人的に少し興味も湧いてきたのでちょっと調べてます。HBaseはLog-Structured Merge-tree (LSM-tree)というアーキテクチャを使っており大量データの書き込みに最適化されています。なので大量の書き込みがあり読み込みは直近のもののみというメッセージ系アプリに向いているんだと思います。 そういえば半額に釣られてManning | HBase in Actionも買ってしまいました。 この本の4章のRow Keyの設計についての話があってそれがちょっと面白かったので関連してRow Keyについて少し書いてみます。 まずHBaseはカラム指向のデータベースと呼ばれますがデータモデルは多次元ソートマップです。 図解すると下記の
Osc2012 spring HBase Report
1. 今話題のHadoop HBaseの 性能検証結果と Zabbixによる性能監視のご紹介 日本ヒューレット・パッカード株式会社 テクノロジーコンサルティング統括本部 データセンターソリューション第一本部コアテクノロジー部 石田精一郎 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Confidentiality label goes here 2. お話ししたい内容 • インフラの観点からのHBase • どのように信頼性が確保されているのか • スケールアウトやIOのアーキテクチャ • 性能監視のポイント • 検証の観点とハマりどころ • プロダクトの基本的な特徴、性能特性の確
Zabbix jp勉強会 Hadoop-HBaseの監視_20120512
1. Zabbixによる Hadoop/HBaseの監視 Hadoop/HBaseの運用におけるZabbixの活用事例 日本ヒューレット・パッカード株式会社 テクノロジーコンサルティング統括本部 データセンターソリューション第一本部 コアテクノロジー部 石田精一郎 1 © Copyright 2012 Hewlett-Packard Development Company, L.P. 2011 2. 本日のお題 • お話ししたい内容 • Hadoop/HBase概要 • Hadoop/HBaseの監視と運用 • Hadoop監視プラグインの中身 • Hadoop監視を効率化するZabbixの機能 • まとめ • Appendix – インフラエンジニアなら監視しておきたいHadoopメトリクス – HP サービス紹介 2 © Copyright 2012 Hewlett-Packard D
CassandraとHBaseの比較して入門するNoSQL
第10回Cassandra勉強会にて発表したスライドに、勉強会後のフィードバックを反映させた物です。Read less
Hadoopソースコードリーディング第7回に行ってきました - Tech Log - s21g
Hadoop World NYC 2011の参加レポートがあるということをTwitterで発見して、Hadoopソースコードリーディング第7回に行ってきました。 アジェンダは下記の3つ Hadoop World NYC 2011 参加レポート Part.1 Hadoop Troubleshooting 101 セッションレポート Hadoop World NYC 2011 参加レポート Part.2 それぞれで気になったところをメモ。 Hadoop World NYC 2011 参加レポート Part.1 Hadoop World NYC 2011の概要紹介と基調講演の内容の紹介といった感じ。会場の様子の紹介を聞く限りは盛況だったようですね。 参加者についてのトピックとしては、 利用者の平均Hadoopクラスタは120ノード 12.8％は1PB以上のデータ量 だとか。 基調講演の内容として
HBase勉強会（第三回）のメモ - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 HBase勉強会（第三回）に参加させていただきましたので、そのメモです。 Togetter： Hbase勉強会（第三回） #hbaseworkshop 今回のテーマはOS・ハードウェア・ネットワーク。自分の苦手分野ばっかりですな（得意分野を聞かれても答えに窮するが）(爆) 最初に軽く@tatsuya6502さんからHBase本が公開レビュー中という話とHBaseブックの日本語訳が2011/5/2にあしたのオープンソース研究所で公開されたというお話。 まずはClouderaの@shiumachiさんからHBase向けハードウェアのポイントについて。 どこがボトルネックになるか？という点について、HadoopがI/Oインテンシブ（ディスク・ネットワークが重要）で、HDFS上で
Hbase勉強会（第三回） #hbaseworkshop
Tatsuya Kawano @tatsuya6502 HBase 勉強会（第三回）は今夜19:00からです。補欠の方がいらっしゃいますので、参加もできなくなってしまった方は、キャンセルをお願いします。 #hbaseworkshop http://t.co/BkV90ka
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HBase at Ameba
Cloudera Standard のご案内 ~ 無償版 大幅機能強化のお知らせ | Cloudera Japan
HBase本(馬本）刊行記念 著者Lars George氏 来日特別セミナーまとめ
HBase at LINE
