第6回 Hiveでボトルネックとなってきたメタデータ、HBaseを使ってレイテンシの改善に挑む ―「Hadoop Summit 2016 San Jose」から | gihyo.jp
IT Cutting Edge ─世界を変えるテクノロジの最前線 第6回Hiveでボトルネックとなってきたメタデータ、HBaseを使ってレイテンシの改善に挑む ―「Hadoop Summit 2016 San Jose」から 2016年6/28～6/30（米国時間）の3日間に渡って米サンノゼで開催された「Hadoop Summit 2016 San Jose」（主催: Hortornworks／Yahoo!）では、2016年のHadoopトレンドを紹介する数多くの技術／事例セッションが行われました。本稿ではそのひとつ、Hortonwokrsによるセッション「hive HBase Metastore - Improving Hive with a Big Data Metadata Storage」をもとに、HiveのメタデータをHBaseでストアすることでHiveの低レイテンシ化を図る技
Kuduリリース！
オープンソースの新しいストレージエンジン、Kudu ついに本日アナウンスされた Kudu (クドゥ）、次世代ハードウェアにも対応するオープンソースのストレージエンジンです。まだベータ版ですが、3年もの開発期間を経てついに公開されました！ Super excited to finally talk about what I've been working on the last 3 years: Kudu! http://t.co/1W4sqFBcyH http://t.co/1mZCwgdOO5 — Todd Lipcon (@tlipcon) September 28, 2015 数日前にリークされた記事に「KuduはHDFSやHBaseを置き換えるものだ」と書かれていましたが、それは間違いです。詳細はFAQなどにも書かれていますが、HDFSとHBaseを補う新しいストレージエンジンです
HBase Meetup Tokyo Summer 2015 #hbasejp のまとめ
2015/6/26に開催されたHBase Meetup Tokyo Summer 2015のまとめです。 http://www.zusaar.com/event/14057003
LINEの100億超/日メッセージを支える Redis・HBaseのスケールアウト・アップ戦略 #linedevday - Togetterまとめ
リンク linedevday.linecorp.com LINE DEVELOPER DAY_2015 Tokyo LINE DEVELOPER DAY_2015 Tokyo is a technical conference in which our teams of engineers share their various experiences and also address open issues. Shunsuke.N A-5 HBaseとRedisを使った100億超/日メッセージを処理するLINEのストレージ HALL A 13:30 - 14:10 "LINEのメッセージングストレージとしての難しい要求に対して、RedisとHBaseを利用してどのように問題を解決してきたかについて紹介します。 最初にLINEでのストレージのユースケースを共有した上で、ストレージの可用性を
HBase 0.98でのファイル配置（HDFS）
３日目です。 HBaseのバイブルとなっている、オライリーから出版されている書籍、HBase。(通称馬本)。個人的には象本よりも愛用している（せざるを得ない）素晴らしい本ですが、出版されてから2年が過ぎ、現在のバージョンとは違っているところも増えてきました。 馬本２版発売決定？ 幸いな事に、現在第２版が執筆中のようで、O’Reillyのサイトによると来年5月ぐらいに発売される予定とのこと。（ちなみに、Hadoop 4版（象本）も来年の春とのことで、こちらは既に先行発売されています。Apache Sparkのチャプターも追加されていました）。日本語版が楽しみですね。 しかし悠然と待ってはいられないので、HBase 0.98.1 を用いてHBaseのルートディレクトリ以下の情報をまとめてみました。（馬本のP.343付近に記載されているものと同じです）。出版されるまでの短い期間は役立つかもしれま
A Survey of HBase Application Archetypes
Speakers: Lars George and Jon Hsieh (Cloudera) Today, there are hundreds of production HBase clusters running a multitude of applications and use cases. Many well-known implementations exercise opposite ends of the HBase's capabilities emphasizing either entity-centric schemas or event-based schemas. This talk presents these archetypes and others based on a use-case survey of clusters conducted by
GoogleのBigtableがなぜスケールするのか、などについて識者の議論 － Publickey Topics
New Custom Timeline 保存版の議論。はじめてTwitter Custom Timelineを作ってみたけど、めんどくさいね。 Permalink | Tag： Bigtable , Google About Publickey Topics 「Publickey Topics」は、エンタープライズIT、クラウド、Web標準などのトピックスを紹介するキュレーションメディアです。 ブログメディア「Publickey」を書くために集めた情報を基にしています。 Publickey Topicsの新着情報をチェックしませんか？ Twitterで ： @Publickey RSSリーダーで ： Feed Blogger in Chief Junichi Niino（jniino） IT系の雑誌編集者、オンラインメディア発行人を経て独立。新しいオンラインメディアの可能性を追求しています
HBase 0.96 で導入される新しいコンパクション「Exploring Compaction」 - 科学と非科学の迷宮
Hadoopアドベントカレンダー2013、3日目を担当する @shiumachi です。 今回は HBase 0.96 の新機能を一つ紹介します。 要約 HBase 0.96 は賢くなったのでみんな使おう。 コンパクションのおさらい HBase では、Log Structured-Merge tree (LSM-tree) というデータ構造を使っています。 LSM-tree を簡単に説明すると、入力されたデータをログとメモリ上のデータストア(Memstore、メモリストア) に書き込みます。 メモリストアがいっぱいになると、まとめてディスクにフラッシュし、新しいストアファイルを生成します。 このストアファイルがたまってきたときに、少しづつ一まとめにしてなるべくファイル数を少なくするようにします。これがコンパクションです。 コンパクションを実行することにより、ファイルは一つにまとまります。こ
なぜApache HBaseを選ぶのか？ #cwt2013
#cwt2013 ClouderaのJonathan Hsieh @jmhsieh によるHBaseの最新情報のスライドを公開しました。CDH5のHBase 0.96では耐障害性が強化され、障害発生時も書き込みは数秒、読み込みは10秒以内に復旧します。
HBaseCon 2013: Realtime User Segmentation using Apache HBase -- Architectural Case Study
HBaseCon 2013: Realtime User Segmentation using Apache HBase -- Architectural Case Study
staltz / HAcid / wiki / Home — Bitbucket
Atlassian Sourcetree is a free Git and Mercurial client for Windows. Atlassian Sourcetree is a free Git and Mercurial client for Mac. You caught us doing some quick maintenance, temporarily restricting your repository to read-only access. HAcid HAcid enables multi-row transactions in HBase. This is a decentralized transaction manager that runs on the client side through a jar library, using specia
Fusion-io, proud member of the SanDisk family.
Fusion-io, proudly part of SanDisk Discover SanDisk Data Center Solutions
Near Real-time Processing Over Hadoop and HBase
From MapReduce to realtime This post covers much of the Near-Realtime Processing Over HBase talk I’m giving at ApacheCon NA 2013 in blog form. It also draws from the Hadoop, HBase, and Healthcare talk from StrataConf/Hadoop World 2012. The first significant use of Hadoop at Cerner came in building search indexes for patient charts. While creation of simple search indexes is almost commoditized, we
HBaseのデータ書き込みフロー Part 2 - wyukawa's diary
以前HBaseのデータ書き込みフローについて下記ブログを書きました。 HBaseのデータ書き込みフロー - wyukawa’s blog どういう内容かというとHBaseでデータの書き込みを行う場合は、メモリ上のMemStoreに書き込むとともにディスク上のHLogにも書いて耐障害性を高め、最終的にはMemStoreがディスク上のHFileにフラッシュされるという話です。HFileの数が多くなってきた場合はコンパクションが実行されて複数のHFileがマージされます。 本エントリではHBaseのデータ書き込みについてもっと掘り下げてみたいと思います。 馬本でいうと「8.3 ライトアヘッドログ」辺りの話です。HBaseでいうライトアヘッドログ(Write Ahead Log。WALと略されることもあり)はHLogのことです。 Apache HBase Write Path - Cloudera
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HBaseとRedisを使った100億超/日メッセージを処理するLINEのストレージ
NGDATA | Rowlog: A message queue system on top of HBase
HBaseを使って簡易アクセス解析サービスを作ってみよう
http://www.spaggiari.org/media/blogs/hbase/pdf/performances_20130628.pdf
GitHub - sechiro/zbx_hadoop_monitor
HBase at Ameba
