MapR Community Edition組込みのMapR-DB NoSQLデータベースが無制限商業利用可能にSpring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
パート 1 – HBase* 用 Java* ガベージ・コレクションのチューニング | iSUS
この記事は、インテル® デベロッパー・ゾーンに掲載されている「Part #1 – Tuning Java Garbage Collection for Hbase」(https://software.intel.com/en-us/blogs/2014/06/18/part-1-tuning-java-garbage-collection-for-hbase) の日本語参考訳です。 このパート 1 の記事では、100% YCSB 読み取りの HBase* 用 Java* ガベージ・コレクション (GC) をチューニングする方法を説明します。パート 2 では 100% 書き込み、パート 3 では 50%/50% 読み取り/書き込みの Java* GC のチューニングを行います。すべての記事で、標準 NoSQL ワークロードである YCSB を使用します。YCSB と HBase* のインスト
Announcing Kylin: Extreme OLAP Engine for Big Data
We are very excited to announce that eBay has released to the open-source community our distributed analytics engine: Kylin (http://kylin.io). Designed to accelerate analytics on Hadoop and allow the use of SQL-compatible tools, Kylin provides a SQL interface and multi-dimensional analysis (OLAP) on Hadoop to support extremely large datasets. Kylin is currently used in production by various busine
@nagix さんによるMapR-M7解説
草薙 昭彦 @nagix 現行HBaseの色々な課題(コンパクションやリージョン分割・マージなどを意識する必要があり運用管理が難しい、障害復旧に時間がかかる、等)は、HDFSのダメさ具合とHadoopの分散システムの中にHBaseの分散システムを構築するという複雑さが主な要因になっている 2012-12-20 14:03:51 草薙 昭彦 @nagix HDFSはWrite Onceのファイルシステム。分かりやすく例えるとCD-Rのようなもの。ファイルのわずかな部分を書き換えるために全てのデータを読み込んでメモリ上で一部分を更新し、全てのデータを書き込む必要がある。ファイルシステムといいつつプリミティブな機能しか備えていない 2012-12-20 14:18:15 草薙 昭彦 @nagix MapRが行った改良はこのHDFSをMapR-FSに置き換えて同時アクセス・ランダムR/W可能な先進
[B27] エンタープライズ NoSQL/HBase プラットフォーム – MapR M7 エディション by Masataka Oka
3. たとえば… ⾼速性 他の Hadoop YCSB Benchmark MapR 3.0.1 YCSB Benchmark 3.0.1 ディストリビューション M7 Advantage デ トリビ シ d (M7エディション) (ops/sec/node) (HBase) 50% read, 50% update 50% read 50% update 7965 2918 2.7x 2 7x 95% read, 5% update 3850 1541 2.5x Random Read 5934 865 6.9x Range Scan (50 rows) Range Scan (50 ) 838 274 3.1x 3 1x Hardware Configuration ©MapR Technologies ‐ Confidential CPU : Intel® Xeon®
![[B27] エンタープライズ NoSQL/HBase プラットフォーム – MapR M7 エディション by Masataka Oka](https://cdn-ak-scissors.b.st-hatena.com/image/square/ca2294cd1120464c4a0786de74e661101a0561ef/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fb27maprm7-131126004827-phpapp02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
第13章 パフォーマンスチューニング
まず wiki の「Performance Tuning」を読んでください。この記事には、RAM、圧縮、JVM の設定など、パフォーマンスに関係する重要な要素についての全般的な説明があります。記事を読んだら、ここへ戻ってきてください。以下では、さらに詳しい情報へのポインタを示します。 Todd Lipcon は、「Avoiding Full GCs with MemStore-Local Allocation Buffers」と題したプレゼンテーションの中で、特に HBase の読み込み時によく発生する、すべてが止まったかのような状態になるガベージコレクション、すなわち CMS が失敗するケースと、古い世代のヒープがフラグメンテーション化するケースの 2 つを取り上げています。最初のケースに対処するには、-XX:CMSInitiatingOccupancyFraction を追加してデフォ
Microsoft Word - HBase_Tier_Base_Compaction.docx
HBase Tier Based Compaction by Akashnil Dutta 1. Overview The goal of the compaction selection algorithm is to schedule compactions efficiently. The current algorithm takes a set of candidate files as input, and produces a subset as output. If there is no eligible compactions, the output set can be empty. The candidate set is made of all the files in one region which are not already scheduled for
HiveとHBaseの連携は難しい - wyukawa's diary
Hive 0.11.0にバージョンアップしてmultiple insertに関わるバグである[HIVE-3699] Multiple insert overwrite into multiple tables query stores same results in all tables - ASF JIRAを心配しなくて良くなったけど代わりにネストしたgroup byに関わるバグである[HIVE-5237] Incorrect group-by aggregation in 0.11.0 - ASF JIRAを踏んだwyukawaです、こんにちは。ユニークユーザとか求める時にネストしたgroup byが出てくる可能性はあるのですがcount(distinct ...)とか使って回避しました。 で、今回書くのはそういう話じゃなくてHiveとHBaseとの連携に関してです。結論から言うと結構
"Hbase at Facebook" に行ってきた - たごもりすメモ
名称表記が揺れてて微妙だけど Hbase at FaceBook on Zusaar このイベントに行ってきた。Facebookの人は "HBase Tokyo meetup" と認識していたようだ。 内容のまとめはやらないので、以下の各ページなどをご覧になると良いのではないでしょうか。 Tokyo HBase Meetup - Realtime Big Data at Facebook with Hadoop and HB… Hbase at FaceBookのまとめ - Togetterまとめ FacebookがHBaseを大規模リアルタイム処理に利用している理由（前編） － Publickey FacebookがHBaseを大規模リアルタイム処理に利用している理由（後編） － Publickey セッションの内容と自分が考えたことと人としゃべったことをいっしょくたにここに書いておく。
Xldb2011 tue 0940_facebook_realtimeanalytics
This document summarizes Facebook's real-time analytics systems. It describes Data Freeway, which uses a scalable data streaming framework to collect log data with low latency. It also describes Puma, which performs reliable stream aggregation and storage by sharding computations in memory and checkpointing to HBase. Future work may include open sourcing components and adding scheduler support.Rea
Facebookの新しいリアルタイム解析システムとは？ - nokunoの日記
Facebookの新しいリアルタイム解析のシステムでは、HBaseで1日200億件のイベントを処理しているそうです。以下の記事の翻訳です。High Scalability - High Scalability - Facebook’s New Realtime Analytics System: HBase to Process 20 Billion Events Per DayFacebookがまたやってくれた。彼らは巨大なリアルタイムデータのストリームを処理するもう1つのシステムを構築したのだ。以前にもFacebookはリアルタイムなメッセージシステムをHBaseで構築している(http://highscalability.com/blog/2010/11/16/facebooks-new-real-time-messaging-system-hbase-to-store-135.ht
SpinNet : Notice of Service Termination
ご訪問いただいたお客様へのお知らせ Information for customers visiting this Web site from SpinNet アクセスいただいたWebサービスは提供を終了いたしました。 長年にわたり、多くの皆様にご利用いただきましたことを心よりお礼申し上げます。 SpinNetトップページへ The Web service you are trying to access has been terminated. We would like to thank all of you for your patronage over the years. Go to the SpinNet
Apache HBase I/O - HFile - Cloudera Blog
Introduction Apache HBase is the Hadoop open-source, distributed, versioned storage manager well suited for random, realtime read/write access. Wait wait? random, realtime read/write access? How is that possible? Is not Hadoop just a sequential read/write, batch processing system? Yes, we’re talking about the same thing, and in the next few paragraphs, I’m going to explain to you how HBase achiev
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MapR M7 技術概要
Google Code Archive - Long-term storage for Google Code Project Hosting.
HBaseCon 2013 Talk
このページを見るには、ログインまたは登録してください
NHN techcon-20120519-fujimoto
Tokyo HBase Meetup - Realtime Big Data at Facebook with Hadoop and HBase (ja)
http://opentsdb.net/misc/opentsdb-hbasecon.pdf