HTraceによるHBaseのトレーシング - iwasakimsの日記
(この記事は、Hadoop Advent Calendar 2013の10日目の記事です) 並列分散処理の解析 HadoopやHBaseのような並列分散環境では、処理が多数のノードをまたがって実行されるために、トレーシングや性能のプロファイリングが難しくなります。各ノードで動作するサーバプロセスのロジックでは、他のノードにRPCで処理を依頼して結果を非同期に待つというパターンが多いため、CPUやネットワークのディスクのI/O帯域といったリソースを使い切る状況にはなりにくく、oprofileのようなプロファイラを利用して測定してみても、ボトルネックの手がかりがなかなか見つかりません。 そのような並列分散処理のトレーシングに利用しているツールとしてGoogleが発表したのがDapperで、例によってそれを参考にして作られたオープンソース実装としてHTraceがあります。HBaseのtrunkに
Hadoop Conference Japan 2013 Winterで話してきました！ « NAVER Engineers' Blog
こんにちは．サービス開発2チームの中村です． 先日1/23に行われた日本最大級のHadoopユーザー会イベント，「Hadoop Conference Japan 2013 Winter at 東京ビッグサイト」にて，私，中村と同チームの大平が講演させていただきました． 中村の方からは，まずLINEのサービスやストレージの要件と現在の1億ユーザーを支えるHBaseで扱う規模感を共有しました．後半では，HBaseのサービス投入から1年経過して，我々のために作ったもの・得られたノウハウについて少しだけ紹介しました． ポイントは，HBaseをリアルタイムサービスのストレージとして採用し，ノンストップ環境の中でどのように可用性の高いストレージの構築を目指しているか，という点です．このために，HBaseが備えるレプリケーションやリージョンの自動管理機能などは使用せず，自分たちのサービスに特化させた方法
HBaseについての情報源 - wyukawa's diary
クレジットカード現金化詐欺【業界人が教える口コミ情報】 の12/2分として書きます。 内容は薄いというかHBaseの情報源についてのまとめエントリです。 ■本家 Top http://hbase.apache.org/ JIRA https://issues.apache.org/jira/browse/HBASE Subversion http://svn.apache.org/repos/asf/hbase/ ■書籍 HBase 作者: Lars George,Sky株式会社玉川竜司出版社/メーカー: オライリージャパン発売日: 2012/07/25メディア: 大型本購入: 1人 クリック: 9回この商品を含むブログ (5件) を見る 通称馬本。なにはさておきまずはこれ。 序盤はJava APIの解説が多いが8章がアーキテクチャの話でここがメインだと思う。 HBase in Actio
HBase FuzzyRowFilter: Alternative to Secondary Indexes - Sematext
In this post we’ll explain the usage of FuzzyRowFilter which can help in many situations where secondary indexes solutions seems to be the only choice to avoid full table scans. BackgroundWhen it comes to HBase the way you design your row key affects everything. It is a common pattern to have composite row key which consists of several parts, e.g. userId_actionId_timestamp. This allows for fast fe
15 Best Java Performance Monitoring Tools & Software [2022] - Sematext
To keep your users happy – and business going – your Java app needs to be up and running smoothly at all times. It's not enough to just have it installed. You must look beyond the code and into the workings of the Java Virtual Machine (JVM) on an ongoing basis. By monitoring the JVM with the help of powerful Java monitoring tools, you can measure performance and detect issues that might affect you
![15 Best Java Performance Monitoring Tools & Software [2022] - Sematext](https://cdn-ak-scissors.b.st-hatena.com/image/square/5318623e98c25cfa544c25f53938e7dec1520f09/height=288;version=1;width=512/https%3A%2F%2Fsematext.com%2Fwp-content%2Fuploads%2F2021%2F06%2Fjava-monitoring-tools.jpg)
Cloudera Blog
Riding the wave of the generative AI revolution, third party large language model (LLM) services like ChatGPT and Bard have swiftly emerged as the talk of the town, converting AI skeptics to evangelists and transforming the way we interact with technology. For proof of this megatrend look no further than the instant success of ChatGPT, […] Read blog post
Apache HBase I/O - HFile - Cloudera Blog
Introduction Apache HBase is the Hadoop open-source, distributed, versioned storage manager well suited for random, realtime read/write access. Wait wait? random, realtime read/write access? How is that possible? Is not Hadoop just a sequential read/write, batch processing system? Yes, we’re talking about the same thing, and in the next few paragraphs, I’m going to explain to you how HBase achiev
Apache HBase Write Path - Cloudera Blog
Apache HBase is the Hadoop database, and is based on the Hadoop Distributed File System (HDFS). HBase makes it possible to randomly access and update data stored in HDFS, but files in HDFS can only be appended to and are immutable after they are created. So you may ask, how does HBase provide low-latency reads and writes? In this blog post, we explain this by describing the write path of HBase —
HBase I/O: HFile
In the beginning HBase uses MapFile class to store data persistently to disk, and then (from version 0.20) a new file format is introduced. HFile is a specific implementation of MapFile with HBase related features. HFile doesn't know anything about key and value struct/type (row key, qualifier, family, timestamp, …). As Hadoop' SequenceFile (Block-Compressed), keys and values are grouped in blocks
Osc2012 spring HBase Report
1. 今話題のHadoop HBaseの 性能検証結果と Zabbixによる性能監視のご紹介 日本ヒューレット・パッカード株式会社 テクノロジーコンサルティング統括本部 データセンターソリューション第一本部コアテクノロジー部 石田精一郎 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Confidentiality label goes here 2. お話ししたい内容 • インフラの観点からのHBase • どのように信頼性が確保されているのか • スケールアウトやIOのアーキテクチャ • 性能監視のポイント • 検証の観点とハマりどころ • プロダクトの基本的な特徴、性能特性の確
HBase HUG Presentation: Avoiding Full GCs with MemStore-Local Allocation Buffers
HBase HUG Presentation: Avoiding Full GCs with MemStore-Local Allocation Buffers Todd Lipcon presents a solution to avoid full garbage collections (GCs) in HBase by using MemStore-Local Allocation Buffers (MSLABs). The document outlines that write operations in HBase can cause fragmentation in the old generation heap, leading to long GC pauses. MSLABs address this by allocating each MemStore's dat
Coprocessor Introduction
Authors: Trend Micro Hadoop Group: Mingjie Lai, Eugene Koontz, Andrew Purtell (The original version of the blog was posted at http://hbaseblog.com/2010/11/30/hbase-coprocessors/ in late 2010, however the site is no longer available. Since we decided to move all blog posts to the official Apache blog, here I just recover the original post and make quite some modifications to reflect the latest copr
分散KVSのデータモデリング
2. 分散 KVS の利点と課題 利点 Elastic scaling （弾力性のあるスケーラビリティ） Big data （大規模データ） Goodbye DBAs （さらばデータベース管理者） Economics （経済性） Flexible data models （柔軟なデータモデル） 課題 Maturity （成熟） Support （サポート） Analytics and business intelligence （アナリティクスとビジネスインテリジェンス） Administration （管理） Expertise （専門性） NoSQL について知っておくべき 10 の事柄 ( http://www.publickey1.jp/blog/10/nosql10.html ) より引用 今日のテーマ 3. HBase 、 Cassandra のデータモデル multi dim
HDFS, HBaseへのデータ投入時間について
Either email addresses are anonymous for this group or you need the view member email addresses permission to view the original message 落合と申します。 HDFSへの書き込み時間と、 HBaseへの書き込み時間についての質問です。 当方の環境で試したところ、 HBaseへのデータ投入にかかる時間が、 HDFSへの書き込み時間に比べて遅いように見えるため、 どの程度の結果が妥当なのか、ご意見を伺いたいです。 ■構成 ZooKeeper用サーバ（ZooKeeper） 1台 Masterサーバ（NameNode, JobTracker, HBaseMaster） 1台 Slaveサーバ（DataNode, TaskTracker, HRegionServer）
HBase at Facebook に行ってきました - tocci3.log
FacebookでのHbase利用について、 アーキテクトのJonathan Grayさんに来てもらって、プレゼンしてもらうという 素晴らしい会に参加しました。 http://www.zusaar.com/event/agZ6dXNhYXJyDQsSBUV2ZW50GOuRAgw @tatsuya6502 さんによるJonathanのプレゼン資料の日本語訳 Tokyo HBase Meetup - Realtime Big Data at Facebook with Hadoop and HBase (ja) View more presentations from tatsuya6502 （英語資料は未公開） 感想 FacebookでHiveで15-24hoursかかってた処理がPUMA(+PTail)というので10-30 secになった。衝撃的。PTailは数週間(a couple o
[HBASE-3529] Add search to HBase - ASF JIRA
Using the Apache Lucene library we can add freetext search to HBase. The advantages of this are: HBase is highly scalable and distributed HBase is realtime Lucene is a fast inverted index and will soon be realtime (see LUCENE-2312) Lucene offers many types of queries not currently available in HBase (eg, AND, OR, NOT, phrase, etc) It's easier to build scalable realtime systems on top of already ar
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://infra-engineer.com/hadoop/%E3%83%AD%E3%83%BC%E3%82%AB%E3%83%AB%E7%92%B0%E5%A2%83%E3%81%A7%E3%81%AEhbase%E3%81%B8%E3%81%AEycsb%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF%E3%81%AE%E5%AE%9F%E8%A1%8C%E6%96%B9%E6%B3%95/
Apache HBase Monitoring
Integrating Lucene with HBase
NoSQL Screencast: HBase Schema Design
