HBaseとRedisを使った100億超/日メッセージを処理するLINEのストレージHBaseとRedisを使った100億超/日メッセージを処理するLINEのストレージ - Download as a PDF or view online for free
EricssonのHBaseチューニング１ - pandazx's blog
以下の記事の意訳。けど、未検証。 HBase: Performance Tuners | Ericsson Labs 5000 row/secの処理性能だったところをチューニングにより、750,000 row/secを達成した。 本ブログでは集計プログラムについてのみ説明しているが、次回ブログではランダムアクセスにも対応できる説明があるらしい。 チューニング環境 対象レコードは91個の属性を持つ 少なくとも1億行をスキャンできる すべての属性に対して、ランダムアクセスするパターンのクエリを評価する 今回のクエリパターンは属性をカラムファミリーにまとめるのは難しい。そのため、いくつか対策を行った。 一つ目の対策はすべての属性を一つのカラムファミリーの別々のカラムとして格納するよう定義した。二つ目の対策は次回のブログで説明する。 クラスタ構成 master x1 slave x7 サーバはすべ
HBaseCon 2013: Realtime User Segmentation using Apache HBase -- Architectural Case Study
This document discusses how RichRelevance solved real-time user segmentation using HBase. It describes how RichRelevance ingests user event data in real-time using Kafka and indexes it to various HBase tables. It then evaluates user segments defined in a UI by performing joins on the indexed HBase data in milliseconds. Key aspects included real-time data ingestion, optimized HBase key design, dist
Amazon EMR 2.x and 3.x AMI versions - Amazon EMR
AWS is updating the TLS configuration for all AWS API endpoints to a minimum version of TLS 1.2. Amazon EMR releases 3.10 and lower only support TLS 1.0/1.1 connections. After December 4, 2023, you won't be able to create clusters with Amazon EMR 3.10 and lower. If you use Amazon EMR 3.10 or lower, we recommend that you immediately test and migrate your workloads to the latest Amazon EMR release.
第7回 halookを支える技術「ENdoSnipe」：halookで始めるHadoop/HBaseトラブルシューティング｜gihyo.jp … 技術評論社
このように開発から運用まで幅広い開発工程で利用することを想定しています。 halookはこのENdoSnipeのプラグインとして開発しており、Javelinを拡張してHadoopの情報を取得できるようにしたり、DashboardにHadoop用のビューを追加することで、Hadoopを解析できるようにしています。同様の手法で、他のOSSなアプリケーションやミドルウェアを解析するためのツールも構築することができるでしょう。 Javelin : ENdoSnipeのコア機能 では、どのようにしてENdoSnipeはJavaの内部情報を取得しているのでしょうか。Java内部の情報を取得する方法としては、たとえばスレッドダンプやヒープダンプがあります。これらを取得すれば、Java内部で動いている全てのスレッドの情報やヒープメモリの状況は分かりますが、情報として十分ではありません。たとえば引数や戻り値
分散データベース「HBase」の安定運用を目指して - Preferred Networks Research & Development
1年経ってiPhone4の電池がヘタってきた、太田です。 指数関数的にエントリ数が少なくなってきた本ブログですがw、景気付けのためにエントリを投稿したいと思います！本日はHBaseについてです。 Linux と Hadoop と HBase と ZooKeeper に詳しいあなた！あなたがターゲットです。 HBaseとは? HBaseとは、HDFS (Hadoop Distributed File System)上に構築された分散データベースです。大量の非常に細かいデータをリアルタイムに読み書き出来るのが特徴です。最近ではFacebook Messageの基盤技術として使用された事で注目を集めています。 HBase公式サイト Apache HBase ブック 保存されたデータはHDFS上に保存され、HDFSの仕組みによってレプリケーションされるため安全にデータを保持することが出来ます。 ま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Large Scale Log Analysis with HBase and Solr at Amadeus (Martin Alig, ETH Zurich)