HBaseのcompactionについて調べてみた(1) - Chatwork Creator's Note
cw-sakamotoです。 今までNikeのランニングシューズ(特にストリーク6)を好んでいたのですが、最近adidasのjapan boostに浮気気味です。 確かにフィット感がいいですね。sub2も興味がありますが、私の走力*1であれを履くのは恥ずかしいな、と思って、まだ試していません。 匠シリーズも気になるところですが、三村さんがいなくなった今、今後もあのシリーズが続く可能性は低い気がして、手を出していません。 閑話休題。 ChatWorkでは、HBaseを利用しています。利用用途はメッセージDBです。 もともとはAmazon Auroraを利用していましたが、負荷に耐えられないのが目に見てきたため、2016年12月にHBaseやKafkaをベースとしたアーキテクチャへの刷新を行いました。 hrnabi.com 昨年のAWS Summit TokyoでKafkaと絡めてどのように利
ファイルシステムは、KVSなのか？（HBase VS CassandraからわかるKVSの仕組み） - Qiita
この記事はリクルートライフスタイル Advent Calendar 2016の25日目の記事です。 データエンジニアリンググループ・ゆるふわAwesome機械学習エンジニアのtomomotoです。主にデータ分析や機械学習を中心に、データ活用を推進したり、システム開発したり、フリー素材になったりしています。 本記事では、今更ではありますが、KVSの仕組み概要について、HBaseとCassandraを例にして紹介したいと思います。（仕事、クリスマス、結婚記念日、何も関係ないです！） KVSとは そもそもKVSとは、なんでしょうか？名前の通りKeyValueStoreであることが条件だとすると、KeyからValueをとってくるDataBaseということになりますが、それで十分なのでしょうか？そうするとファイル名(Key)でファイル情報(Value)をとってくるファイルシステムもKVSということに
A-5 HBaseとRedisを使った100億超/日メッセージを処理するLINEのストレージ : 雨ブロ 【雨川悠のblog】
5月6 A-5 HBaseとRedisを使った100億超/日メッセージを処理するLINEのストレージ カテゴリ:イベント参加報告 セッション名：A-5 HBaseとRedisを使った100億超/日メッセージを処理するLINEのストレージA-5 LINE Global Culture 登壇者：Shunsuke.N氏 以下、メモと所感。 【メモ】 ■LINE Storage ユーザー同士の非同期なメッセージをやりとりするため、サーバーにメッセージを保存している マルチデバイスを対象としているため、それに耐えられるストレージが必要 ストレージに求められるもの ・Low latency ・0-downtime フェールオーバーとフォールトトレランス RedisとHBaseを適材適所で利用している Redisの利用開始当初、クラスタリング機能がなかったのでシャーディングして使っていた HBaseは書
第6回 Hiveでボトルネックとなってきたメタデータ、HBaseを使ってレイテンシの改善に挑む ―「Hadoop Summit 2016 San Jose」から | gihyo.jp
IT Cutting Edge ─世界を変えるテクノロジの最前線 第6回Hiveでボトルネックとなってきたメタデータ、HBaseを使ってレイテンシの改善に挑む ―「Hadoop Summit 2016 San Jose」から 2016年6/28～6/30（米国時間）の3日間に渡って米サンノゼで開催された「Hadoop Summit 2016 San Jose」（主催: Hortornworks／Yahoo!）では、2016年のHadoopトレンドを紹介する数多くの技術／事例セッションが行われました。本稿ではそのひとつ、Hortonwokrsによるセッション「hive HBase Metastore - Improving Hive with a Big Data Metadata Storage」をもとに、HiveのメタデータをHBaseでストアすることでHiveの低レイテンシ化を図る技
Cloudera ManagerでHBaseの運用 - Qiita
サイバーエージェントの秋葉原ラボで働いている鈴木といいます。 今回は、Cloudera Managerを使ったHBaseの運用の一部を紹介しようと思います。 はじめに 弊社ではHBaseの運用にCloudera Managerを使っています。 Cloudera Managerを使うことでクラスタの構築・管理が楽になるのはもちろんのこと、監視やトラブルシューティングも簡単になったりします。 既にCloudera Manager Advent Calendar 2015で紹介されているログ検索も便利ですし、 tsqueryというチャート生成専用のクエリ言語もかなり便利です。 今回はHBaseを運用する上で普段見ているチャートのtsqueryを紹介したいと思います。 tsqueryについて tsqueryはCloudera Manager内に蓄積されているメトリクスなどの時系列DBにアクセスでき
Hadoopビッグデータ基盤の歴史を振り返る #cwt2015
Cloudera World Tokyo 2015 で発表した資料です。 https://clouderaworld.tokyo/ 概要 かつてHadoopによるビッグデータ基盤は HiveやPig、MapReduce、そしてHDFSだけで構成されるシンプルなシステムでした。しかし現在では、SparkやImpalaを始めとして、Kafka、HBase、Parquet、そしてKuduなどの新しいコンポーネントを組み合わせた複雑なシステムが次々に本番環境で稼働し始めています。 このセッションでは、データの取得、加工、提供までの流れがどのように変わっていったか、そして現在ではどのような基盤が主流なのか、最新のトレンドについて解説します。Read less
ビッグデータを支える技術 - Qiita
Hadoop 大規模な分散処理を支えるJavaフレームワーク HadoopはGoogleのMapReduce、GFS(Google File System)の技術をベースとして作られた HadoopではMapReduceはそのまま「MapReduce(Hadoop/MapReduce)」、GFSは「HDFS(Hadoop Distributed File System)」という名前でそれぞれ開発・公開されている MapReduce データを「Map処理」、「Reduce処理」の2つの処理で処理するモデル 以下、Hadoop/MapReduceの機能 複数のマシン上にデータとデータを処理するためのプログラムモジュールを配置し、プログラムを並列実行する 複数マシン上で分散実行される処理の順序や優先度の制御 障害時の自動リカバリ 処理状況のステータス管理や監視機能 処理全体のパフォーマンスを向上
地震データを検索できるようにし、結果を地図上に表示する - Qiita
アメリカ地質調査所が公開している地震の発生データを検索可能にし、結果を地図上にマッピングする方法を紹介する。 環境 CDH 5.4.2 Cloudera Manager を使ってクラスタを準備するか、クイックスタートVMを準備すること。VMの準備方法についてはこちらを参考。 データセット 最近発生した地震のデータセット。 アメリカ地質調査所 より取得する。 検索システムのアーキテクチャ データセットの取得と HBase へのロード HBaseにTSVデータを投入する(ImportTsv)の記事を参照。 Solr から HBase テーブルのインデックス作成 HBaseのデータからSolrの検索インデックスを作成するの記事を参照。 検索結果を地図上に表示する http://<hueサーバのノード>:8888/indexer にアクセスし、 earthquake-collection を選択し
ビッグデータを支える技術 - Qiita
Hadoop 大規模な分散処理を支えるJavaフレームワーク HadoopはGoogleのMapReduce、GFS(Google File System)の技術をベースとして作られた HadoopではMapReduceはそのまま「MapReduce(Hadoop/MapReduce)」、GFSは「HDFS(Hadoop Distributed File System)」という名前でそれぞれ開発・公開されている MapReduce データを「Map処理」、「Reduce処理」の2つの処理で処理するモデル 以下、Hadoop/MapReduceの機能 複数のマシン上にデータとデータを処理するためのプログラムモジュールを配置し、プログラムを並列実行する 複数マシン上で分散実行される処理の順序や優先度の制御 障害時の自動リカバリ 処理状況のステータス管理や監視機能 処理全体のパフォーマンスを向上
へ〜たのめも:Riak と Cassandra と HBase、あらまー! - livedoor Blog（ブログ）
2010年05月25日 Riak と Cassandra と HBase、あらまー! Mozilla Blog Riak and Cassandra and HBase, Oh My!の勝手訳。各分散 KVS の特徴が分析されていて興味深い……と思って訳してみた。この無様なタイトルは Google 翻訳による。 Riak と Cassandra と HBase、あらまー! 我々は、SoCorro Crash プロジェクトにおいて HBase との統合を進めているが、その話はちょっと置いておいて、今回はメトリック・チームが巻き込まれている別のプロジェクトについて話をしよう。 Mozilla Labs Test Pilotは、実世界の Firefox ユーザをから集めたデータを分析して、ユーザ・エクスペリエンスを向上させるための実験をしたり、定量的データを集めたりするためのプロジェクトだ。 私
「HBase は素晴らしい！言うならばそれは SKVS ！」という台詞に最後は全て喰われていた HBase 徹底入門刊行記念セミナーで著者の方々のサインをもらってきた #hbase_ca - #garagekidztweetz
何気に今年最初の勉強会ログの公開になりますが、今日は、先日、 2015-01-28 に発売されたHBase徹底入門の刊行記念イベントが渋谷マークシティで行われるということで参加してきました。 詳細： 『HBase徹底入門 Hadoopクラスタによる高速データベースの実現』 刊行記念セミナー | Hadoopとビッグデータソリューションのリーディングカンパニー | Cloudera Japan 書籍の刊行イベントだったので、さほど込み入った内容のことは話されないだろうと思い、著者のみなさんのサインをもらいにいったつもりだったんですが、なかなかどうして Cloudera の小林さん、嶋内さんの発表は書籍にない話もあったので参加して本当によかったと思うものでした。 ※今回のイベントの資料は後日公開されるそうなので、ゼヒそちらを参照されたいと思います。 ちなみに最後の取りの発表をした Cloude
HBase活用事例 #hbase_ca
2015/02/02 開催した、HBase徹底入門記念セミナーで発表した資料です。 http://eventregist.com/e/2Hiwrc2WFhyu HBase の活用事例を2つ紹介しています。 対象: HBase について概要は理解したけど、どういうシステムで実際に使われているのか知りたい人Read less
HBaseサポート最前線 #hbase_ca
2015/02/02 開催の、HBase徹底入門記念セミナーで発表した資料です。 http://eventregist.com/e/2Hiwrc2WFhyu ClouderaサポートチームとHBaseの関係や、推奨設定、トラブルシューティング例などを紹介しています。Read less
刊行記念セミナー「HBase徹底入門」
2. 2 今日話すこと ● 「HBase徹底入門」の紹介 ● HBaseはどんなデータベースか？ ● ストレージフォーマット ● スキーマ設計 ● アプリケーション例 ● クラスタの構築 ● パフォーマンスチューニング 3. 3 自己紹介 ● 鈴木俊裕(すずきとしひろ) ● ソフトウェアエンジニア ● 技術本部 秋葉原ラボ ● Hadoopを用いたログ解析システム ● HBaseを用いた基盤システム ● twitter @brfrn169 5. 5 HBase徹底入門 ● Part 1「HBaseとは」 o 図や例を多用してできるだけわかりやすく ● Part 2「アプリケーション開発」 o 実践的なサンプルアプリが多数 ● Part 3「クラスタの構築と運用」 o Cloudera Managerを使った構築 ● 付録 o コプロセッサやバルクロード、パフォーマンスチューニング などの高
CDH の HBase データを Amazon EMR に移行する | はったりエンジニアの備忘録
Cloudera Hadoop (CDH) の HBase データを Amazon EMR に移行する検証をしているのですが、ベストプラクティスがわからず苦戦しました。 @kuborn さんにいろいろ教えてもらって、これで行けるだろうという手順が確立できたので公開します。 大まかな流れは、こんな感じです。 CDH の Master ノードで hbase コマンドを使ってデータをエクスポートする。 HDFS 上のファイルを Linux のファイルシステムにコピーする。 2 番のファイルを EMR の Master ノードに転送する。 Linux 上のファイルを HDFS のファイルシステムにコピーする。 HBase シェルでテーブルを作成する。 hbase コマンドを使ってデータをインポートする。 データのエクスポート hbase コマンドを使って、テーブル単位でエクスポートします。 hog
HBase 0.98でのファイル配置（HDFS）
３日目です。 HBaseのバイブルとなっている、オライリーから出版されている書籍、HBase。(通称馬本)。個人的には象本よりも愛用している（せざるを得ない）素晴らしい本ですが、出版されてから2年が過ぎ、現在のバージョンとは違っているところも増えてきました。 馬本２版発売決定？ 幸いな事に、現在第２版が執筆中のようで、O’Reillyのサイトによると来年5月ぐらいに発売される予定とのこと。（ちなみに、Hadoop 4版（象本）も来年の春とのことで、こちらは既に先行発売されています。Apache Sparkのチャプターも追加されていました）。日本語版が楽しみですね。 しかし悠然と待ってはいられないので、HBase 0.98.1 を用いてHBaseのルートディレクトリ以下の情報をまとめてみました。（馬本のP.343付近に記載されているものと同じです）。出版されるまでの短い期間は役立つかもしれま
MySQL to HBase Heterogeneous Replication【実装編】 | 株式会社サイバーエージェント
業務経歴： アメーバピグ開発運用などを経て、2010年よりHadoop/Hiveを用いたログ解析基盤開発・運用に従事。2011年よりAmeba Technology Laboratory研究室長。 概要 Hadoopを用いたログ集計基盤は次第に整備されつつあるが，集計にはユーザなどのいわゆるマスタデータ（会員登録情報，プロフィール情報など）とのJOINが必要とされることが多い． しかしながら，（特にAmebaサービスでは）マスタデータはMySQLに保存されていることが多く，さらにHDFSには追記処理しかできない（特定行の削除などができない）ためマスタデータをMySQLからダンプコマンドにより全データ取得し，HDFS上のファイルを置き換えるという非効率な処理に陥りがちである． そこで，MySQLからHadoop（HDFS)をベースとしながら，ランダムリード／ライトが可能なHBaseにデータ
パート 1 – HBase* 用 Java* ガベージ・コレクションのチューニング | iSUS
この記事は、インテル® デベロッパー・ゾーンに掲載されている「Part #1 – Tuning Java Garbage Collection for Hbase」(https://software.intel.com/en-us/blogs/2014/06/18/part-1-tuning-java-garbage-collection-for-hbase) の日本語参考訳です。 このパート 1 の記事では、100% YCSB 読み取りの HBase* 用 Java* ガベージ・コレクション (GC) をチューニングする方法を説明します。パート 2 では 100% 書き込み、パート 3 では 50%/50% 読み取り/書き込みの Java* GC のチューニングを行います。すべての記事で、標準 NoSQL ワークロードである YCSB を使用します。YCSB と HBase* のインスト
LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DMMのビッグデータ収集のご紹介
