ソフトとかハードとか関係ございません
Developers Summit 2015（デブサミ2015） 佐藤由紀 発表資料。 ******************************************************************************************* 2015年注目のワードと言われている「データレイク」。 「ビッグデータ」よりも想像力を掻き立てる良いワードだなぁと個人的に感じています。 100億件/日ものデータを毎日新たに蓄積し、そのデータを広告配信ロボットに活かし続けているマイクロアド。 これまでマイクロアドがどのようにデータを活用して広告配信を展開してきたか、そして、これから目指す世界のために構築を進めているマイクロアドなりの「データレイク」とはどのようなものか、ゆかりのある琵琶湖のことを織り交ぜつつお話いたします。
HBaseを用いたグラフDB「Hornet」
hbaseconasia2017: Building online HBase cluster of Zhihu based on KubernetesHBaseCon
HBaseを触ってみよう
HBaseは、Googleの基盤ソフトウェアである「Bigtable」のオープンソースクローンであり、大量データに対応した分散ストレージシステムです。HBaseを用いることで、スケーラブルで信頼性のあるデータベースを構築することができます。また、MapReduceを標準でサポートしており、HBaseに保存したデータに対してバッチ処理を行うことも可能です。しかし、SQLで扱えないことや、RDBとのスキーマ設計の考え方の違いなど、とっつきにくい部分が多々あり、戸惑う方が多いように思います。本連載では、そういう方々を対象にできるだけ分かりやすく実例を交えながら解説していきたいと思います。 はじめに 近年、「NoSQL」の技術が注目を集めています。NoSQLとは、"Not Only SQL"の略で、SQLを用いないデータベースの総称です。NoSQLというとCassandra、Redis、Mongo
いまさら聞けないKVSの常識をHbaseで身につける
いまさら聞けないKVSの常識をHbaseで身につける：ビッグデータ処理の常識をJavaで身につける（3）（2/3 ページ） HadoopファミリのKVS「Hbase」とは Hbaseとは、Hadoopの中核技術であるHDFS上に構築されたKVS形式の分散データベースです。 Hbaseを使うときの注意点は、Hbaseのバージョンに合ったHadoopを使用しなければなりません。HbaseとHadoopはバラバラにバージョンが変わるので、注意してください。 Hbaseは、RDBと同じようにテーブルを作成してカラムの中にデータを格納しますが、RDBとはちょっと違います。 Key値を格納するROWが自動的に作られる カラムは「カラムファミリ」と呼ばれる 「カラム名：修飾子」で指定するセルにデータを格納 データ型はbyte[]だけ 履歴が一定数だけ保存される テーブル構造でRDBと一番違うのは、カラム
HBaseのRow Keyの設計についてのメモ - wyukawa's diary
Facebook Messageで使われたり、LINEのストレージで使われたり、と事例も多く出てきているHBase（Bは大文字。これ重要）ですが、個人的に少し興味も湧いてきたのでちょっと調べてます。HBaseはLog-Structured Merge-tree (LSM-tree)というアーキテクチャを使っており大量データの書き込みに最適化されています。なので大量の書き込みがあり読み込みは直近のもののみというメッセージ系アプリに向いているんだと思います。 そういえば半額に釣られてManning | HBase in Actionも買ってしまいました。 この本の4章のRow Keyの設計についての話があってそれがちょっと面白かったので関連してRow Keyについて少し書いてみます。 まずHBaseはカラム指向のデータベースと呼ばれますがデータモデルは多次元ソートマップです。 図解すると下記の
LINE Storage: Storing billions of rows in Sharded-Redis and HBase per Month « NAVER Engineers' Blog
Hi, I’m Shunsuke Nakamura (@sunsuk7tp). Just half a year ago, I completed the Computer Science Master’s program in Tokyo Tech and joined to NHN Japan as a member of LINE server team. My ambition is to hack distributed processing and storage systems and develop the next generation’s architecture. In the LINE server team, I’m in charge of development and operation of the advanced storage system whi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HBaseのアーキテクチャを理解しよう
HBase本(馬本）刊行記念 著者Lars George氏 来日特別セミナーまとめ