３週間で出来たEvent SourcingでCQRSなアーキテクチャ上でのHBaseのupgrade - Chatwork Creator's Note
プロジェクトのリーダーである、cw-sakamotoがこの超重要プロジェクトを終え、軽い燃え尽き症候群になっているので、代わりにcw-tomitaが代筆しております。 マラソンガチ勢(ベストタイム３時間１７分)であるcw-sakamotoによって、Carbon X(50マイルでの世界記録を出したランナーが履いていたランニングシューズの名前)と名付けられた、このHBase upgradeプロジェクト、 dogsorcaravan.com その名に恥じない、プロジェクト開始から終了まで３週間という短納期で完遂することができました。今回はこのプロジェクトに関して書きました。 tl;dr Event SourcingでCQRSなシステムの上で動いてるHBaseのversion upをblue-green形式で実施した。 計画から実行まで３週間程度で完了するというスピード感で、大きな事故もなく凄く上
HBaseのcompactionについて調べてみた(1) - Chatwork Creator's Note
cw-sakamotoです。 今までNikeのランニングシューズ(特にストリーク6)を好んでいたのですが、最近adidasのjapan boostに浮気気味です。 確かにフィット感がいいですね。sub2も興味がありますが、私の走力*1であれを履くのは恥ずかしいな、と思って、まだ試していません。 匠シリーズも気になるところですが、三村さんがいなくなった今、今後もあのシリーズが続く可能性は低い気がして、手を出していません。 閑話休題。 ChatWorkでは、HBaseを利用しています。利用用途はメッセージDBです。 もともとはAmazon Auroraを利用していましたが、負荷に耐えられないのが目に見てきたため、2016年12月にHBaseやKafkaをベースとしたアーキテクチャへの刷新を行いました。 hrnabi.com 昨年のAWS Summit TokyoでKafkaと絡めてどのように利
Spark3分クッキング HBaseで作る100万通りの文書分類器 - astamuse Lab
こんにちは。最近GINZA SIXで本当のスタバ*1を知ってしまった福田です。 私たちの身の周りは、様々なデータで溢れています。 ある２つの異なるデータ集合を互いに紐付けたいこともよくあります。 どのように紐付けられるでしょうか。 一方のデータ集合から分類器をつくることができれば、分類結果を媒介として他のデータ集合とのマッチングができるかもしれません。 では、どうやって分類できるでしょう。 ここではSparkとHBaseを使って実装がシンプルで、文書分類でよく使われるナイーブベイズの分類器を実装してみます。 材料と調理器具 材料 特許の要約と分類のデータ 簡単のため以下のように正規化されたテーブル構造のデータがあるとします。 特許出願（appln）を親として、要約テキスト（appln_abstr）と、分類コード（appln_ipc）がぶら下がっています。今回使うのは右側の2つのデータのみで
Apache Apexとは何なのか？ - Qiita
こんにちは。 最近広まってきているストリーム処理プロダクトのうちの一つとして、 Apache Apexがどんなものか、をプレゼン資料からポイントを拾ったので、まとめてみます。 ただ、その前になぜこんなことをやってみたか、という経緯を・・・ 最近のストリーム処理プロダクト概況 元々昔からストリーム処理プロダクトが好きで見ていたため、常時ゆるゆる情報は追っています。 ただ、ここ最近の状況を一言でいうと、 正直な話、いっぱい出すぎてよーわからん。 に尽きると思います。 とりあえず私の（狭い）観測範囲の中だけ見てみても、これだけプロダクトが出てきてしまっています。 公開時期はアバウトなものですので、こんな感じでたくさん出ているというイメージだけ持っていただけると。 あとKafka Streamsはアイコンないのでconfluentのアイコンです。わかる方がいればこちらも。 で、上記の中で個人的に気
HBase Meetup Tokyo Summer 2015 #hbasejp のまとめ
2015/6/26に開催されたHBase Meetup Tokyo Summer 2015のまとめです。 http://www.zusaar.com/event/14057003
LINEの100億超/日メッセージを支える Redis・HBaseのスケールアウト・アップ戦略 #linedevday - Togetterまとめ
リンク linedevday.linecorp.com LINE DEVELOPER DAY_2015 Tokyo LINE DEVELOPER DAY_2015 Tokyo is a technical conference in which our teams of engineers share their various experiences and also address open issues. Shunsuke.N A-5 HBaseとRedisを使った100億超/日メッセージを処理するLINEのストレージ HALL A 13:30 - 14:10 "LINEのメッセージングストレージとしての難しい要求に対して、RedisとHBaseを利用してどのように問題を解決してきたかについて紹介します。 最初にLINEでのストレージのユースケースを共有した上で、ストレージの可用性を
NoSQL「HBase」はIoTにも最適--柔軟なスキーマでデータ構造の変更に対応
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます HBase登場の背景 2月24日、オープンソースソフトウェア（OSS）プロジェクト支援団体Apache Software Foundation (ASF) は「Apache HBase 1.0」のリリースを発表しました。HBaseの開発が開始されてから約8年、数々の機能強化と安定性向上のための改良を経て、成熟した製品として一つのマイルストーンに達したことが合意された結果です。第2回では、このHBaseについて掘り下げていきます。 HBaseは、ASFのプロジェクトとして開発されているOSSのNoSQLデータベースです。同じくApacheプロジェクトの分散データ処理基盤として開発されている「Apache Hadoop」上で動作し、分散型の
管理が困難―分散処理の常識はZooKeeperで変わる
管理が困難―分散処理の常識はZooKeeperで変わる：ビッグデータ処理の常識をJavaで身につける（8）（1/3 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 分散処理の課題が「管理」なのは常識 複数の計算機上で動作（分散）するアプリケーション、ソフトウェアが多く存在します。分散ソフトウェアは複数の計算機で動作することで大量のデータを扱えたり、高負荷な状況に対処します。本稿では、複数の計算機（クラスタ）で動作する各サーバを「インスタンス」と呼びます。 本連載で紹介した分散Key-Valueデータベースである「HBase」は複数の計算機で動作する代表的なソフトウェアです。両ソフトウェアはともに「Apache ZooKeeper」（以下、Z
『NewSQLのCockroachDBについて調べてみた』
CyberAgent エンジニア Advent Calendar 2014の23日目の記事です。 秋葉原ラボの、鈴木(@brfrn169 )、Shtykh Roman、柿島大貴です。 普段は、分散DB(主にHBase)やストリーミング処理基盤の開発・運用などをやっています。 今回は、NewSQLの1つであるCockroachDBについて紹介します。 NewSQLとは CockroachDBについて紹介する前に、NewSQLについて簡単に説明します。 NewSQLとは、一言で言うとNoSQL+SQL機能(トランザクション)です。 RDBMSとNoSQLの良いとこどりをしているともいえるでしょう。 従来、RDBはスケールアウトのしづらいモノリシックな作りになっていました。 しかし、RDBでは、昨今のビックデータの潮流に対応できず、NoSQLの技術が登場します。 NoSQLは、スケールアウトが容
LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
PHP＋Thrift＋HBaseを試してみた - Do You PHP はてブロ
使ってる人にとっては何周目かの今さら感漂いますが、ひょんなことから調べる必要が出てきたのでざっくりまとめてみました。 環境 CentOS6.3 PHP5.5.3 JDK1.6.0-45 HBase0.94.11 Thrift0.9.1 HBaseとは HBaseはKVS(Key-Value Store)の1つで、ASF(Apache Software Foundation)のHadoopプロジェクトの一環として作られたオープンソースソフトウェアです。本家はApache HBase – Apache HBase™ Homeです。 HBaseのアーキテクチャを理解しよう (1/3)：CodeZine（コードジン） とりあえず、以下の記事をざっと読むと良いかと。 いまさら聞けないKVSの常識をHbaseで身につける (1/3)：ビッグデータ処理の常識をJavaで身につける（3） - ＠IT HB
Hadoopのディスクあふれ対策(補足) - 科学と非科学の迷宮
最近流行りのディスク容量があふれたときの挙動、Hadoop編を書こうと思ったらwyukawaさんが既に書いてくださったのでやめました。 ……と思ったのですが、せっかくなので id:wyukawa さんが書いてない箇所を補足してみようと思います。 ( この記事は @kernel023 にレビューしてもらっています。ありがとうございます ) wyukawaさんの記事へのコメント まずHBaseを使っている場合はcompactionがある関係上Disk使用率は50%以内に抑えておくのが無難だと思います。この辺はCassandraと同じですね。 全データを同時にコンパクションするケースはまずないので無理に50%以下に抑えなくていいとは思いますが、意識はしておいた方がいいですね。 私は60%での警告を推奨しますが、この辺はケースバイケースです。 MapReduce の出力結果など、いきなり容量増える
「LINE」を支えるHBaseの裏側など、Hadoop Conferenceが開催
オープンソースソフトウエア（OSS）の分散バッチ処理ソフト「Hadoop」のユーザー会「Hadoop Conference Japan 2013 Winter」が2013年1月21日、東京ビッグサイトで開催された（写真1）。スマートフォン向けコミュニケーションツール「LINE」を運営するNHN Japanの中村俊介氏が、LINEのストレージとして利用する「HBase」の運用ノウハウを語るなど、ユーザー企業やHadoop関連ベンダーによる21セッションが行われた。 Hadoop Conference Japanが開かれるのは、今回が4回目。冒頭のセッションでは、Hadoopのオリジナル開発者であるダグ・カッティング氏（Apacheソフトウエア財団会長）がビデオメッセージを寄せ、今後のHadoopの開発方針などを説明した。 Hadoopは、米グーグルが2000年代前半に論文発表した分散ファイル
Storage infrastructure using HBase behind LINE messages
Storage infrastructure using HBase behind LINE messages1 of 46
第42回 スマートフォンサービスを支えるデータベース環境［後編］ | gihyo.jp
サイバーエージェントが展開する「Ameba」のスマートフォンプラットフォームにおいて、データベースとして活用されているのがHBaseです。前回に引き続き、この開発を担当したAmeba Technology Laboratory所属の鈴木俊裕氏と善明晃由氏にお話を伺っていきます。 （左から）鈴木俊裕氏と善明晃由氏 専用APIを用意しHBaseを抽象化 サイバーエージェントは現在、スマートフォン向けのプラットフォーム事業を「デカグラフ」として展開しています。これは個々のサービスを「ミニグラフ」と位置付け、それらをデカグラフとして集約するという構想であり、実際のプラットフォームとして開発されたのが「Ameba」のスマートフォンプラットフォームです。 このプラットフォームはデータベースとしてHBaseを利用しており、その中にソーシャルサービスに向くグラフ構造でデータを格納しています。同社の「Ame
20分でわかるHBase
PyFes 2012.07 で発表したときのスライドです。 HBaseのアーキテクチャ周りを中心に話しました
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
