タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
性能と運用面での変化はどれくらい？ 移行における要点整理 記事公開日：2024年8月27日 2024年7月3日に開催された「TiDB User Day 2024」では、オープンソースのNewSQLデータベース「TiDB」が、実際にどのように使われているか、ユーザーによる事例などを通して紹介された。サイバーエージェント グループIT推進本部 データプロダクトユニットの渡邉敬之氏からは、「大規模データ処理基盤におけるHBaseからTiDBへの移行事例」と題して、HBaseの課題と移行先となったTiDBの選定理由が明かされた。さらにHBaseからTiDBへの移行方法、移行後の性能と運用面での変化なども紹介してくれた。 老朽化したHBaseのデータ処理基盤をTiDBに移行 渡邉氏が所属するグループIT推進本部のデータプロダクトユニットは、「データの力で事業成長を加速させる」をミッションに掲げている
HBaseとKafkaによるデータパイプライン構築。LINE Messaging Platformにおける活用法
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog 2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「 DEVDAY21 +Interview」では、登壇者たちに発表内容をさらに深堀り、発表では触れられなかった関連の内容や裏話についてインタビューします。今回の対象セッションは「LINE Messaging Platform におけるHBaseとKafkaのデータパイプラインと活用例」です。 LINEでは、Messaging Platformのストレージミドルウェアの1つとしてApache HBase（以下、HBase）を使用しています。HBaseのレプリケーショ
こんにちは。 GMOアドマーケティングのM.Nです。 TAXELのインフラは、今年2月に一部機能をGMOアプリクラウド内移行（バージョンアップ）し、残りをGCPに移行しました。 今回はその際に起きたトラブルの事例を紹介しようと思います。 1. 時折発生するアラート 移行が無事に終わり、2ヶ月ほど経った頃、一通のalertが飛んできました。 article.jsonはレコメンドウィジェットのリクエストですが、レスポンスに9秒弱かかっているようです。 直後に復帰しているのでウィジェットが全く配信できていない、という状態にはなっていないようですが・・・気になります。 また、どこかのAPサーバーだけで発生しているというわけでもなさそうです。 最初は一時的なものかと思って様子を見ていましたが、日増しに頻度が増え一日数回飛んでくるようになりました。 軽く調査したところ、alertは特定の時間帯に偏って
2020年11月25〜27日の3日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2020」がオンラインで開催されました。そこでLINE Z Part チーム シニアソフトウェアエンジニアのルカデテナ ハビエル アキラ 氏が、「LINEアプリにおける大規模トラフィックを支えるストレージ」について共有。前半はRedisとApache HBaseを使ったストレージについて紹介しました。 ルカデテナ ハビエル アキラ氏：ハビエル アキラ ルカデテナと申します。2017年からLINEのソフトウェアエンジニアとして働いています。今日は、LINEのメッセージングアプリケーションのトラフィック・インテンシブ・ストレージについてお話しします。 まずはメッセージングアプリケーションを紹介して、そのストレージの要件とApache HBaseでどうやってその
Pinterestが世界有数規模のHBaseクラスタをNewSQLのTiDBへ置き換え、その理由と成果は［PR］
Pinterestが世界有数規模のHBaseクラスタをNewSQLのTiDBへ置き換え、その理由と成果は［PR］ さまざまな画像のコレクションを共有できるWebサービス「Pinterest」は、データ基盤としてNoSQLの分散型データストアであるHBaseを用い、10ペタバイト以上のデータを運用していました。 しかしWebサービスの進化に伴ってデータ基盤に対してより多くの機能が要求されるようになると、多数のソフトウェアによってシステムが複雑になること、NoSQLであるためにデータの一貫性を保つことが難しくなること、メンテナンスコストが増大することなどが課題となってきます。 2021年には、これらの課題を克服できる新たなデータ基盤のためのソフトウェアを模索し始め、さまざまなソフトウェアを検討した上で、スケーラブルなリレーショナルデータベースとして知られる「TiDB」が選定されます。そしてTi
LINE株式会社 LINE Platform Development Center1 Messaging Platform Development Z Part team HBase Unit Serverside Engineer データパイプラインの各構成要素 吉田真也氏：ここからは我々が構築したデータパイプラインの各構成要素についてご説明いたします。はじめにKafkaに送信するデータのプロトコルですが、HBase 0.94のクラスターへのReplayerが1.2.5のClientに依存しないように、Protocol Buffersを用いて独自に定義します。 定義したデータ構造としては、WALのメタ情報、ここではWALのエントリーやHLogKeyといったようなものです。それに加えて、HBaseの変更をあらわすCellというデータ構造を定義します。これらのデータ構造は1.2.5で用いられ
LINE株式会社 LINE Platform Development Center1 Messaging Platform Development Z Part team HBase Unit Serverside Engineer LINE Messaging Platformのサーバーサイドの技術スタック 吉田真也氏：「LINE Messaging PlatformにおけるHBaseとKafkaのデータパイプラインとその活用例」について、吉田が発表いたします。 こちらが本日の発表内容です。はじめに「HBaseとLINE Messaging Platformにおける活用」について紹介します。そしてそのあと、本日の本題である「HBaseとKafkaのデータパイプラインとその活用例」について紹介します。 それでは、HBaseとLINE Messaging Platformにおける活用について
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サイバーエージェントはHBaseからTiDBへ移行、大規模データ処理基盤における検証結果を明かす
TAXELで実際に起きたHBase周りのトラブル事例を紹介します
RedisとApache HBaseで高性能・高信頼性・高可用性なストレージを LINEアプリの大規模トラフィックを支えるストレージ
![[みんなのケータイ]弱点を工夫でカバーしてきたが、それでも電話をかけづらくなってきた「Rakuten Link」](https://cdn-ak-scissors.b.st-hatena.com/image/square/81eabbcc1041dcc5f7f316bcdae6cef3608fb367/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1635%2F269%2F01.jpg)
![いまならこう作りたい AWSコンテナ[本格]入門ハンズオン 〜2024年版 ハンズオンの構想〜](https://cdn-ak-scissors.b.st-hatena.com/image/square/f0b99a0238a6ac3b7ef76e3a3961ba6d837b5f61/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F312b1f309ec144e1a3e69e218c8f2bf4%2Fslide_0.jpg%3F32429136)
HBaseとKafkaのデータパイプラインとその活用例 LINE Messaging Platformにおける取り組み
LINEはHBaseをどのように活用しているのか LINE Messaging Platformでの取り組み
x.com
visual-alpha.com
deepredrose.hatenablog.com
comic-gardo.com
www.youtube.com
baouthereal.hatenablog.com