タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
性能と運用面での変化はどれくらい？ 移行における要点整理 記事公開日：2024年8月27日 2024年7月3日に開催された「TiDB User Day 2024」では、オープンソースのNewSQLデータベース「TiDB」が、実際にどのように使われているか、ユーザーによる事例などを通して紹介された。サイバーエージェント グループIT推進本部 データプロダクトユニットの渡邉敬之氏からは、「大規模データ処理基盤におけるHBaseからTiDBへの移行事例」と題して、HBaseの課題と移行先となったTiDBの選定理由が明かされた。さらにHBaseからTiDBへの移行方法、移行後の性能と運用面での変化なども紹介してくれた。 老朽化したHBaseのデータ処理基盤をTiDBに移行 渡邉氏が所属するグループIT推進本部のデータプロダクトユニットは、「データの力で事業成長を加速させる」をミッションに掲げている
HBaseとKafkaによるデータパイプライン構築。LINE Messaging Platformにおける活用法
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog 2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「 DEVDAY21 +Interview」では、登壇者たちに発表内容をさらに深堀り、発表では触れられなかった関連の内容や裏話についてインタビューします。今回の対象セッションは「LINE Messaging Platform におけるHBaseとKafkaのデータパイプラインと活用例」です。 LINEでは、Messaging Platformのストレージミドルウェアの1つとしてApache HBase（以下、HBase）を使用しています。HBaseのレプリケーショ
こんにちは。 GMOアドマーケティングのM.Nです。 TAXELのインフラは、今年2月に一部機能をGMOアプリクラウド内移行（バージョンアップ）し、残りをGCPに移行しました。 今回はその際に起きたトラブルの事例を紹介しようと思います。 1. 時折発生するアラート 移行が無事に終わり、2ヶ月ほど経った頃、一通のalertが飛んできました。 article.jsonはレコメンドウィジェットのリクエストですが、レスポンスに9秒弱かかっているようです。 直後に復帰しているのでウィジェットが全く配信できていない、という状態にはなっていないようですが・・・気になります。 また、どこかのAPサーバーだけで発生しているというわけでもなさそうです。 最初は一時的なものかと思って様子を見ていましたが、日増しに頻度が増え一日数回飛んでくるようになりました。 軽く調査したところ、alertは特定の時間帯に偏って
2020年11月25〜27日の3日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2020」がオンラインで開催されました。そこでLINE Z Part チーム シニアソフトウェアエンジニアのルカデテナ ハビエル アキラ 氏が、「LINEアプリにおける大規模トラフィックを支えるストレージ」について共有。前半はRedisとApache HBaseを使ったストレージについて紹介しました。 ルカデテナ ハビエル アキラ氏：ハビエル アキラ ルカデテナと申します。2017年からLINEのソフトウェアエンジニアとして働いています。今日は、LINEのメッセージングアプリケーションのトラフィック・インテンシブ・ストレージについてお話しします。 まずはメッセージングアプリケーションを紹介して、そのストレージの要件とApache HBaseでどうやってその
LINE株式会社 LINE Platform Development Center1 Messaging Platform Development Z Part team HBase Unit Serverside Engineer データパイプラインの各構成要素 吉田真也氏：ここからは我々が構築したデータパイプラインの各構成要素についてご説明いたします。はじめにKafkaに送信するデータのプロトコルですが、HBase 0.94のクラスターへのReplayerが1.2.5のClientに依存しないように、Protocol Buffersを用いて独自に定義します。 定義したデータ構造としては、WALのメタ情報、ここではWALのエントリーやHLogKeyといったようなものです。それに加えて、HBaseの変更をあらわすCellというデータ構造を定義します。これらのデータ構造は1.2.5で用いられ
LINE株式会社 LINE Platform Development Center1 Messaging Platform Development Z Part team HBase Unit Serverside Engineer LINE Messaging Platformのサーバーサイドの技術スタック 吉田真也氏：「LINE Messaging PlatformにおけるHBaseとKafkaのデータパイプラインとその活用例」について、吉田が発表いたします。 こちらが本日の発表内容です。はじめに「HBaseとLINE Messaging Platformにおける活用」について紹介します。そしてそのあと、本日の本題である「HBaseとKafkaのデータパイプラインとその活用例」について紹介します。 それでは、HBaseとLINE Messaging Platformにおける活用について
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サイバーエージェントはHBaseからTiDBへ移行、大規模データ処理基盤における検証結果を明かす
TAXELで実際に起きたHBase周りのトラブル事例を紹介します
RedisとApache HBaseで高性能・高信頼性・高可用性なストレージを LINEアプリの大規模トラフィックを支えるストレージ
HBaseとKafkaのデータパイプラインとその活用例 LINE Messaging Platformにおける取り組み
LINEはHBaseをどのように活用しているのか LINE Messaging Platformでの取り組み
togetter.com
kaoruko.dt.weblog.vc
sweetfish3n.hatenablog.com
note.com/kouichi_0703
neoneeet.com
nordot.app