Video courses covering Apache Kafka basics, advanced concepts, setup and use cases, and everything in between. View all courses
はじめにはじめまして、TIGの原木です。サービス間通信とIDL(インタフェース記述言語)連載の4本目です。 気が付けば、バージョンの話0ばかりしています。 この記事ではスキーマのバージョン管理と互換性について話します。 “スキーマ”が指し示す言葉と課題一般的にスキーマのバージョン管理という話が出た場合、次のどちらかを想像する人が多いのではないでしょうか。 データベースのスキーマ(DB内のデータ構造)の変更をどうやってバージョン管理していくか サービス間通信で使用するデータフォーマット(ex. gRPCのprotobuf)をどうやってバージョン管理していくか データ構造が変わったことによりソフトウェアの改修が発生するとわかった瞬間、この問題に直面して「どうしよう…」と悩まれた経験を持つ方は数知れずいらっしゃるかなと思います。 両者において、スキーマのバージョン管理が課題だと意識するタイミング
PingCAPでは、オンラインによる無料トレーニング「PingCAP Education」を提供しています。NewSQLの基礎からTiDBのアーキテクチャ、システム管理、設計コンセプト、ベストプラクティスなど、今日から使える実践的なコンテンツを紹介します。 この資料では、分散型データベースTiDBが、ストレージ・レイヤーをどのように実装しているか、なぜRocksDBを選択したか、LSM tree (Log-Structure Merge tree) で知られる RocksDBはどのように書き込み、読み込みを行っているかなどの疑問を解説します。TiDBについて知識がなくても、RocksDB 、Key-Value型データベースについて関心がある方は、情報収集のためにもぜひ本資料をご覧ください。
TreasureData Tech Talk 2022で発表した内容の補足です。Hive Distributed Profiling Systemの実装方法について、プレゼンテーション中に説明しきれなかった部分を解説します。なお本記事は「Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2022」19日目の記事として執筆しました。 qiita.com 参考文献 HDPSを実装する上で工夫した点の補足 Query Simulator Hive on Tez + Java Flight Recorder Plazmaへのイベント格納 Hiveによるスタックトレースの集計 フレームグラフの描画 もっと頑張れるかもしれないポイント 事前に集計したテーブルを作っておく Async Profiler 終わり
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く