データ基盤チームです。 私たちのチームではログ収集のために、サーバサイドやフロントから日々データを送ってもらっています。 しかし、異なる言語や環境において、スキーマや型などに悩まされることが多くありました。特に、JSON形式ではスキーマの変更や互換性の確保が大きな課題になります。 そこで、ログ収集のデータ送付をProtocol Buffers(以下、protobuf)に移行することにしました。 これまでの課題スキーマに従う手間noteではもともとAPI仕様書を見ながらJSONを書いていたのですが、スキーマに従っていないデータを送れてしまう問題がありました。 極端なことを言えばJSONですらなくてもHTTP Message Bodyに入れて送信できてしまうのです。 { "data": { "params": { "id": 1, "user": { "uuid": "hogehoge" }
![Protocol Buffersを導入しログの送受信の実装を効率的に - データ基盤のログ収集改善|noteエンジニアチームの技術記事](https://cdn-ak-scissors.b.st-hatena.com/image/square/68c59fa92179b37a060d3b973a3dfe4783393cd9/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F145238051%2Frectangle_large_type_2_297248f88168f1fa41f5fa035c4a3c21.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)