Data Contractに向けたProtocol Buffersの調査 - yasuhisa's blog
背景: データ品質を担保するにはデータソースの品質が重要 データソースの品質を担保する手段としてのData Contract Data Contractの表現方法の一つとしてのProtocol Buffers Data ContractとしてProtocol Buffersを使う データの入出力を一箇所に集約、Protocol Buffersで抑えるパターン ストレージのスキーマをProtocol Buffersで抑えるパターン 発展的な話題 & 読書会の案内 参考文献 背景: データ品質を担保するにはデータソースの品質が重要 私はデータエンジニアをしており、DWHやデータマートのデータ品質について考えることが多い。BigQueryなどにデータが取り込まれた後のレイヤリングやテスト、改善に向けたデータ品質の可視化について、以前発表した。 データが取り込まれた後の整理は進んでいるものの、やは
自作protocプラグインで実現するスキーマベースの認可処理 - enechain Tech Blog
はじめに なぜprotobufに認可設定を組み込もうと思ったのか？ 前提知識 protobufのプラグインの仕組み protocコマンドのインターフェース 実装 今回のお題 プラグインの開発 拡張プラグインの実行 生成したmapを使った認可処理 最後に はじめに こんにちは、enechainのApplication Platform Deskでエンジニアをしているendoです。 Application Platform Deskは、全プロダクトが横断で抱える課題を解決するチームです。 ※「開発者体験の向上を目指す」という意味ではPlatform Engineeringチームと近い位置づけですが、もう少しアプリケーション開発寄りの領域を担当しています。 私達のチームでは、protobufで自動生成したGolangコードを使ってAPI Endpoint毎にロール単位の認可処理ができる仕組みを構
The Protobuf Language Specification
At Buf, our goal is to improve the way software systems integrate by making schema-driven development a "pit of success". And we've put our money on Protobuf as the winning way to describe those schemas. We are expanding on the work of the Protobuf team by providing the community a complete language spec. Protobuf is the most stable and widely adopted IDL today. By building on Protobuf, we are sta
Buf
Bufstream replaces traditional disks with object storage, the most reliable and cost-effective cloud storage primitive. By eliminating expensive network-attached volumes and delegating cross-zone data replication to object storage Bufstream reduces cloud costs 10x compared to Apache Kafka — while remaining fully compatible with Kafka clients, connectors, and tools. Bufstream eliminates bad data at
ProtobufでREST APIを快適に開発する方法のご紹介 - TIER IV Tech Blog
こんにちは、ティアフォーで認証認可基盤を開発している澤田です。 最近取り入れたProtobufで、素晴らしいREST APIの開発体験をしたのでご紹介します。 なお、ティアフォーではマイクロサービスを支える認証認可基盤を一緒に開発いただけるメンバーを募集しています。ご興味のある方は下記ページからご応募ください。 herp.careers 実現したかったこと マイクロサービス間連携のAPI開発において、以下の条件を満たすやり方を探していました。 スキーマを最初に定義してリクエストとレスポンスの型が自動で生成される ドキュメント（openapi.yaml）が生成される バリデーションが定義できて、その実装が自動で生成される 実現方法 Go言語で開発する場合はgo-swaggerでも実現できますが、本記事では、Protobufで実現できるgRPC Gatewayとprotoc-gen-valid
Protocol Buffers によるプロダクト開発のススメ - API 開発の今昔 - | Wantedly Engineer Blog
こんにちは、Wantedly People アプリの開発をしている竹野（Altech）です。今回は、Protocol Buffers についての記事になります。 Wantedly People では、2018年に Protocol Buffers （以下、Protobuf と呼ぶ）がとあるマイクロサービスに入って以降、何度か大規模に Protobuf を使った開発をしてきました。またその経験を通じて、Protobuf には単に「型がついて嬉しい」というだけではないパラダイム的な変化があることが分かってきました。 その知見を全社に展開するため、去年「Protobuf によるプロダクト開発速習会」という会を行いました。この記事の内容は、そこで話したことの前半「Protobuf を使うと開発がどう変わるのか？」になります。 なお、Protobuf にはバイナリフォーマットとしての役割とインターフ
帰ってきた optional - Protocol Buffers v3.12 から Field presence が導入｜Dentsu Digital Tech Blog
帰ってきた optional - Protocol Buffers v3.12 から Field presence が導入 電通デジタルでバックエンド開発をしている齋藤です。 今回は Protocol Buffers v3.12 のリリースで追加された Field presence 機能について調べたことをご紹介します。 前提：v3.12 以前の Protocol Buffers v3 における optional な値の扱いProtocol Buffers v3 (proto3) では v2 (proto2) にはあった optional ながなくなり、optional を扱うにはひと工夫必要でした。加えて、Message の Filed に値を入れなかった場合は、Fieldの型のディフォルト値が送られてきたとみなす仕様になっています(各型のディフォルト値はこちら)。 そのため、開発者は
A new Go API for Protocol Buffers - The Go Programming Language
Joe Tsai, Damien Neil, and Herbie Ong 2 March 2020 Introduction We are pleased to announce the release of a major revision of the Go API for protocol buffers, Google’s language-neutral data interchange format. Motivations for a new API The first protocol buffer bindings for Go were announced by Rob Pike in March of 2010. Go 1 would not be released for another two years. In the decade since that fi
ロボットエンジニアのためのProtocol buffers入門 - MyEnigma
Practical gRPC (English Edition) 目次 目次 はじめに Protocol buffersとは? Protocol buffersの特徴 様々なプラットフォームや言語で利用することができる データサイズが小さい エンコードやデコードが早い データの構造を精密に規定できる データフォーマットに後方互換性がある。 JSONに変換できる デメリット protoファイルを作成する時の注意点 protobufのコンパイラのインストール MacでHomebrewをって、公式のprotobufをインストール場合 ubuntuへの公式protobufのインストール Juliaでprotoファイルをコンパイルする 使い方 C++ Python Java Julia protoファイルのスタイルガイド Protocol buffersと一緒に使うと便利なツール protoc-ge
スキーマ定義言語 Protocol Buffers と protoc-gen-swagger を使って Web API のスキマを埋めよう - VOYAGE GROUP techlog
VOYAGE Lighthouse Studio の海老原 (@co3k) です。先日 30 歳になった記念としてタイトルはオヤジギャグです。 さて、普段は 神ゲー攻略 というゲーム攻略サイトを運営しているのですが、とある派生サービスを立ち上げるにあたり、 Web API スキーマ定義を gRPC に基づく形式の Protocol Buffers で書き、 protoc-gen-swagger プラグインを介して OpenAPI 定義ファイルとして生成する、というアプローチを採りました。 yugui さんの素晴らしい記事、「今さらProtocol Buffersと、手に馴染む道具の話」によってスキーマ定義言語としての Protocol Buffers がにわかに注目を浴びて以降、似たようなことをやりたいという方もいらっしゃるのではないでしょうか。 ところが、おそらく単体で protoc-g
XML、JSON、Protocol Buffersを比較してみました - Keepdata Blog
Keepdata 開発Divの瀧田です。 開発担当としてそれっぽい記事を書こうと思い、 今回はREST APIと通信する際に、 普段何気なく使っているデータフォーマットである XML、JSON、Protocol Buffersの３つについて、 通信データのサイズとパース速度を比較してみました。 各データフォーマットの特徴 XML(1998〜) ・マークアップ言語であり、データ型記述言語ではない。 ・3つの中では1番登場が早い。 ・ウェブの通信フォーマット以外にも様々な場面で使われる。 ・SOAP APIでも使える。 ・ありとあらゆる言語で扱える。 ・API公開した際に、利用する側の実装のハードルが低い JSON(2006〜) ・登場してから急速に普及したデータ型記述言語。 ・構造がシンプルで人間にもコンピュータにも分かりやすい。 ・ありとあらゆる言語で扱える。 ・API公開した際に、利用す
grpc-gatewayでRESTful APIを実装する - oinume journal
背景 何かしらの理由でRESTでAPIを実装しなくてはいけない時に、JSONを直接扱うのは面倒くさい。具体的には、JSONをデシリアライズして内部のデータ構造にマッピングする処理を書くのが面倒だ。というわけで、grpc-gatewayを使ってProtocol Buffersを定義するだけでREST APIを実装できないかを検討してみた。 gRPCとは gRPCはサービスの定義やリモートから呼び出されるメソッドの詳細な定義(引数や戻り値)をProtocol Buffers(以降Protobuf)を用いて定義する。つまりgRPCではProtobufがIDL(Interface Definition Language)として使われていて、protocというコマンドからProtobuf上のサービス・メソッド定義から各プログラミング言語のソースコードが生成できる。 grpc-gatewayとは gr
Protocol Buffersのテキスト形式 - Qiita
様々なシリアライズ形式やデータベース向けのスキーマ言語としてProtocol Buffersが有用という話や、そのためにprotocプラグインを書く話をしてきた。 ここで、少し話は変わってProtocol Buffersメッセージのテキスト形式の話をする必要がある。 protobufで定義されたメッセージは、実はバイナリ形式やJSONにシリアライズするほか、独自のテキスト形式にもシリアライズできる。 テキスト形式はバイナリ形式の効率性やプロトコル後方互換性を欠いているが、いくつかよく使われるパターンがある。 protobufスキーマにカスタムオプションを記述するとき protobufデータを処理中のログ出力 protobufを積極活用しているプロダクト内での設定ファイル形式 別に読み書きが難しいフォーマットではないが、世の中にあまりドキュメントがないため書いておこうと思う。 なお本稿は、実
protocプラグインの書き方 - Qiita
以前の記事では、Protocol Buffers (protobuf)の魅力の1つは周辺ツールを拡張しやすいことだと述べた。そこで本稿では具体的に拡張のためのprotocプラグインの書き方を紹介したい。 ちなみに、protobufの周辺ツールと言うと2種類ある。 1つはprotobufでシリアライズされたデータを処理するツール。JSONやCSVにとってのjqやsedやawkに相当する。 もう1つはprotobufのスキーマを処理するツール。 先の記事にあるようにProtobufはシリアライゼーション機能だけでなくスキーマ言語としても価値が高いので、典型的なweb開発用途では後者のほうが重要だ。 本稿は後者のスキーマ処理の話である。なお前者は、チュートリアルでAPIを覚えたらあとは自分で好きな処理を書きましょうというだけの話なので、別に難しくない。 protoc 初めに、protocについて
今さらProtocol Buffersと、手に馴染む道具の話 - Qiita
Protocol Buffersは別に新しい技術ではない。同時にそれは、未だ知られざる、未だに可能性を秘めた先端のソフトウェア技術基盤である。 新しくないのは事実で、GoogleがProtocol Buffersをオープンソース化したのは2008年のことだし、オープンソース化前に社内で使われ出したのは更に昔に遡るだろう。たぶん。 デザイン的にもJSON対応は後付けで、将来JSONが隆盛を極めることなんか全然想定していなかったのが透けて見えて古くさい。 しかし、同時にどうも情報に聡い人であってもなかなかその真価を実感し得ておらず、ある意味で未知の技術であるらしい。ならば、Protobuf (Protocol Buffersの略)を解説した文書は幾多あれども、それに1を加えるのもやぶさかではない。 Protocol Buffersとは Protobufはスキーマ言語だ! 一般的にはProtob
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Goが新たなリフレクションベースのProtocol Buffer APIを獲得
Web API に秩序を与える Protocol Buffers / Protocol Buffers for Web API #builderscon