OpenAPI や Protocol Buffers のおかげで開発がかなり捗っている話 | MEDLEY Developer Portal
2020-08-21OpenAPI や Protocol Buffers のおかげで開発がかなり捗っている話こんにちは、インキュベーション本部エンジニアの加藤です。 主に CLINICS アプリの開発を担当しています。 はじめにCLINICS アプリの開発では OpenAPI や gRPC を利用しています。 OpenAPI と gRPC の間には何の関係もないのですが、どちらも API の仕様をスキーマ言語で記述するという点では共通しています。 今回はこの API スキーマが開発にもたらすメリットについて紹介していこうと思います。 API ドキュメントとしてのスキーマ定義既存のコードに機能を追加する際や修正を加える際に気にすることの多い部分は API の仕様ではないかと思います。 「リクエストやレスポンスはどのようなデータなのか」「この値は必須なのか、任意なのか」「データの型は数値なのか
gRPC リフレクションはなにをしているか？ - blog.syfm
gRPC リフレクションは、対象の gRPC サーバがどのようなサービス、メソッドを公開しているかを知るための機能です。 gRPC を使う上でリフレクションを有効にすると、gRPCurl や Evans といったツールを使う際に Protocol Buffers などの IDL を直接的に読み込まずにメソッドを呼び出すことができてとても便利ですが、gRPC リフレクションはなにをしていて、ツールは gRPC リフレクションをどうやって使っているのでしょうか？ それなりに複雑でしばしば忘れるので記事にしておこうと思います。なお、この記事では gRPC の実装として grpc/grpc-go、Protocol Buffers の実装として protocolbuffers/protobuf-go を参照します。 gRPC リフレクションを有効化しているサーバの例 grpc/grpc-go に g
GoとgRPCでKVS的なものを作ってみた - 小野マトペの納豆ペペロンチーノ日記
正月で時間があったので、以前から触ってみたかったgRPCをGo言語から使い、キー・バリュー・ストアのようなものを作ってみた。 KVSといっても、GoのmapへのGet/Put/Delete/ScanをgRPC経由で叩けるようにしただけのもの。それだけだとあまり面白く無いので、gRPCらしく、Watch機能をつけてmapへの更新を監視できるようにした。 github.com 個人的には、HTTP/1.1 + JSON APIと比べた時のgRPC(HTTP/2 + ProtoBuf)のメリットや違いが気になっていたので、そのあたりを気をつけながら書いた。 開発の手順 サービス定義 まずはProtocol Buffers 3でKVSのサービスを定義する。サンプルを見ながら適当に書いた。 grpc-kvs/grpc-kvs.proto at master · matope/grpc-kvs · G
gRPCのクライアント実装でサーバー証明書の検証を入れる方法 - ハトネコエ Web がくしゅうちょう
このあいだの gRPC の記事の「失敗５」の項で サーバー側の証明書の正当性を検証するステップはスキップするという方向の実装 にしたのですが、サーバー証明書の検証をおこなう方法がわかったので書いておきます。 なお、今回言う「サーバー証明書」というのは、 自分の運営するドメインに対して取得した X.509証明書 の意味で捉えてください。 よく言う「SSL証明書」ですね。（現在はSSL通信ではなくTLS通信だけど……） 方法1: サーバー証明書を用いる Let's Encrypt での認証後、生成されるサーバー証明書 cert.pem をサーバーから持ってきて、 それを証明書検証に用いることも可能です。 ……が、これは Let's Encrypt の仕様上、認証後から3ヶ月で使えなくなってしまうものです。 更新のたびにサーバーから取りに行くのは現実的ではなさそうです。 方法2: ルート証明書を
@castaneai
Software Engineer in Tokyo, Japan Hi, I'm working on Game Backends (Multiplayer Online Game, Cloud Gaming), Video Streaming ... and Anime illustration. GitHub Twitter Blog Qiita Zenn Books 2019-09 よくわかるgRPC / Understanding gRPC 技術書典7 2019-04 Google App Engine Webアプリ開発入門 技術書典6 Talks 2021-10 Cloud Gaming Platform with Go Go Conference Online 2021 Autumn 2020-02 自己紹介と、環境と、Scrapboxのすすめ / engineer_ekak
Swiftでプロトコルバッファを使う - Qiita
先日、Apple から Swift Protobuf Plugin が公開されました。これは Swift でプロトコルバッファを使うためのツールです。 私はプロトコルバッファにそこまで詳しくないのでこれは良い機会だと思って試しに使ってみることにしました そもそもプロトコルバッファとは？ プロトコルバッファ(protobuf)とは、Googleが開発したオブジェクトシリアライズツールです。JSONのようにデバイス間でデータを送受信する際などに使えます。JSONと異なりパーズの必要はなく、バイト列から決め打ちでデータをとり出すので速い上にデータ量も非常に小さいです。 あらかじめデータコンテナ( protobuf では message という)の仕様を表す定義ファイル(.proto)を作成し、それを元に message クラスを自動生成してコンテナにアクセスします。データの構造をあらかじめ定義す
gRPCでブロードキャストを実現 - Qiita
ブロードキャストとは、図のように、接続中のみんなにメッセージを飛ばすことです。 オンラインゲームや多人数のチャットを実装する際は必須となります。 gRPCにブロードキャスト専用の機能はある？ ないです。 gRPCは名前の通り、RPC（遠隔呼び出し）のためのフレームワークであり、 クライアント側が遠隔にあるサーバーに対して関数を呼び出す部分のみを提供しています。 ということで、専用の機能がないので、自前で仕組みを構築します。 Goで実装してみる ということで、gRPCでブロードキャストの実装を実際にしてみます。 ソースコードは次のリポジトリにも公開しています。 次のようにチャットを送るBiDirectional Streaming RPCで定義します。
gRPC & Goで超簡素なチャットツールを実装する - Qiita
はじめに この記事はユニークビジョン株式会社 Advent Calendar 2018の12日目の記事です。 11日目から続けてgRPCで超簡素なチャットツールを実装してみました。 今回はgRPCのServer-side streaming RPCとClient-side streaming RPCを活用してリアルタイムなテキストのやりとりを実装します。 streamとは クライアントもしくはサーバが断続的なメッセージの末尾(EOF等)に到達するまで受信もしくは送信できる方式で、今回はリアルタイムなチャットメッセージの送受信に使用します。 準備 基本的に前回のプロジェクトを踏襲しています。 ディレクトリ構成 . ├── client │ └── main.go ├── hellogrpc │ └── hellogrpc.proto └── server └── main.go sy
grpc/doc/load-balancing.md at master · grpc/grpc
The gRPC client supports an API that allows load balancing policies to be implemented and plugged into gRPC. An LB policy is responsible for: receiving updated configuration and list of server addresses from the resolver creating subchannels for the server addresses and managing their connectivity behavior setting the overall connectivity state (usually computed by aggregating the connectivity sta
内部実装から理解するgRPC - Qiita
概要 目的 gRPCはDocumentにあるように以下の特徴があるかと思います。 protocol buffer のようなインターフェース定義語 (IDL) から生成されたコードを利用してRPCができる HTTP/2で通信することができ、リクエストとレスポンスをそれぞれ分割できる 多言語に対応している しかし、この記事ではこれらの機能の紹介ではなく、gRPCの仕組みを理解することを意図しています。 なぜそれを意図したかというと普段の開発でgRPCを利用しているものの、どのような仕組みでRPCが実現できているのかイメージが持てていなかったためです。そのために、grpc-goの内部実装（2019/5時点）を読み解きながら、実際の通信の中身を覗いてみました。 そして結果的には以下の効用がありました。 protoc-gen-goがprotocol-buffersから生成したコードがどのように利用さ
gRPC over SSL/TLS with ClientCertification - t.marcusの外部記憶装置
gRPCを利用したサービスを作ることになったので、その際に調べた認証・認可周りのメモ キーワード：grpc, grpcs, client認証 gRPCにおける認証方法 gRPCの認証は公式サイトによると以下の方式がビルトインされてるらしい SSL/TLS Token-based authentication with Google また、認証情報は以下の方式で設定できる Channel credential SSL証明書などのように gRPC Channel に紐付ける方式 Call credential Request時にClientContextに対して設定する方式 今回はgRPCServiceをグローバルに公開する予定があったのと通信を暗号化したかったので、クライアントに自己署名証明書(通称、オレオレ証明書)を払い出して、その証明書のCommonNameで認可を行う SSL/TLS
gRPCのChannelzを使ってみた - Qiita
Channelzとは gRPCを使おうとして最初にはまるのがコネクションの扱いな気がします。HTTPでリクエストするのと違ってリクエストとコネクションの管理が独立しているのでTransient Failureってなんや！ということが一回はあると思います。更にLoad BalancingしているとgRPCのコード上のコネクション(grpc.ClientConn)が複数のサーバへのコネクションを束ねている状態になるのでもっと複雑になります。 Transient failureなどの状態についての詳細はこちら。 https://github.com/grpc/grpc/blob/master/doc/connectivity-semantics-and-api.md そこで様々なコネクションの状態を観測できるようにしようということでChannelzというものが提案された(既にマージ済み)。 ht
gRPC-WebのProxyをNginxにしてみた - Qiita
というふうにProxyを介してブラウザとgRPCサーバーとでやり取りを行っています。 今回はこのProxyのお話です。 このProxyは、公式ドキュメントやその例などでもEnvoyを使用しています。 https://github.com/grpc/grpc-web 実際、Envoyを利用するとすんなりと導入することが出来ます。 ただIP制限ができなかったり(こちら出来るようであればご指摘おねがいします）、Yamlで書かないといけなかったりとなにかとかゆいところに手が届きません。 そのため、ProxyをNginxにしてやってみようと思います。 NginxでもgRPCのプロキシーをすることができます。 Introducing gRPC Support with NGINX 1.13.10 今回作るサンプルはこちらに配置しています。 https://github.com/morix1500/gr
gRPC x Go x nginx での失敗談 - ハトネコエ Web がくしゅうちょう
この前こんな gRPC の入門記事を書いたわけですよ。 nekonenene.hatenablog.com だからもう実際の運用も恐くないだろうな〜って思っていたんですけど、 実際にサーバーに置いて動かそうとしたらいろいろ失敗があったので書いておきます。 動かそうとしたコードはこんな感じなので、時間ある方は読んでもらえば。 失敗１： nginx と gRPC サーバー間は平文通信で大丈夫だった 接続としては クライアント→（443番）→ nginx がプロキシ役 →（localhost:50123）→ Docker（50123:50051） → Go による gRPC サーバー となっていて、とにかく上手く行かなかったので、 「もしやローカル通信部分も SSL/TLS 化しないと gRPC の場合は行けないのでは？」と、 自己署名証明書作ったり、無理やりサーバー証明を Docker にre
Building APIs with gRPC: Continued
This document discusses how to further develop the gRPC API service created in Building APIs with gRPC. It introduces: Common patterns for implementing CREATE, LIST, UPDATE, and DELETE methods in gRPC API servicesStreaming in gRPC API servicesCommon patterns for error handling and pagination in gRPC API servicesThe document is a part of the Build API Services: A Beginner’s Guide tutorial series. N
nginx に実装された gRPC サポートを試してみる - Qiita
Announcing gRPC Support in NGINX ということで、nginx 1.13.9 で gRPC サポートが入り、HTTP と同じように gRPC ストリームを扱えるようになるようです。めでたい！ grpc_pass ディレクティブが新規に実装され、grpc:// と grpcs:// なバックエンドに対してリバースプロキシを行えるようになるようです。これを使って、 TLS 終端を nginx にやってもらったり 複数のバックエンドを置いて柔軟にロードバランスしてもらったり 同一のエンドポイントに複数 gRPC service を設定して、nginx にルーティングしてもらったり などの設定をすることが可能になるようです。 まだ正式にリリースされているわけではないので、今回は HEAD を持ってきて、リリースに載っている例を試してみます。 下準備 今回は適当に EC2
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - jsmouret/grpc-over-webrtc: gRPC over WebRTC
GitHub - grani/grpc: The C based gRPC (C++, Node.js, Python, Ruby, Objective-C, PHP, C#)
Getting started with Endpoints for Compute Engine with ESP | Cloud Endpoints with gRPC | Google Cloud
エラー | Cloud APIs | Google Cloud
