Robert Kubis - gRPC - boilerplate to high-performance scalable APIs - code.talks 2015
Presentation at NetPonto community: "We’re going to discuss gRPC, Google’s open-source RPC framework. I’ll dive a bit into the history of RPC as a protocol, and what its historical use has been. I’ll also highlight some benefits to adopt gRPC and how its possible to swap out parts of gRPC and still take advantage of gRPC’s benefits. Finally I’ll answer the question that has been on many lips since
gRPC - Wikipedia
gRPC (gRPC Remote Procedure Calls[2]) は、オープンソースのリモートプロシージャコール (RPC) システムである。当初はGoogleによって、RPC基盤であるStubbyの次世代版として2015年に開発された。 gRPCは、HTTP/2をトランスポートとして利用し、Protocol Buffersをインタフェース記述言語およびデータエンコーディングとして利用する。提供する機能としては、認証、双方向のストリーミングとフロー制御、同期および非同期のバインディング、キャンセルとタイムアウトの対応などがある。多くの言語において、クロスプラットフォームなクライアントおよびサーバーのバインディングを生成できる。 gRPCの最も一般的な利用シナリオとしては、マイクロサービス型のアーキテクチャーにおけるサービス間の接続や、モバイルデバイスのクライアントとバックエンドサ
システム構築にgRPCを導入した話
システム構築にgRPCを導入した話 golang.tokyo #8 28 August 2017 dice_zu(daisuzu) 自己紹介 Twitter: @dice_zu GitHub: https://github.com/daisuzu Blog: http://daisuzu.hatenablog.com サーバサイドエンジニア(最近はGoばっかり) Vimmer(プラグイン、雑誌記事、本体パッチ) gRPCとは？ Google製のRPC Protocol Buffersでインターフェースを定義 HTTP/2上でデータを転送 Go用のパッケージは google.golang.org/grpc 構築したシステム 以下のような契約管理システム 1. クライアントからオーダーを受け付けて、 2. 外部のシステムに送信すると、 3. 非同期で処理結果が返ってくるので、 4. それをクラ
本稿では gRPC + protobuf の入門とWantedlyにおけるベストプラクティスを紹介します。 protobuf (Protocol Buffers) はデータフォーマットで、JSONの役割を置き換えるものです。一方 gRPC は通信プロトコルで、HTTPの役割を置き換えるものです。 gRPC + JSON や HTTP + protobuf のような組み合わせも可能ですが、Wantedlyでは使わないので以降では考えません。 JSONとprotobufの重要な違いとして、protobufはフォーマットがスキーマに依存するという点があります。JSONはスキーマがなくても完全なシリアライズ・デシリアライズが可能ですが、protobufのデータをシリアライズ・デシリアライズするにはスキーマ情報が必要です。gRPCは技術的には必ずしもスキーマ依存ではありませんが、実装上はスキーマなし
GitHub - ory/keto: Open Source (Go) implementation of "Zanzibar: Google's Consistent, Global Authorization System". Ships gRPC, REST APIs, newSQL, and an easy and granular permission language. Supports ACL, RBAC, and other access models.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
gRPCはGoogleが開発したハイパフォーマンスなRPC（Remote Procedure Call）プロトコルです。 Firebase SDKにも組み込まれていて、間接的に使った方も多いと思います。 トークでは、アプリからの通信の選択肢として、RESTやGraphQLに加えてgRPCも選べるように、 gRPC自体の解説、grpc-swiftの開発状況や現状の課題をデモを交えお伝えします。
先月、GoogleがgRPCのバージョン1.0を発表しました。 GoogleがオープンソースのRPCフレームワーク「gRPC 1.0」を発表 | OSDN Magazine gRPCとはGoogleが公開しているHTTP2ベースのRPCフレームワークで、Protocol Buffersでサービスインタフェースやリクエストやレスポンスのデータ構造を定義します。特定の言語に依存しないメリットがあり、かつ型の恩恵も受けることができます。Protocol BuffersのIDLでデータ構造やインタフェースを定義すると、C++/C#/Java/Go/Ruby/Python/Objective-Cといった言語のクライアントプログラムを自動生成できるため、生産性でも強みが有ります。 最近ではMicroservices構成におけるサービス間通信によく利用されたり、iOSやAndroidといったモバイルアプ
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
OpenTelemetryでgRPCのヘルスチェックのトレースを無視する - YAMAGUCHI::weblog
はじめに OpenTelemetryを使ってgRPCのトレースを楽に取ろうと思うと otelgrpc を使ってよしなにリクエストのトレースを取っていることと思います。 たとえばサーバー側であれば interceptorOpt := otelgrpc.WithTracerProvider(otel.GetTracerProvider()) srv := grpc.NewServer( grpc.UnaryInterceptor(otelgrpc.UnaryServerInterceptor(interceptorOpt)), grpc.StreamInterceptor(otelgrpc.StreamServerInterceptor(interceptorOpt)), ) クライアント側であれば interceptorOpt := otelgrpc.WithTracerProvider(o
GitHub - yu-iskw/machine-learning-microservice-python: Example to implement machine learning microservice with gRPC and Docker in Python
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
この記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 9 日目の記事です。 TL;DRGKE Ingress + gRPC アプリケーションはヘルスチェックに一工夫必要あえて Nginx を使って解決してみるすぐに使えるコマンド例と設定ファイルつきHTTP(S) ロードバランサーのヘルスチェックは gRPC に対応していない近頃使われることが多くなってきた gRPC ですが、GCP の HTTP(S) ロードバランサーは gRPC でヘルスチェックを行うことができません。 これは HTTP(S) ロードバランサーを Ingress として使う GKE で「GKE Ingress + gRPC アプリケーション」をデプロイしようとしても、そのままではヘルスチェックが通らないため、クライアントからのリクエストがアプリ
Series IndexPython and Go: Part I - gRPC Python and Go: Part II - Extending Python With Go Python and Go: Part III - Packaging Python Code Python and Go: Part IV - Using Python in Memory IntroductionLike tools, programming languages tend to solve problems they are designed to. You can use a knife to tighten a screw, but it’s better to use a screwdriver. Plus there is less chance of you getting hur
Kotlin, meet gRPC: a new open-source project for modern apps As developers work to modernize applications, they need foundational tools that are simple and scalable. gRPC is a high-performance, open-source, universal RPC framework originally developed here at Google that developers are adopting in tremendous numbers, helping them connect services more easily and reliably. Paired with Kotlin, the s
gRPC はじめからていねいに - Qiita
はじめに 現在配属されているプロジェクトで、既存システムのマイクロサービス化対応を行っています。 その中でgRPCも使っているのですが、名前は聞いたことがあって、なんとなくは知っているけど、実際に触ったことがなかったので、これを機に基礎から学んでみようと思いました。 ということで、「完全に理解した」状態を一緒に目指しましょう！ gRPCとは Googleが開発したRPC(Remote Procedure Call)1を実現するためのフレームワークです。 Protocol Buffersというバイナリ形式のシリアライズデータを利用し、データをシリアライズして高速な通信を実現します。 （Protocol Buffersがデファクトスタンダード） protoファイルと呼ばれるIDL(Interface Definition Language)にAPIの仕様を記述し、サーバサイドとクライアントサイ
gRPC-Web for .NET is now officially released. We announced experimental support in January and since then we’ve been making improvements based on feedback from early adopters. With this release gRPC-Web graduates to a fully supported component of the grpc-dotnet project and is ready for production. Use gRPC in the browser with gRPC-Web and .NET today. Getting started Developers who are brand new t
この記事は、C# その2 Advent Calendar 2019 の二日目の記事です qiita.com はじめに コードファーストで開発したい protobuf-net.Grpc コードファースト ASP.NET Core gRPC をやってみる .NET Core ライブラリ作成 NuGet パッケージ追加 データコントラクトとサービスコントラクトを定義 gRPC サービス作成 NuGet パッケージ追加 gRPC サービス実装 .NET Core コンソールアプリケーション作成 NuGet パッケージ追加 gRPC クライアントを実装 実行 まとめ はじめに ASP.NET Core 3.0 で gRPC がサポートされた。 一方で WCF は .NET Core に正式には移植されず、コミュニティによる開発にシフト。 業務では WCF をバリバリ使っているけど、gRPC への移行
We want to give back to the wider developer community. Each post in our open source series walks you through a challenge faced by TrueLayer's engineering teams – the code we wrote to solve the issue is released under an OSS license. In this post, we'll explain how we tackled the challenge of gRPC load balancing in Rust. Our solution was to release ginepro, a new gRPC channel implementation for ton
GO言語での gRPC 環境構築 Go言語がインストールされいてる前提です。go コマンドが使えればOKです。 gRPCのインストール Go言語での gRPC をインストールします。 $ go get -u google.golang.org/grpc protocのダウンロード .proto ファイルをコンパイルする protoc コマンドを使えるようにコンパイラをインストールします。 Releases · protocolbuffers/protobuf 上記URLからOS環境に合わせてダウンロードしてください。Windows OS(64bit)の場合、例えば protoc-3.8.0-rc-1-win64.zip です。バージョンは適宜最新版を落とします。 ダウンロードしたZIPファイルを解凍してできたディレクトリ直下にある /bin にパスを通します。 protocのGo用のプラグ
サーバーサイドエンジニアの田実です！ Yappliのネイティブアプリ向けのAPIは一部gRPC-Gatewayで実装されています。 インターフェース仕様の共有・確認はprotoファイルやwiki*1、Slackを使って行っていましたが、protoファイルだとリクエスト・レスポンスの全容が一見して把握しづらく、wikiやSlackだと反映漏れや最新の仕様が追いづらい等の課題がありました。 本記事ではこれらの課題を解決するために、Swaggerを使ってgRPC-GatewayのAPIドキュメントを自動生成した話を紹介したいと思います！ protocを使ってOpenAPIのドキュメントを自動生成 gRPC-Gatewayのprotoc-gen-openapiv2のプラグインを使うと、protoファイルからOpenAPIの定義ファイルを書き出せるようになります。 $ go get -u githu
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
概要 Koa ライクな API を提供する Node.js 製の gRPC フレームワーク、mali.js を試してみる機会があったので、簡単に使い方を紹介します。(公式サイトには Koa ライクとありますが、Express ライクと受け取って良いでしょう) Node.jsのgrpc実装 grpc パッケージのAPIをラップして簡単にしている印象があるので、手元でgRPCのmockサーバーが必要な際などに役立ちそうだと感じました。 ※ 使ってみたという内容記事なので、実装上の tips や実運用でのノウハウなどに関しては触れません。 公式 Document https://mali.js.org/ GitHub https://github.com/malijs/mali サーバー実装 gRPC のサーバー/クライアントを実装する際には、まずはじめに .proto でサービス/メッセージタ
JavaScript: Past, Present, and Future - NDC Porto 2020
ゴール：Unity(iOS/Android)でgRPCを動かす UnityでgRPCを動かす #1 コンソールアプリ UnityでgRPCを動かす #2 Unity UnityでgRPCを動かす #3 iOS UnityでgRPCを動かす #4 Android 開発環境：macOS Sierra + Unity 2017.3.0f3 開発環境：macOS Mojave + Unity 2019.1.5f1 今回はその１です。 コンソールアプリでgRPCのサンプルを動かす C#で開発するのでVisual Studio for Mac（以下vs）をインストールします。 次にgRPCの本体＋サンプルをcloneします。 $ cd （個人の作業用フォルダ） $ git clone https://github.com/grpc/grpc.git サンプルのソリューションファイルを開きます。clon
GoのgRPC ServerのInterceptor(recovery/auth/zap/prometheus) - sambaiz-net
grpc-goはInterceptor(Middleware)でhandlerの前後で処理を行うことができる。 UnaryとStreamでシグネチャが異なる。 type UnaryServerInterceptor func(ctx context.Context, req interface{}, info *UnaryServerInfo, handler UnaryHandler) (resp interface{}, err error) type StreamServerInterceptor func(srv interface{}, ss ServerStream, info *StreamServerInfo, handler StreamHandler) error func UnaryServerInterceptor(opts ...Option) grpc.Unar
最近gRPCをちょこちょこ触っている。認証について調べた時に、自分で拡張して独自の認証機構を作ることができることを知ったので試してみた。 gRPCにビルトインされている認証機構 まず、Authenticationのページにも書かれているとおり、 SSL/TLS と Token-based authentication with Google の2種類がビルトインされている。それぞれの使い方について、様々な言語でサンプルが書かれていて親切。 独自の認証機構を作りたい場合 まず、Authenticationのページに「Extending gRPC to support other authentication mechanisms」とあるように、自分で拡張することができる。WithPerRPCCredentialsとWithTransportCredentialsの2種類が使えるようだ。今回は
gRPC on HTTP/2: Engineering a robust, high performance protocol
This guest post was written by Jean de Klerk, Developer Program Engineer, Google In a previous article, we explored how HTTP/2 dramatically increases network efficiency and enables real-time communication by providing a framework for long-lived connections. In this article, we’ll look at how gRPC builds on HTTP/2’s long-lived connections to create a performant, robust platform for inter-service co
先日 Protocol Buffers + gRPC で我が家の非常食を管理する API サーバーを立ててみました。今まで Python で基本的に Web サーバーを作ってきた筆者が勉強もかねて GoLang + protobuf + gRPC というイマドキな構成で組んでみました。 これを（最近構築した） Kubernetes 環境で本番運用していくにあたって TLS 終端のプロキシを入れようと少し調べたところ Envoy というプロキシが gRPC と親和性が高くよく使われているようなので試してみました。まだ最新の Web 上の情報が少なかったのではまりどころも含めてまとめていきます。 Protocol Buffers / gRPC / Envoy とは Protocol Buffers とは Google が策定した言語・プラットフォーム中立のデータフォーマットで、 API のサー
By Dale Hopkins (CTO, Vendasta) | Originally written by Dale Hopkins with additional content by Lisa Carey and others at Google Guest post Monday, August 29, 2016 Vendasta started out 8 years ago as a point solution provider of products for small business. From the beginning we partnered with media companies and agencies who have armies of salespeople and existing relationships with those business
C# を使用した gRPC サービス
このドキュメントでは、C# で gRPC アプリを作成するために必要な概念を説明します。 ここで取り上げるトピックは、C-coreベースと ASP.NET Core ベースの両方の gRPC アプリに適用されます。 proto ファイル gRPC では、API 開発に対してコントラクト優先のアプローチが使われます。 プロトコル バッファー (protobuf) は、既定でインターフェイス定義言語 (IDL) として使用されます。 .proto ファイルには、次のものが含まれます。 gRPC サービスの定義。 クライアントとサーバー間で送信されるメッセージ。 protobuf ファイルの構文の詳細については、「.NET アプリの Protobuf メッセージを作成する」を参照してください。 たとえば、gRPC サービスの概要に関するページで使用されている greet.proto ファイルにつ
株式会社SODAで運営するSNKRDUNKでは、サービス、リポジトリ、組織の急激な拡大に伴い、開発スピード、品質を落とさないようにGo+gRPCを利用し、将来的にマイクロサービスも視野にいれながらモジュラモノリスへのリプレイスを進めています。 社内で実践しているGo+gRPCでのモジュラモノリスでの実装方法や、現状抱えている課題などをお話できればと思っています。
Announcing gRPC Support in NGINX ということで、nginx 1.13.9 で gRPC サポートが入り、HTTP と同じように gRPC ストリームを扱えるようになるようです。めでたい！ grpc_pass ディレクティブが新規に実装され、grpc:// と grpcs:// なバックエンドに対してリバースプロキシを行えるようになるようです。これを使って、 TLS 終端を nginx にやってもらったり 複数のバックエンドを置いて柔軟にロードバランスしてもらったり 同一のエンドポイントに複数 gRPC service を設定して、nginx にルーティングしてもらったり などの設定をすることが可能になるようです。 まだ正式にリリースされているわけではないので、今回は HEAD を持ってきて、リリースに載っている例を試してみます。 下準備 今回は適当に EC2
これは、なにをしたくて書いたもの？ 前にJavaでgRPCを使うエントリを書いた時に、ネットワークまわりにNettyを使っているのを見て あれ？これ、ブロックするような処理を書いたらどうなるんだろう？とちょっと気になり gRPC-Java内で、スレッドがどういう扱いになっているか確認したい というエントリです。 そんなわけで、簡単なプログラムを書いて確認してみたいと思います。 環境 今回の環境は、こちら。 $ java -version openjdk version "1.8.0_181" OpenJDK Runtime Environment (build 1.8.0_181-8u181-b13-1ubuntu0.18.04.1-b13) OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode) $ mvn -version Apa
GitHub - n0stack/n0stack: A simple cloud provider using gRPC
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
前回の記事で基本的なgRPCサーバの起動はできるようになった． h3poteto.hatenablog.com gRPCで提供するメソッド群はgRPCサーバで使えるように .proto ファイルをどんどん増やしていけば良い． でもたまに，RESTも提供したいけどgRPCでメソッド叩けるようにもしたい，みたいなことを思うことがある． というわけで，今度はPlayFrameworkでRESTの応答を受け付けながら，gRPCサーバも起動してみる． playとgRPC その前に，今回対象とするのはPlayFramework 2.6である． 実はPlayFramework2.5ではgRPCサーバを立ち上げることが出来ない． stackoverflow.com playが裏側で使うNettyとgRPCが裏側で使うNettyがコンフリクトする． PlayFramework2.6では，裏側がakka-ht
gRPC for .NET Coreを試して統合サポートのありがたみを感じた - castaneaiのブログ
.NET Core 3.0にgRPCのサポートが追加された。 元々gRPCのC#対応はされていたはず、何が違うのか？答えはgRPC公式のブログに書いてあった。 https://grpc.io/blog/grpc-on-dotnetcore/ Unlike the existing C-Core based implementation (Grpc.Core), the new libraries (grpc-dotnet) make use of the existing networking primitives in the .NET Core Base Class Libraries (BCL). The diagram below highlights the difference between the existing Grpc.Core library and the new
概要 趣味で作るアプリでgRPCを使った通信をしてみようと思い設定した時のメモです。 build.gradleで何を設定する必要があるかについて主に書いています。 Kotlin、SpringBoot、gRPCについては、細かく説明しません。 こちらの設定についてのメモです。 技術選択の気持ち なぜKotlin? Java8のOptionalは手に馴染まない。isPresentとか書くの面倒くさい。 最近周りで流行している。 かわいい。 サイバーエージェントでは、Androidだけでなく、サーバーサイドでもKotlin使っているところがある。(※1 関連資料) なぜSpringBoot? Javaでアプリケーション書く時のデファクトスタンダード(だと思ってる)。 なぜgRPC? 触ってみたいから。 趣味で作るアプリなので使ったことがないものを使いたい。 メルカリのバックエンドでも利用されてい
Learning Go by examples: part 6 - Create a gRPC app in Go
In previous articles we created an HTTP REST API server, a CLI, a Bot for Discord and even a game for Nintendo Game Boy Advance. Today let's create another type of application: a gRPC app in Go! First, what is gRPC? gRPC is a modern, open source Remote Procedure Call (RPC) framework, originally developed by Google. "gRPC is based around the idea of defining a service, specifying the methods that c
Guest post by Nikhil Mohan, Senior Technology Architect at Infosys More than ever before, present day businesses want their IT systems to constantly evolve and be capable of responding positively to the changing goals and priorities. As they say, change is the only constant. In this context, microservices have become the proverbial Holy Grail for solution architects to design and build modern sof
背景 gRPCにはクライアントとサーバとの通信を抽象化したChannelという仕組みがあります。 GRPC_GO_LOG_SEVERITY_LEVEL=infoを有効にした際に出てくる [core] Channel Created [core] parsed scheme: "" [core] scheme "" not registered, fallback to default scheme [core] ccResolverWrapper: sending update to cc: {[{localhost:8080 <nil> 0 <nil>}] <nil> <nil>} [core] Resolver state updated: {Addresses:[{Addr:localhost:8080 ServerName: Attributes:<nil> Type:0 Meta
gRPC is an amazing library, however, the documentation lacks details on error handling. The code examples do not contain error handling part either (though few does seem to have them). Some test suits in main repo do have them, but it might be difficult to figure out for a beginner. This project is my attempt to fix the issue. The repository contains examples in all popular languages and contain s
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
protobuf スキーマと gRPC 通信 | Wantedly Engineering Handbook
iOSエンジニアの為のgrpc-swift入門
gRPCとgrpc-gatewayでWebオペレーションの形を再考してみた
grpc/doc/statuscodes.md at master · grpc/grpc
GKE Ingress + gRPC アプリケーションのヘルスチェックをどうにかする
Python and Go : Part I - gRPC
gRPC, meet Kotlin | Google Cloud Blog
gRPC-Web for .NET now available - .NET Blog
コードファースト ASP.NET Core gRPC - present
TrueLayer Blog: gRPC load balancing in Rust
gRPC に Go言語 で入門する方法(環境構築から通信まで)
gRPC-GatewayのAPIドキュメントを自動生成する - Yappli Tech Blog
GitHub - philips/grpc-gateway-example
Node.js gRPC フレームワーク mali.js の紹介 - Qiita
SpannerとgRPCを使ったらバグった話
UnityでgRPCを動かす #1 コンソールアプリ - Qiita
gRPCで独自の認証機構を利用する（パスワード認証編）
gRPC を Envoy でプロキシして Python から使う【2022】 - Qiita
Why we have decided to move our APIs to gRPC
SNKRDUNKでGo+gRPCで すすめるモジュラモノリス
nginx に実装された gRPC サポートを試してみる - Qiita
gRPC-Javaのスレッドが気になるという話 - CLOVER🍀
PlayFrameworkしながらgRPCサーバも起動する - PartyIX
KotlinでSpringBootでgRPCサーバーを立てた時の設定メモ - Qiita
Think gRPC, when you are architecting modern microservices!
gRPCのChannelについて - Carpe Diem
gRPC Errors