RustのgRPCがGoよりも遅い？
夏のある日、GoのgRPCが、Rustよりも2倍早いという記事を見つけました。「おいおい、測定ミスだろ」と強がっていましたが、日々、不安は高まっていきます。真実の愛であれば、疑うことは許されませんが、エンジニアの言語への愛など、所詮、状況に応じて使い分けるような打算的な愛。確認してみました。 性能測定結果上記の記事と同じく、gRPCのサーバソフトウェアは、Goはgrpc-go、Rustはtonicのgreeterの性能を、gRPCのクライアントソフトウェアghzを使って、測定しました。ハードウェアは、AWSを利用し、サーバはc5a.8xlarge(32 vCPU/64 GiB)インスタンス、クライアントはc5a.16xlarge(64 vCPU/128 GiB)インスタンスを使いました。 1台のクライアントインスタンスは、同時に3,000個のgRPCクライアントを立ち上げ、合計で6,000
GCPで理想の構造化ログを出力する方法
はじめに この記事では、GCP のマネージドサービス(Google App Engine[1]/Cloud Run/Cloud Functions/GKE)から Cloud Logging に良い感じの構造化ログ(理想の構造化ログ)を出力する方法について紹介します。 良い感じのログの例 前提条件 この記事で紹介する構造化ログの実装は基本的に以下の仕様にそって実装しています。重要な仕様なので興味のある方は一度読んでみることをおすすめします。 構造化ペイロードの特殊フィールド 用語の解説 本編に入る前に、この記事で使われるログ出力まわりの用語をまとめておきます。以下の用語については前置きなく使いますのでよろしくお願いします。 構造化ログ[2] プレインテキストではなく、JSON等のデータ形式で出力されたログのこと GCPのCloud Logging(旧Stackdriver Logging)で
Fixing For Loops in Go 1.22 - The Go Programming Language
David Chase and Russ Cox 19 September 2023 Go 1.21 includes a preview of a change to for loop scoping that we plan to ship in Go 1.22, removing one of the most common Go mistakes. The Problem If you’ve written any amount of Go code, you’ve probably made the mistake of keeping a reference to a loop variable past the end of its iteration, at which point it takes on a new value that you didn’t want.
Goコンパイラディレクティブのgo:linknameとtime.Now()のモック
package internal import "fmt" func print(msg string) { fmt.Println("[internal]", msg) } 上の例のように、Goではプライベート関数は通常外部パッケージからimportすることができない仕組みになっています。この前提のもと、privateな関数を外部パッケージから参照する方法が、今回見ていくGoのコンパイラディレクティブgo:linknameを使った方法になります。 go:linkname Goにはinternal package[2]という仕組みがあり、パッケージinternalは特定パッケージ下のみimportできるようにimportの可視性を制限できるものです。 このinternal packageのルールに即しつつinternal.printの Goのコンパイラdirectiveである//go:li
Goメモ-231 (メモリコピー無しで string から []byte へ変換する)(unsafe) - いろいろ備忘録日記
概要 サンプル 参考情報 概要 使うことはほぼ無いと思いますが、知っておくと役に立つときが来るかもしれません。 Goで string から []byte へ変換したい場合は、通常以下のように b := []byte(s) とします。これで何も問題ないのですが、内部ではメモリコピーが走りますので 極端に大きなサイズの文字列を変換しようとすると時間がかかります。 メモリ上に配置されてるデータは同じで、表現の仕方だけの変更で済めば速くなります。 （C言語でよくやるやつですね） しかし、Goは暗黙的な型変換を許していません。明示的な変換が必要です。 devlights.hatenablog.com なので、Goでこのようなことをするには unsafe パッケージを使う必要があります。 unsafeパッケージは、その名前の通り safe ではありません。なので、通常使わないのが正解です。 以下、サン
![Goメモ-231 (メモリコピー無しで string から []byte へ変換する)(unsafe) - いろいろ備忘録日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/9c2b5c2855d7e7ea0e90db99c8fea5c603dcd739/height=288;version=1;width=512/https%3A%2F%2Fgo.dev%2Fblog%2Fgopher%2Fheader.jpg)
【Go】Service層でSpannerのトランザクション管理をしたい
こんにちは。ymtdzzzです。 Zennの書き味にハマってしまい、個人ブログではなくこちらで書いちゃいます。 今日はSpannerとGoの話。 RepositoryパターンでWebアプリケーションを実装するときは、どこでトランザクション管理を行うかが論点になることが多いですが、恐らくServiceとかUsecase層（infraを意識しないビジネスロジックを扱う層）で行いたいのが通常かと思います。 ただ、Spanner Clientでトランザクション管理を行いたい場合、依存性を排除するのが難しくなってきます。 下記のように、トランザクション境界がライブラリの機能に閉じるため、どうやってそれを抽象化するかというのがポイントになってきそうです。 // この辺の扱いを抽象化したい _, err := client.ReadWriteTransaction(ctx, func(ctx conte
Kubernetes上でgRPCサービスを動かす
Kubernetes上でgRPCサービスを動かすことが多くなってきている．が適切にロードバランスをする，リクエストを落とさずサービスをデプロイするためにいくつか注意することがあるので簡単にまとめておく． 以下の2つを意識する． Kubernetes ServiceはL4のLoad balancer（LB）であること gRPCはコネクションを使いまわすこと KubernetesのPodは死んだり作られたりを繰り返す．KubernetesのPodにはそれぞれ内部IPがアサインされるが，このIPはPodが新しく作成される度に変わる．IPが変わってもPodにアクセスするためにKubernetesではServiceをつくる．ServiceはPodを抽象化しVirtual IP（VIP）を提供する．VIPを使うことでPodのIPが変わってもPodにアクセスすることができる． VIPはNetwork i
gRPCでのClient-Side LB実装の変遷 - Carpe Diem
概要 gRPCでのバランシングをClient-Sideで直接実装する方法の紹介です。 gRPCはPolyglot（様々な言語で扱う）を意識しているので、gRPC自体の仕様が策定→各言語がそれに則って実装となります。 なので「元々はこういう実装だったけど、他の言語と統一してこう変更したよ」みたいなissueをちょこちょこ見ます。 結果これまでの書き方がいつのまにかdeprecatedになってたりするので、以前の書き方から遡って調べてみました。 環境 go v1.13.6 grpc-go v1.26.0 kubernetes v1.14.8 Client-Side LBの書き方 ２世代前 こちらの書き方です。日本語記事はこの書き方が多め。 r, _ := naming.NewDNSResolverWithFreq(5 * time.Second) balancer := grpc.RoundR
Cloud Spanner の SQL ログを gRPC レイヤーで取得する方法
はじめに この記事は Google Cloud Japan Advent Calendar 2022 の「通常版」の 21 日目の記事です。 こんにちは、Google Cloud でデータベース系のプロダクトを担当している佐藤です。 TL;DR - 最初にまとめ 本記事では以下の内容が書かれています。今回は Cloud Spanner 用のアプリケーションの話で例示していますが、gRPC を使う他のアプリにも応用ができる内容になっています。 本記事の内容 アプリケーションが Cloud Spanner へ投げる SQL および mutation とパラメータは、gRPC レイヤーでまとめて取得することができる gRPC には Interceptor という、各 RPC のリクエストごとに任意の処理を割り込ませる仕組みがある Interceptor で Cloud Spanner 用のアプリ
Functional table-driven tests in Go
There are numerous blog posts about table-driven tests in Go. In this blog post, I want to show a technique we have recently started using in our unit tests. I saw it the first time when my friend Matt Layher introduced it to me at work, and since then, I gradually started using it in places where it's suitable. This technique comes especially handy for large structs with multiple nested fields. F
GitHub Actionsでreviewdogを飼って静的解析してみる
こんにちは。株式会社ペライチ でサーバーサイドエンジニアをしている木村です。 入社以来主にペライチを継続利用していただくための機能追加や改善の開発を担当しております。 そのかたわら、ペライチシステムの品質を向上するための対応も行っており、今回はその一環として導入を進めているreviewdogを用いた静的解析について紹介させていただきます。 これまでのコード解析 ペライチでは Sider を利用して Pull Request 毎にソースコードの自動チェックを行っています。 Sider ではリポジトリ毎に解析を実施するツールの設定が可能で、 PHP で開発されているペライチアプリケーションでは以下を有効にしています。 PHP_CodeSniffer PHPMD Pull Request に含まれる変更のみを解析対象としてくれるため、人がコードレビューをする前段の文法やコーディング規約のチェック
goroutine と並行処理の怖い話 · ww24.jp
概要 golang の goroutine と channel は非常に強力な機能で、並行処理へのハードルが下がり、手軽に使うことが出来ます。 本当にそうでしょうか。 ハードルは下がる… しかし、下手に扱うと panic, deadlock, race condition, goroutine leak… 怖いもの (嵌りポイント) が多いです。 panic まず、 defer + recover していない goroutine の中で panic が起こると、メイン goroutine を巻き込んで process が死にます。 package main import ( "fmt" ) func main() { defer recover() defer fmt.Println("finish") fmt.Println("main goroutine") ch := make(ch
GoでFunctional Options Patternを使うとモックで引数の比較ができない問題に対応したい
TL;DR モックしている関数がFunctional Options Patternを採用している場合、引数の比較に苦労する。 そのため、gomockを使用している際は DoAndReturnを使用し頑張ってオプションを比較する Functional Options Patternの採用を諦め、こちらの記事で紹介がある手法を使用する といった対応が考えられる。 [追記] この記事では「受け取る側でオプションをfunc型として受け取っているパターン」のみをFunctional Options Patternと読んでいます、正確にはこの扱いは誤りでした（→詳細は記事の最後に Functional Options Patternとは Goではoptionalな引数を取ることができないのでFunctional Options Patternという方法がとられる場合が多い。 go-patternsを
goroutineリークを排除して安全に並行処理を行う方法 | ビジネスとIT活用に役立つ情報（株式会社アーティス）
goroutineはgoキーワードを関数の前に書くことで簡単に起動することができます。 しかしながら、goroutineはランタイムによってガベージコレクションされないため、正常に終了させていない場合はリークしていきます。 野放しになったgoroutineたちによってプロセスごと停止にならないよう、正常に終了させましょう。 goroutineリークしている例 それでは、意図的にgoroutineリークを発生させてみましょう。 起動しているgoroutineの数をカウントするため、runtime.NumGoroutine()を使用して現在のgoroutine数を標準出力に表示させています。 go playground package main import ( "fmt" "runtime" "time" ) func main() { fmt.Printf("before leak:\t%
Simplicity and collaboration | Dave Cheney
This is the text of my closing keynote from Gophercon India. It has been slightly altered for readability from my original speaking notes. I am indebted to the organisers of Gophercon India for inviting me to speak, and to Canonical for giving me the time off to attend the conference. If you want to see me stumble through the real thing, the video is now available. Closing Keynote, Gophercon India
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to use unsafe get a byte slice from a string without memory copy
Challenges of running gRPC services in production
GitHub - teivah/100-go-mistakes: 📖 100 Go Mistakes and How to Avoid Them
How to Find Goroutines During Debugging | The GoLand Blog
GitHub - githubnemo/CompileDaemon: Very simple compile daemon for Go
