パイプ（土管）をGo言語でも楽しめるはじめに前回はGo言語のmime/multipartパッケージによるファイルのアップロードを見ましたが、パフォーマンスの特徴にはあまり触れませんでした。 大規模なETLジョブや、制限の厳しいサーバーレスの環境などでは、ファイルを扱うプログラムのリソースを慎重に考える必要があります。本記事ではメモリ使用量を大幅に減らすio.Pipeの使い方を見ていきます。 全てのコードはサンプルレポジトリにあります。 同期処理にある問題前回のコードをもう一度見てパフォーマンスを考えてみましょう。 // ファイルを開く file, _ := os.Open(filename) // リクエストボディのデータを受け取るio.Writerを生成する。 body := &bytes.Buffer{} // データのmultipartエンコーディングを管理するmultipart.W

とあるスマートフォン向けMMORPGのプロジェクトで、アプリケーションサーバをほぼすべてGKE(Google Kubernetes Engine)に乗っけて動かしていました。 このゲームは、モバイル向けながら、複数プレイヤ間でそこそこリアルタイム性の高い同時プレイができるものでした。同じフィールドを誰かが歩けば、自分が見ている画面でもほぼ同時にそいつが歩いて横切っていく、同じ敵と皆で一緒に戦えば、誰かが繰り出した攻撃が参加者全員の画面に即同期される、もちろんチャットもできる、そんな具合です。今ではさほど珍しくないのかもしれませんが、PCのオンラインゲームのような機能を搭載した、リアルタイム性の高いモバイルゲームでした。 さて、こうなってくると、オーソドックスなWebサーバのような、HTTP/1でリクエスト/リプライを捌く、というサーバだけでは要件を満たすことができません。 複数プレイヤ間で

夏休みの思い出づくりに暗号通貨マイニングをしてみたので、そのレポートをしてみます。 きっかけ夏休みを10日取ったら、最後の3日ぐらいやることが無くなったので、何か普段絶対やらないことをやってみようと思い立った。 そうだ、アレやってみよう、マイニング。ブロックチェーンヤバイヤバイ言われ続けてはや数年。正直自分には何がヤバイのかよくわからない。デセントライズされたトランザクションログ、とか言われても、おっちゃんにはどうしても「Winny掲示板みたいなもんでしょ」ぐらいの認識しか沸かないのである。 しかしそう言っている間にも業界は盛り上がりを見せ、自分も俺にはカンケーナイネと言い続けている一方で、なんかブロックチェーンって言ってないIT経営者はかっこ悪いかも的な妙なコンプレックスも生まれてしまって、機会があれば何が起こっているのか肌感覚を得たいなあとは思っていたのである。 夏休みの暇な時間に考え

tl;dr: functions that take an http.Handler and return a new one can do things before and/or after the handler is called, and even decide whether to call the original handler at all. If you’re building web services using Go (if you’re not, why not?) and you’re not using any middleware packages (and even if you are), then you need to understand the power of wrapping http.Handler types. An http.Handl

Having seen the cool things it’s now possible to do using using Google BigQuery’s public data sets (notably this), I decided to take a look at the top imported golang packages on a weekly basis. Interested in finding the best logging solution for your go application? or perhaps you want to make sure you are using the right HTTP request multiplexer? What better way is there than good old democracy!

There are plenty of guides for profiling Golang, just writing this here so I can find it again easily ☺ The runtime/pprof package offers lower level control over creating profiles, and the very cool net/http/pprof package registers HTTP end-points for profiling live applications, this is a really slick feature. To simplify things even further Dave Cheney created github.com/davecheney/profile, all

Interfaces make the code more flexible, scalable and it’s a way to achieve polymorphism in Golang. Instead of requiring a particular type, interfaces allow to specify that only some behaviour is needed. Behaviour is defined by set of methods: type I interface { f1(name string) f2(name string) (error, float32) f3() int64 }No particular implementation is enforced. It’s enough that type defines metho