はてなブックマーク

はじめに コンテナベースでインフラ実現するに伴って色々AWS上でのコンテナ周り調べたり、本番導入した際のまとめ的なメモです。 大雑把にこんなことを書いてます。 構成概念と基礎知識 terraformによるコードデプロイ連携でのブルーグリーンデプロイ terraformによるメトリクスベースでのオートスケーリング ECS+Fargateのインフラアーキテクチャ全体像 AWS公式からの引用 ECSとは ECSはAWSが提供するk8sと同じようなクラスタ構成でのコンテナオケーストレーション を実現するサービス。 ECSは実際にコンテナが稼働する複数のworkerNodeとその操作・管理を担当するmasterNodeの クラスタ構造を採用する事で分散・冗長化・スケーラブルなインフラを構築できる。 具体的には以下のような機能を提供をしている。 クラスタの管理(workerNodeへの自動参加・死活監

仕事でCloud DataFlowを使った際に、ざっくり調べた入門的なまとめ。 データ処理畑の有識者ではないので、なにか記載に誤りなど あれば学びになるので教えていただけたら :) Cloud DataFlowって? GoogleCloudPlatformが提供するストリーム/バッチ方式でのデータ処理エンジン(Apache Beam)のフルマネージドサービスです。 と書くとなんのこっちゃ？って感じなので 大雑把に要素分解をすると ストリームデータ処理対応(ストリームデータについては後述) 任意のinput(pubsubやmysql,gcs)から得たデータの変換、GCS,BigQueryへのデータ流し込みをコードで書いてdeployするだけで実現できます。 Cloud/PubSubとの連携が容易。(beamSDKの呼び出しを１〜３行書くだけ) Java,PythonのSDKが提供されています

なにこれ? 昔どこかに書いた記事が吹っ飛んで悲しかったので、こちらに復帰。 Goを使ってgRPCのServer,Clientを実装する記事となります。 gRPC? gRPCは、Googleによって開発されたRPCフレームワークです。 HTTP/2を使用した通信部分のライブラリ(ProtocolBuffersでシリアライズ)とProtocolBuffers(標準)としたテンプレートコードの生成がセットで提供されています。 ざっくりと言っちゃうと、HTTP/2を使った手続き部分がばっくり提供されていて Server,ClientのコードはProtocみたいなエコシステムでgenerate できる、という省エネでHTTP/2に乗れる仕組みです。わーい。 HTTP/2のstreamもサポートしています。 gRPCのサポートするRPC方式は以下の通り。 Unary RPC (1リクエスト1レスポンス

なにこれ? golang使ってるとよく出会うことになるであろう、context.Contextの使い方と contextのgodocの自分的な和訳。 よく登場する割にあまり使わないので忘れがちなので、大雑把に調べ上げたものを載せとく。 (２回忘れたので観念した contextとは blog.golang.org/contextの 紹介が一番わかりいいかなぁという気もするのでそのまま使います。 In Go servers, each incoming request is handled in its own goroutine. Request handlers often start additional goroutines to access backends such as databases and RPC services. The set of goroutines work

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はしがき テストもコードベースが巨大になってくると、 時間が掛かるので並列処理したいヨネーって要望とか。 並列処理のベンチマークどないしよか的な事を まとめてみました。 CIで並列実行してもらえばよくね? とか言われると、そうですね感溢れるかもですが :P 最近、testの事ばかり調べてたので、メモがてら。 テストの並列実行 testing.T.Parallel() を呼び出したテストは並列に実行されます。 go test -parallel n(並列数)で指定すれば並列で実行してくれます。 試してみましょう。 package main import ( "testing" "time" ) // 10秒かかるテスト func Test10sSleep(t *testing.T) { t.Parallel() time.Sleep(10 * time.Second) } // 20秒かかる

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Pagination実装のつらみ 大体の場合、Limit,Offsetをパラメーターに渡す事で実現してるケースが多いと思います。 ただPaging実装は突き詰めるといろいろ課題や困ったポイントがあるので、結構シンプルだけど悩みますよね。 今回はそんなつらみポイントと解決するオシャレなページネーションについて書いていきます。 e.g 以下のようなテーブルがあったとして、 mysql > desc sample; +-----------------+---------------------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +-----------------+---------------------+------+-----+---------+-------+

モックを使ったテストって? テストのために本物のオブジェクトを使わず、テスト用に差し替える手法です。 モックを用いたテスト自体、否定派・賛成派あるのでいろいろ意見はありますが 階層型のアーキテクチャを選定していると、一番下のレイヤまで気を配らないと 上位層のテストがかけないのはしんどいですしよね。 例えば 他社API処理 通信コケてCIガー、実行時間ガー データベースがらみ 並列実行すると、コケるワー、実行時間ガー テストの障害が増えると、テストを書かなくなりますし、メンテナンスも大変に なっていくので使える所は使った方が良いのかな、と。 一番ストレートなやり方 (例) goの記事というか基本的なDIの活用例っぽいですが... 基本的にinterfaceに依存する。 DI(Dependency Injection)を活用する。 テスト対象のサンプルコード package main impo

はしがき 以前、go vetについて触れましたが、 公式以外でも循環複雑度解析をしてくれたりとか、 いろいろ良いライブラリがあるので、その辺の紹介を。(後おまけでvimの設定:p 静的解析ライブラリ 御三家的なアレ。 go vet [前の記事] (http://qiita.com/marnie_ms4/items/b343165efb4235906db7)でも紹介したgo謹製のツールですね。 go imports 保存時とかに掛けると、使ってないimportを自動でお掃除してくれたり、追加してくれたりする、賢い子です。 go lint 構文上微妙なものとかをsuggestしてくれます。 私はvimのファイル保存時にgo fmt,go lintは自動で掛けるようにしています :) 静的解析ライブラリ 複雑度、重複コードチェックとか少し凝ったやつ go cyclo 分岐数などのプログラムの構造