GoのS3 ダウンロード処理で知っておくと良いこと - バックエンドパフォーマンス改善
こんにちは、@igsr5 です。普段はある高専の情報科に通いながら、Wantedly, Inc. で長期インターンをしています。興味領域はフロント・バックエンド、インフラで、最近は業務でもっぱらGoを書いています。今回はGoのパフォーマンスチューニングの話です。 対象読者 aws-sdk-go(aws-sdk-go-v2)[1] で s3 ダウンロード処理のパフォーマンス改善を行いたい人 Go[2] の io パッケージの話に興味がある人 バックエンドのパフォーマンス改善に興味がある人 TL;DR 内部で s3 ダウンロードが行われるバックエンドAPI などを考えたとき、 // 1. Downloader の作成 downloader := s3manager.NewDownloader(sess, func(d *s3manager.Downloader) { // + ここを追加 d.
Terraform のテストを Golang で書く！ - READYFOR Tech Blog
こんにちは。READYFOR 株式会社で SRE として働いている ジェダイ・パンくず🚀 と申します。 突然ですが、皆さんの現場ではインフラのテストの仕組みは導入済みですか？我々はまだ出来ていません(笑)。 READYFOR では IaaS として AWS を、IaC として Terraform を導入しているのですがコードのテスト・コードによってデプロイされた状態のテストを何かしらの仕組みを使って実践したいなぁと考え、今調査している最中です。 今回は Terraform のテストを書くツール Terratest について調べた内容を皆さんに共有したいと思っています。また AWS の状態をテストする仕組みとしてよく知られている Awspec との比較も行っていきたいと思っています。 必要になるモノ 事前に必要になるソフトウェアの一覧です。 Golang (requires version
AWS Lambda Go without Go - so what
とある勉強会用にLTネタを作っていたのですが、発表できなくなったので腐る前にブログに書いておきます。 お前は何を（ｒｙ 記事のタイトルについて お前は何を言っているんだ なのですが、元ネタは以下のツイートです。 ここからTCPでやり取りするプロトコルが読み取れるし、mainって名前で同じプロトコル喋るバイナリならstaticにビルドすれば別の言語でもネイティブに動かせるんじゃね？https://t.co/dWjs8YiuFe— Masashi Terui (@marcy_terui) 2018年1月17日 LTのネタになりそうだったのでやってみたわけです。 aws-lambda-goについて じゃあ、まあaws-lambda-goは一体どういう仕組みで動いているんだろうと、ソースを読んでみました。 で、entry.goとfunction.goあたりでだいたい分かりましたが、net/rpcパ
CodeStar で AWS Lambda + Golang の雛形をサクッと作成してみた - ソモサン
前回 Golang サポートしたらやってみるといってたので、まずは雛形作成と調査だけ。Golang しっかり書いたことないですし。 CodeStar で雛形作成 AWS Lambda Supports Go をよむと CodeStar に対応しているぜー とかいてあったので、そちらで作りました。 github.com 物としては、API Gateway 経由で起動して、ローカルファイルを読み込んで返す Lambda でした。 仕組みについてはこちらをありがたく読ませていただきました。 CodeStar のよかったところ: クロスコンパイラ環境の準備と設定ができてる CodeStar の利点としてはビルドやデプロイの設定がしてあることですね。とくにクロスコンパイラ環境。 家に帰る途中で調査の段取り考えてた時に、ビルド環境の準備面倒そうだなーとか思ってたので。 実際は $ GOOS=linux
Goでサーバーレス動画変換
概要よくGoogle App Engineに関する記事を書くのですが、今回はAWSです。 APIサーバーでGoを使うことももちろんありますが、他にもgo-apexでLambdaファンクションを書く場面というのもあると思います。 以前go-apexのdeployについての記事を書いたので、それは下記を別途ご覧ください。 今回はElastic Transcoder(動画のエンコーダ)を例にサーバーレスにGoが役立つ実例を紹介します。 やりたいことS3に動画をアップロードするアップロードの通知を元にlambdaが呼ばれるElasticTranscoderを呼ぶエンコード結果をS3に保存するというフローです。今回扱うのは、3の部分です。1,2,4の部分は別途AWSの設定が必要で、個人的にはterraformでやるべきだと思っています。 go-apexでのエンコード処理まずlambdaの中で真っ先に
[新機能]AWS Elastic BeanstalkがGoをサポートしました！ | DevelopersIO
はじめに AWS Elastic BeanstalkがGoをサポートしたことが発表されました！ Elastic Beanstalk Update – Support for Java and Go AWS Elastic Beanstalk Supports Go Applications これまではDocker、Java、.NET、Node.js、PHP、Python、Rubyがサポートされていましたが、新たにGoが加わったことになります。Elastic BeanstalkでのGoアプリケーションの実行では、Javaと同様にProcfileを使って複数のプロセスを実行することができます。コンパイルしたバイナリをサクっとアップロードすれば動くGolangは、Elastic Beanstalkと相性が良いと思います。 ということで、とりあえず実際にやってみました！ やってみた 以下のような、
![[新機能]AWS Elastic BeanstalkがGoをサポートしました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/7425cca287d58da0d33c34c67df2b5f84b005551/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FElastic_Beanstalk.png)
GolangのWebアプリケーションをECSにデプロイするCI環境をCodeCommit、CodeBuild、CodePipelineでつくる【cloudpack大阪ブログ】 | iret.media
cloudpack大阪の佐々木です。 内部で開発しているGolangのWebアプリをECSで稼働させるように、CI環境をつくってみました。 パブリックのgithubとかであれば、CircleCIとかでもう少しいい感じにできるとおもうのですが、ローカルのGitリポジトリで開発しているため、パブリックアクセスできないCodeCommitを使う形にしました。 概要 動作イメージは下記のような感じです。 CodeCommitにプッシュ CodePipelineでコミットを検知し、CodeBuildを起動 CodeBuildでコンパイルし、実行ファイルをビルド、S3に保存 S3に保存後、ECSのサービスの既存タスクを停止 サービスが新しいタスクを起動 新しいコンテナがS3から実行ファイルをダウンロードし、実行 もとのアプリケーションのファイルは下記のような感じです。 . ├── app │ ├──
Ridge GAE/Go みたいなの on AWS
CEL(Common Expression Language)で書いた条件にマッチしたIAM Policyを見つける / iam-policy-finder
AWS News Blog
New – Amazon EC2 Hpc7a Instances Powered by 4th Gen AMD EPYC Processors Optimized for High Performance Computing In January 2022, we launched Amazon EC2 Hpc6a instances for customers to efficiently run their compute-bound high performance computing (HPC) workloads on AWS with up to 65 percent better price performance over comparable x86-based compute-optimized instances. As their jobs grow more co
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ridge - A framework like GAE/Go on AWS
Goでビルドが遅くなってきたらやってること - Qiita