GoのS3 ダウンロード処理で知っておくと良いこと - バックエンドパフォーマンス改善
こんにちは、@igsr5 です。普段はある高専の情報科に通いながら、Wantedly, Inc. で長期インターンをしています。興味領域はフロント・バックエンド、インフラで、最近は業務でもっぱらGoを書いています。今回はGoのパフォーマンスチューニングの話です。 対象読者 aws-sdk-go(aws-sdk-go-v2)[1] で s3 ダウンロード処理のパフォーマンス改善を行いたい人 Go[2] の io パッケージの話に興味がある人 バックエンドのパフォーマンス改善に興味がある人 TL;DR 内部で s3 ダウンロードが行われるバックエンドAPI などを考えたとき、 // 1. Downloader の作成 downloader := s3manager.NewDownloader(sess, func(d *s3manager.Downloader) { // + ここを追加 d.
2021年12月くらい(その1)のAWS最新情報ブログとかをキャッチアップする – AWSトレンドチェック勉強会用資料 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopersIOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 12月はre:Invent 2021が先月から続いていてめちゃくちゃ記事があります。というわけで今年も2回に分割します。 ちなみにAWSの最新情報をキャッチアップするだけなら週刊AWSがおすすめですが、Developer
Introducing Amazon CloudWatch RUM for monitoring applications’ client-side performance
Amazon CloudWatch RUM is a real-user monitoring capability that helps you identify and debug issues in the client-side on web applications and enhance end user’s digital experience. CloudWatch RUM enables application developers and DevOps engineers reduce mean time to resolve (MTTR) client-side performance issues by enabling a quicker resolution. Amazon CloudWatch RUM is part of CloudWatch’s Digit
データベースを自動でチューニングしてくれるサービス「OtterTune」
現代のデータベースには設定可能な項目が数百単位で存在しており、その全てを適切に設定して最高のパフォーマンスを導き出すのは並大抵のことではありません。そうした人間には難しいチューニングをデータベースの使用状況を把握して自動で行ってくれるサービスが「OtterTune」です。 OtterTune - Database optimization. On autopilot. | OtterTune.com https://ottertune.com/ OtterTuneを使う時に特殊なソフトウェアのインストールやコードの変更は不要で、OtterTuneをデータベースに接続して何を目標にするかを選べばOK。目標には例えばクエリパフォーマンスやコストなどを設定可能です。接続が完了すると自動で接続時点での設定や統計情報を読み取り始めます。このとき、テーブル情報やクエリなどデータベースの中身に関する情報
[アップデート] インターネットトラフィックのパフォーマンスが最大60%向上！Amazon S3 マルチリージョンアクセスポイントの紹介 | DevelopersIO
[アップデート] インターネットトラフィックのパフォーマンスが最大60%向上！Amazon S3 マルチリージョンアクセスポイントの紹介 アップデートからしばらく時間が経ってしまいましたが、先日リリースされた Amazon S3 Multi-Region Access Point についてご紹介します。 Amazon S3 Multi-Region Access Point が、レプリケートされたデータセットへのアクセスを最大 60% 加速 S3 Multi-Region Access Point グローバル展開されるアプリケーションやリージョン障害を考慮したアーキテクチャを設計する際に、S3 のクロスリージョンレプリケーション(CRR)は広く採用されている方法です。 しかしながら CRR で複数リージョンのバケットにオブジェクトを配置できたとしても、最短のレイテンシでアクセスするためにど
![[アップデート] インターネットトラフィックのパフォーマンスが最大60%向上！Amazon S3 マルチリージョンアクセスポイントの紹介 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/55e5ee85a70b0b6893eeca79750f0d06a94b8595/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-s3.png)
Kafkaに接続するJavaアプリケーションをGravitonインスタンスへ移行してパフォーマンスを改善する - joker1007’s diary
社内向けのドキュメントと兼用したので、前提とかメンバー向けの解説が含まれているので、前後のパフォーマンスの変化だけを見たい人は、下の方のグラフ画像までスクロールしてください。 gravitonインスタンスを活用するモチベーション ワークロードによる相性はあるが、特にマルチスレッド性能で既存のインスタンスより性能向上が見られる上にコストが安いため、うまくフィットすれば性能改善とコスト削減の双方でメリットがある。 また、周辺ハードウェアもアップデートされているため、エフェメラルストレージ付きのインスタンスのストレージサイズが増えているなどのメリットもある。 特に現時点ではr6gdインスタンスが利用したかった。 gravitonインスタンスを利用するためarm64アーキテクチャへの対応 gravitonインスタンスはarm64 (aarch64) アーキテクチャのCPUのため、既存のx86_64
AWS Amplify で Custom headers を活用したパフォーマンスと脆弱性対策
はじめにこんにちは、Finatext で保険事業にてプロダクト開発をしている @toshipon です。今回は我々のプロダクトでも活用している AWS Amplify コンソールにおける Custom headers の運用についてお話いたします。 概要Amplify 上で Custom headers を設定する手順についてご紹介いたします。Custom headers は、HTTP レスポンスのヘッダーに指定できる情報を管理するもので、主にデバッグやセキュリティ対策、情報提供に利用されます。 今回は、キャッシュを適切に有効にさせてパフォーマンスを向上させたり、XSSやクリックジャッキング等のWebアプリケーション脆弱性に対処することを目的として利用したいと思います。 また、Content-Security-Policy-Report-Only というセキュリティヘッダー（説明については
「AWS」「Azure」「GCP」の処理性能を比較、Cockroach Labsが2021年版のレポートを公開
「AWS」「Azure」「GCP」の処理性能を比較、Cockroach Labsが2021年版のレポートを公開：三大クラウドの処理性能はどう違う？ Cockroach Labsは、Amazon Web ServicesとMicrosoft Azure、Google Cloud Platformの処理性能を比較した年次レポートの最新版を公開した。3つの主要クラウドの処理性能がかなり異なることが分かった。 Cockroach Labsは主要クラウドサービスの処理性能を比較した年次レポートの最新版「2021 Cloud Report」を公開した。 ベンチマークの対象となったのは、「Amazon Web Services」（AWS）と「Microsoft Azure」（Azure）、「Google Cloud Platform」（GCP）。 3年目となる今回のレポートは過去のレポートと比較して、よ
2020/06/04時点 Aurora MySQL 5.6 vs 5.7 vs Serverless 機能比較一覧 | DevelopersIO
注釈 5.6系、5.7系ともにマイナーバージョンは最新版とします。つまり、5.6系と互換性のあるAurora MySQLのバージョンは1.*ですが、最新版である1.22.2についての記載になっています。同様に5.7系と互換性のあるAurora MySQLのバージョンは2.*ですが、最新版である2.08.0についての記載です。これより古いバージョンの場合、上記表の通りではない場合があります。 機能間で依存関係がある場合があります。その部分については記載していません。例えば並列クエリが有効になっている Aurora MySQL DB クラスターではパフォーマンスインサイトはサポートされていません。 特にマルチマスタークラスターには多くの制限があります。利用時には注意しましょう。[参考情報] 感想 Serverlessは使えない機能が多いですね。5.7系も以前は同様の印象だったのですが、昨年末に
SQL レベルのメトリクス をサポートしたパフォーマンスインサイトで高負荷状態のDB稼働を確認してみた | DevelopersIO
AWSチームのすずきです。 SQL レベルのメトリクス をサポートを開始したパフォーマンスインサイト(Performance Insights)を利用して、 高負荷状態に陥った Amazon Aurora Provisioned (MySQL5.6互換) の稼働状況を確認する機会がありましたので紹介させていただきます。 環境 過負荷が発生した環境は、 CMS(WordPress)の 記事データベースとして利用している Aurora でした。 Performance Insights SQL情報 SQLの情報として、下記項目が表示されるようになりました。 calls/sec : 毎秒ごとの呼び出し avg latency (ms)/call : 平均レイテンシー rows examined/call : 一度の呼び出しで返される行数 一回の処理時間は短いが実行回数が多く、チリも積もって高い負
ARMはサーバー業界を支配するアーキテクチャになりうるのか？
by BoykoPictures プロセッサコアのアーキテクチャの一つであるARMは、これまでスマートフォンやIoTデバイスなど低消費電力が求められるデバイスに搭載されてきましたが、サーバー市場においてはIntelやAMDのx86アーキテクチャが支配している状況が続いています。しかし、AmazonがAWS向けに独自設計した次世代ARMプロセッサ「Graviton 2」を発表するなど、サーバー市場においてもARMに有利となりうる構造的な変化が起こり始めていると、ScyllaDBのVPであるGlauber Costa氏が述べています。 Is Arm ready for server dominance? - ScyllaDB https://www.scylladb.com/2019/12/05/is-arm-ready-for-server-dominance/ サーバーのインフラは採用実績
私はAWS EC2のt2インスタンスを誤解していた - CPUクレジットとベースラインパフォーマンス、そしてT2 Unlimited - SMARTCAMP Engineer Blog
スマートキャンプエンジニアの今川です。 この記事はスマートキャンプ Advent Calendar 2019 - Qiita 10日目の記事です。 qiita.com 別のネタで書こうと思っていましたが、ちょうど昨日今日でAWS5年やってたのに誤解してた！という経験をしたのでそれについて忘備録＆人に共有するためにもまとめます。 T2 Unlimitedって何が嬉しいの？という方には読んでいただきたいです。 t2インスタンス - バースト可能なインスタンスタイプ AWS EC2にはt2という安価なインスタンスタイプ群があります。 aws.amazon.com ベースラインから必要に応じてバースト可能な汎用インスタンスタイプ という見出しがついており、 オンデマンドインスタンスの価格は 1 時間あたり 0.0058 USD から開始され、T2 インスタンスは最も安価な Amazon EC2 イ
[新機能] リストア直後からフルパフォーマンス！EBS で Fast Snapshot Restore（FSR）が可能になりました | DevelopersIO
こんにちは、菊池です。 熱いアップデートがきました。EC2で利用するブロックストレージ、Amazon EBS でリストア直後からフルパフォーマンスを発揮できる Fast Snapshot Restore（FSR）が登場しました！ Amazon EBS Fast Snapshot Restore (FSR) eliminates the need for pre-warming data into volumes created from snapshots これにより、スナップショットから作成したEBSでもプレウォーミングなしで本来の性能が発揮できるようになります。 そもそもプレウォーミング（初期化）って？ スナップショットから作成したEBSは、初回のアクセス時にS3からプルダウンされることになります。そのため、作成直後はアクセス時のレイテンシが通常よりも大きく、本来EBSに割り当てられた
![[新機能] リストア直後からフルパフォーマンス！EBS で Fast Snapshot Restore（FSR）が可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0b6b259771afd062b96d939e25c9bdc0c872c381/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-ebs.png)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Timestream 所感 - moznion
TechCrunch | Startup and Technology News