AWS 新CPU Graviton4 の性能検証 | 外道父の匠
公式の説明による大きな変化点は、 Graviton 2 → 3 の時は、性能25％UP で費用6％UP、Network/EBS 帯域幅が向上、 Graviton 3 → 4 では、性能30%UP で費用10％UP、最大スペックが３倍、 に加えて、細かいところでも色々少しずつ向上しているという感じです。 特にスペック３倍は、データベース用途におけるスケールアップが強力で、一時的な緊急負荷対策としても強いし、クラスタデータを３分割するくらいなら１クラスタで分割なしで貫けばいいじゃない、など安定と選択の幅が広がるのは間違いないでしょう。 ベンチマーク それでは、疑り深い外道父さんによる、いつもの Phoronix による検証です。 今回は R系 という点と、あまり古いのと混ぜると共通成功テスト数が減ってしまうことから、R6g, R7g, R8g での比較としています。C7i 以前なども知りたけれ
awslim - Goで実装された高速なAWS CLIの代替品を作った - 酒日記 はてな支店
最初に3行でまとめ AWS CLIは便利です。しかし起動が遅いので、Goで実装された高速な(ただし機能は少ない)代替品を作りました。awslim といいます リリースバイナリは無駄に大きいので、必要な機能だけを組み込んだビルドを簡単にできるようにしてあります。ビルドして使うのがお勧めです どうぞご利用下さい github.com 以下はこれに至るまでの経緯とか、実装や使い方の話とかです。長いです。 作成の経緯 AWSの各種サービスにアクセスするための AWS CLI は、スクリプトやコマンドラインから処理を自動化するために大変便利なツールです。AWSでサーバーサイドの開発、運用している人であれば、ほぼ全員がお世話になっているんじゃないかと思います。 しかし、AWS CLI (コマンド名aws) には「起動が重い」という問題があるなとずっと思っていました。具体的には、aws --versio
AWSが教えてくれないコスト削減の小話いろいろ | 外道父の匠
米ドル/円 が150円と計算しやすくなり、コスト削減の圧力が日々強まる中、皆様お宝探しと垂れ流し回収の真っ最中でございましょうか。 最近はコスト削減や予算について見ることが多いので、その中で出てきた面白げな話に雑談を加えてとりとめなく書いてみようと思います。 削減余地はある 昨年にご好評いただいた AWSコスト削減とリソース管理 | 外道父の匠 を含め色々な削減施策を試みてきましたが、サクッと成果になる箇所から泥沼に動かない所まで様々あったりします。 ただ、どんなアカウントでもトラフィックや処理負荷には波があり、それに対する余剰リソースを確保して構成しているので、その辺をキュッと絞ることまで含めればやれることは必ず一定以上存在することになります。 そういう大きなお宝ではない小さなお宝だと様々あり、古びたとか退職者が作ったとかで、ほぼ使っていない垂れ流しリソースやデータをかき集めれば、チリツ
Amazon S3 へのファイルアップロードで POST Policy を使うと、かゆいところに手が届くかもしれない - カミナシ エンジニアブログ
はじめに こんにちは。カミナシでソフトウェアエンジニアをしている佐藤です。 みなさんは、アプリケーションのフロントエンドから、Amazon S3 にファイルをアップロードするときに、どのような方法を用いているでしょうか？ 「バックエンドのサーバーにファイルを送信し、バックエンドのサーバー経由で S3 にアップロードしている」「Presigned URL を払い出して、フロントエンドから直接 PUT している」など、いくつかの方法があると思います。 弊社で提供しているサービス「カミナシレポート」でも、用途に応じて上記の方法を使い分けて S3 へのファイルのアップロードを行っています。 特に、Presigned URL は、手軽に利用できる上に、バックエンドのサーバーの負荷やレイテンシーの削減といったメリットも大きく、重宝しています。 一方で、その手軽さの反面、アップロードに際して様々な制約を
Amazon SQS の ApproximateAgeOfOldestMessage とは何なのか？
SQS には ApproximateAgeOfOldestMessage という、queue に存在する最も古いメッセージの、queue に入ってからの経過時間に関するメトリクスがあります。例えば queue の処理が遅延していることを検知したい場合、ApproximateNumberOfMessagesVisible よりも良い指標となる場合があります。ただ、このメトリクスの定義の詳細についてはドキュメントに載っておらず、ドキュメントに書かれている内容も正確さを欠くので実験を通して現在の挙動についてまとめてみました。 実験結果等を踏まえた ApproximateAgeOfOldestMessage の定義 結論から述べると、次のような定義と言えます。 メトリクスの対象メッセージは queue に存在するすべてのメッセージであり、invisible なものも含む メトリクスの値は queu
AWSへのサイバー攻撃についてまとめてみた（Abuse-report、Irregular activity編）
Abuse-reportとは？ Abuse-reportという通知は、EC2インスタンスを侵害された場合に、AWSから通知されるメールの件名となります。 メールには、なぜAbuse-reportが送付されたかの理由が英文で書かれております。 過去にあったケースですと、DDoS攻撃に加担した挙動や、ポートスキャンを実施したのを確認した場合に送付されることが多いようです。 ちなみに、Abuse-report内に該当のインスタンスIDが記載されています。 受信したらどうしたら良いか？ EC2インスタンスが侵害されているので、速やかにセキュリティグループなどで通信を遮断してください。 その後、原因調査をしてください。主な原因は後述するので、それらが該当するかをまず確認すると良いでしょう。 原因調査後、インスタンスの安全が確認できない場合は、AMIを含めてインスタンスを削除した方が良いです。（バック
踏み台にはECSコンテナを。～ログイン有無を検知して自動停止させる～ - NRIネットコムBlog
こんにちは、後藤です。今回はAWS構成における踏み台についての記事です。 データベースなどのインターネットに繋げたくないリソースに踏み台リソース経由でアクセスさせることは、セキュリティ設計としてよくある構成だと思います。 今回はその踏み台リソースに「ユーザーログイン有無を検知して自動停止する」ロジックを組み込んだ方法を共有します。 また、一般的によく用いられるのはEC2だと思いますが、今回はECS on Fargate(以降はFargateと略)を使います。しかも自動停止ロジックにLambdaを使いません！！コンテナの中で完結させます。 踏み台を設計する時に気になること そもそも踏み台について設計する際に何が気になるのでしょうか。それはOS管理負担と自動停止です。 踏み台にEC2を用いるとOSパッチ適用などの運用コストが発生します。業務系サーバでないのに心労が重なるのはなるべく避けたいとこ
ALB（Application Load Balancer）がボトルネックになっていたか確認する方法を教えてください | DevelopersIO
困っていた内容 ALB（Application Load Balancer）への急激なアクセス増加により処理が遅延し、一時的にサーバーエラーとなる事象が発生しました。ボトルネックが ALB 側か、もしくはバックエンドサーバー側かを切り分けたいのですが、ALB の性能限界に達していたか確認する方法を教えてください。 どう対応すればいいの？ ALB は負荷状況に応じて内部的にスケーリングが行われるため、最大接続数などの情報は非公開となっています。 そのため ALB の性能限界を明確に確認することはできませんが、以下 (1) ～ (3) の指標を確認することで、ALB もしくはバックエンドのどちらがボトルネックになっていたかを推測できます。 (1) 当該時刻に ALB のスケーリングが行われていたかを確認する ALB への接続数が物理ノードの限界に達すると自動的にスケーリングが行われ、その際には
Terraform で AWS に DB を構築するとき manage_master_user_password を使っていますか？ - 電通総研 テックブログ
こんにちは。X（クロス）イノベーション本部 ソフトウェアデザインセンター セキュリティグループの耿です。 Terraform で Amazon RDS インスタンス/クラスターを作る時に、password または master_password 属性に指定したマスターユーザーのパスワードが tfstate ファイルに平文で残ってしまう問題がありました。 （参考） https://speakerdeck.com/harukasakihara/sekiyuanaterraformfalseshi-ifang-ji-mi-qing-bao-wokodonihan-mezuhuan-jing-gou-zhu-surunihadousitaraiifalse しかしこれも過去の話。Terraform AWS Provider v4.61.0 からこの問題を解消する方法が提供されているので、それについ
AWSのPublic IPv4構成をIPv6に切り替える | 外道父の匠
AWS の IPv6化について調査は済んだけど、書き始めるのに非常にドンヨリしております。図を書いて少しでも楽しくいきましょそうしましょ。 皆様も読んだらドンヨリするかもしれませんが、できるだけ丁寧に書いてみますので、PublicIP 有料化に抗いたい人は頑張って追ってみてください:-) 目次 また長いです。でもひきかえさないほうがいいかもしれない。 はじめに 前提知識 目的 IPv6 の設計 従来のプライベート IPv4 IPv6 の割り当て Gateway と Routing VPC SecurityGroup Network ACL Subnet Egress Only G/W NAT64 RouteTable Public Private インスタンスで動作確認 IPv6 アドレスの確認 IPv6用の設定 疎通確認 IPv6リソースの配置 既存リソースの入れ替え アプリケーションの
AWS Lambda の go 1.x サポートが終了するらしいので、カスタムランタイムに移行した話 - GS2 Blog
早速ですが、不穏なメールが届きました。 Amazon Linux AMI のメンテナンスサポートが 2023 年 12 月 31 日に終了するのに合わせて、AWS Lambda での Go 1.x ランタイムのサポートを終了します [1]。 Lambda は、provided.al2 ランタイムを使用して Go プログラミング言語を引き続きサポートします。 provided.al2 ランタイムを使用すると、AWS Graviton2 プロセッサのサポートや、より小さなデプロイパッケージとより高速な関数呼び出しパスによる効率的な実装など、go1.x ランタイムに比べていくつかの利点があります。 詳細については、ブログ記事 [2] を参照してください。 GS2 が実行基盤に使用している AWS Lambda の go 1.x ランタイムがサポート終了になるようです。 provided.al2
EC2 Instance Connect Endpoint経由でRDSに接続してみた | DevelopersIO
2023/06/28 追記 : 利用可能ポートが制限されました EC2以外への接続はAWSとして意図していなかった模様で、本日時点で宛先のポート番号がTCP 22、TCP 3389以外だと awscli.customizations.ec2instanceconnect.websocket - ERROR - {"ErrorCode":"InvalidParameter","Message":"The specified RemotePort is not valid. Specify either 22 or 3389 as the RemotePort and retry your request."} という旨のエラーが出る様になりWebSocket接続が切断されます。 The specified RemotePort is not valid. Specify either 22
Aurora MySQL でレコードが存在するのに SELECT すると Empty set が返ってくる事象を調査した話
こんにちは。 KINTO テクノロジーズの DBRE チーム所属のp2skです。 DBRE（Database Reliability Engineering）チームでは、横断組織としてデータベースに関する課題解決や、組織のアジリティとガバナンスのバランスを取るためのプラットフォーム開発などを行なっております。DBRE は比較的新しい概念で、DBRE という組織がある会社も少なく、あったとしても取り組んでいる内容や考え方が異なるような、発展途上の非常に面白い領域です。 弊社における DBRE の取り組み例としては、あわっち（@_awache）による DBRE ガードレール構想の実現に向けた取り組みについてというテックブログや、今年の AWS Summit の登壇内容を是非ご覧ください。 今回の記事は、データベースに関する課題解決の事例として「Aurora MySQL でレコードが存在するのに
AWSの主要サービスをローカルでエミュレートする「LocalStack 2.0」リリース。機能の同等性と性能などさらに向上
AWSの主要サービスをローカルでエミュレートする「LocalStack 2.0」リリース。機能の同等性と性能などさらに向上 AWSの主要なサービスのAPIをローカルマシン上でエミュレートする機能を提供する「LocalStack」のバージョン2.0が正式リリースとなりました。 LocalStack 2.0 is here! Our next-gen cloud emulation platform comes with significant improvements in parity, performance, and efficiency for a better development and testing experience for your cloud applications. Read more here: https://t.co/7rU0pKVxW6 #LocalSt
「Pulumi AI」発表。自然言語でAWS、Azure、Cloudflare、Kubernetes、Datadogなど130以上のインフラやサービスのInfra-as-Codeを自動生成
「Pulumi AI」発表。自然言語でAWS、Azure、Cloudflare、Kubernetes、Datadogなど130以上のインフラやサービスのInfra-as-Codeを自動生成 クラウドをはじめとするITインフラの構成をコードで定義する、いわゆるInfrastructure as Codeツール「Pulumi」を提供するPulumi社は、自然言語からインフラ構成コードを自動生成する「Pulumi AI」を含む、AIを活用した新サービス群「Pulumi Insights」を発表しました。 Exciting news! Pulumi Insights - intelligence for cloud infrastructure – is here. We’ve tapped into the power of generative AI and GPT-4 to automate
AWS版GitHub Copilotとなる「Amazon CodeWhisperer」が正式版に。個人ユーザーは無料、VSCodeに対応
Amazon Web Services（AWS）は、コメントやコードの一部からAIがコードを自動生成してくれるサービス「Amazon CodeWhisperer」が正式版になったことを発表しました。 Amazon CodeWhispererは昨年（2022年）6月に行われたAWSの機械学習にフォーカスしたイベント「Amazon re:MARS 2022」で発表され、プレビュー公開されていました。 参考：AWSも、プログラミングを機械学習で支援する「Amazon CodeWhisperer」プレビュー公開。コメントを書くとコードを提案 コメントや書きかけのコードからコードを自動生成 Amazon CodeWhispererは、オープンソースリポジトリ、Amazon内部リポジトリ、APIドキュメント、フォーラムなどから収集した数十億行のコードを基にした機械学習から、プログラマが書き始めたコード
The inside story on Mountpoint for Amazon S3, a high-performance open source file client | Amazon Web Services
AWS Storage Blog The inside story on Mountpoint for Amazon S3, a high-performance open source file client UPDATE (8/9/2023): Mountpoint for Amazon S3 is now generally available. For details, please read the What’s New post. Amazon S3 is the best place to build data lakes because of its durability, availability, scalability, and security. Hundreds of thousands of data lakes are built on S3, storing
秘密情報には出どころも書いてくれ！頼む！ - KAYAC engineers' blog
SREチームの長田です。 KAYAC Advent Calendar 2022の11日目の記事です。 アプリケーションから何かしらの外部サービスを利用するとき、そのサービスを利用するためのAPI Keyなり秘密鍵なりの秘密情報を保持することになります。 暗号化したものをファイルとしてアプリケーションに持たせたり、 Amazon Web Services(AWS)ならAWS Secrets Managerや AWS Systems ManagerのParameter Store(SSM Paramater Store)に保存したものを実行時に読み込んだりするでしょう。 これらの秘密情報、どこから来たのかわかりますか？ どこから来た秘密情報なのか 秘密情報を使って出どころを調べられるのであれば問題はないでしょう。 # 例えばAWSのIAM User Credenntialsとか $ AWS_A
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS CLIの起動が重くてつらいので aws-sdk-client-go を書いた / kamakura.go#6
AWS Docs GPT
