AWSのALB(Application Load Balancer)のログはS3に置かれるが、この中身をサクッと調べたいとき、Athenaを使う方法が標準的で、下記で案内されているようにパーティション射影(Partition Projection)でテーブルを作ってAthenaからクエリする。 パーティション射影を使用して Athena で ALB アクセスログ用テーブルを作成する - Amazon Athena 私も従来はその方法を使っていたが、Athenaはブラウザから使うと動作がもっさりしているし、決まったクエリを1回きり実行して結果を取得したいだけのときならまだしも、探索的にクエリを何発も実行したいときには使い勝手が悪い。 最近他のプロジェクトでDuckDBを使うようになって、使い勝手の良さに感動していたが、DuckDBはALBのログを探索的に調べたいときにもめっちゃ使えると思った

この記事は、負荷テスト初学者向けの記事の第 1 回として『負荷テストとは？』『AWS上での負荷テストの方法』を解説しています。 次回の記事以降にて、「 Distributed Load Testing on AWS 」を利用して実際に負荷テストを実施するまでの試験計画〜実施までの流れを解説します。 こんにちは！エンタープライズクラウド部クラウドコンサルティング課の日高です。 もし私のことを少しでも知りたいと思っていただけるなら、私の後輩が書いてくれた以下のブログを覗いてみてください。 sabawaku.serverworks.co.jp はじめに 負荷テストの基礎 負荷テストとは何か 処理量（スループット） 処理時間（レスポンスタイム） Tips: レスポンスタイムを平均値ではなく統計的に見る理由 なぜ実施するのか 定義 負荷テストの進め方 全体像 試験計画 試験準備 試験実施 結果評価

Amazon ECS provides the ability to restart containers without requiring a task relaunch Amazon Elastic Container Services (Amazon ECS) now improves container resiliency by giving you the ability to define a flexible container restart policy for restarting individual containers locally, without requiring a full task relaunch. With local container restarts, Amazon ECS can recover your containers fro

最小限で基礎的なセキュリティガイダンスである「AWS Startup Security Baseline (AWS SSB)」を紹介します いわさです。 SaaS on AWS では大きく 4 つのフェーズ（設計・構築・ローンチ・最適化）で役立てる事ができるコンテンツが提供されています。 設計フェーズでは技術面からコンプライアンスに準拠したりセキュリティベースラインを考える必要があります。 これらについてベストプラクティスが提案されている動画コンテンツがあります。 その中で初期段階で実施出来ることとして次のステップが紹介されていました。 セキュリティ周りは Well-Architected Framework や Security Hub の適用から始めることも多いと思いますが、様々な制約からすぐの導入が難しい場合もあります。 そんな方に本日は上記の中の AWS Startup Secur

はじめに RAGとは 構成図 作成リソース Lambda 1. PDFから文書抽出&Embedding取得Lambda 2. 回答作成用Lambda AWS SAM テンプレート Streamlit 動作確認 まとめ はじめに こんにちは堤です。 Amazon BedrockがGAとなり、AWS内で完結してLLMアプリケーションを構築できるようになりました。 試しにRAGアプリケーションを作成してみようと思いましたが、現状AWSでRetrievalするデータソースを作成しようとすると、Amazon OpenSearch Serverless やAmazon Kendraを使用するしかありません。これらのサービスを使うのはコストもそれなりにかかり少しハードルが高いなーと思っていたら以下のブログを見つけました。 aws.amazon.com 構成図を見ると分かるように、S3にembedding

コンバンハ、千葉（幸）です。 AWS 管理ポリシーCloudWatchFullAccessの廃止（非推奨化）が予定されていること、およびその代替としてCloudWatchFullAccessV2の使用を推奨することが AWS ドキュメントに示されています。 Identity and access management for Amazon CloudWatch - Amazon CloudWatch AWS recently added the CloudWatchFullAccessV2 manged IAM policy. This policy grants full access to CloudWatch actions and resources and also more properly scopes the permissions granted for other se

DynamoDB Shell とは DynamoDB Shell(ddbsh) とは、DynamoDB を初めて使うユーザにとって使い慣れた SQL のようなコマンドを実行することができる CLI です。 ddbsh のクエリ言語は SQL から派生したもので、DynamoDB 固有の拡張機能なんかを持っています。 やってみよう まずは、ddbsh の install から始めます。 brew からひけるようなので必要なものを install していきます。 ddbsh を使うと対象とする aws アカウント内にある DynamoDB へ接続することと、ローカル DynamoDB を使用したければそちらへの接続に切り替えることもできる。 特定の AWS 環境内の DynamoDB へ接続する AWS CLI の設定ファイル内に記載されているデフォルトのリージョン、AWS アクセスキー、AW

AWS News Blog AWS Fargate Enables Faster Container Startup using Seekable OCI While developing with containers is becoming an increasingly popular way for deploying and scaling applications, there are still areas where improvements can be made. One of the main issues with scaling containerized applications is the long startup time, especially during scale up when newer instances need to be added.

システムエンジニアの椎葉です。 ファイル数が多くなるとファイルの転送に時間がかかってしまいます。 ファイル転送の改善で処理時間やEC2のコストを削減することができます。 今回の例でも30%ほど転送時間＆コストを削減することができているので是非参考にしてみてください。 設定項目 今回改善するために変更する設定は下記の２つです。 項目名 説明 max_concurrent_requests 同時に実行できるリクエストの最大数を制御。この設定により、バケットへの同時アクセスを制御することができる。デフォルト:10 max_queue_size タスクキュー内の最大タスク数を制御。タスクが多くなると速度も速くなるが、比例して多くのメモリが必要になる。デフォルト:1000 設定変更のコマンド 設定を変更する際は下記のコマンドを実行します。 aws configure set default.s3.m

Amazon Web Services ブログ AWS のサーバーレスと Amazon S3 署名付き URL、クライアントサイド JavaScript で大きなサイズの複数ファイルの一括アップロード・ダウンロード機能を実現する方法 はじめに 昨今のテクノロジーの進化は、これまで以上に、私たちがどのように働き、どのように生活するかを再定義しています。この進化の中心には、クラウドコンピューティングが存在しており、AWS はこれまで、クラウドコンピューティングのパイオニアとして、様々な機能を提供し続け、業界をリードしてきました。その機能群を支えるエコシステムの一部であるサーバーレスアーキテクチャは、スケーラブルで信頼性が高く、メンテナンスの作業負担が低いアプリケーションの開発を可能にし、ユーザーのビジネスやプロジェクトが円滑に進行するようサポートします。 AWS のサーバーレスの代表的なサービ

この記事は AWS Advent Calendar 2022 11日目の記事です。 昨日は @ItsukiOnishi さんの AMIによるEC2インスタンスの起動からターゲットグループへの登録までを自動化した でした。 明日は @hayao_k さんです。 みなさん、AWSの秋祭り re:Invent 2022、今年も楽しめましたでしょうか。 いつも米国時間での開催のため夜更かししてまで見てないよという方や、今年はワールドカップの方を見てたよという方も多かったんじゃないかと思います。 日本語でもまとめ記事が色々と出ていますが、それでもアップデート多すぎて追いきれない方も多いのでは？ 今回はエンタープライズなインフラエンジニア目線で気になった新機能を 忙しい人向けに コンパクトに紹介します。 大注目の４サービス 〜インフラエンジニア不要な未来はすぐそこに!?〜 VPC Lattice La

https://aws-startup-community.connpass.com/event/241721/ 2022/05/10(火) 19:30 〜 21:30 「スタートアップ事例祭り 〜監視・モニタリング・セキュリティ編〜」

はじめに AWS上で仮想ネットワークを構築できるAmazon VPCは、多くのAWSサービスが動作する基盤となる、非常に重要かつ多機能なサービスです。 多機能ゆえに公式ドキュメントやネット上の記事も断片的な機能の解説が多く、全体像を把握することが難しいサービスとも言えます。 そこで本記事はVPCの全体像を理解できるよう、各機能のつながりや動作原理を丁寧に解説し、 「VPC界の百科事典」 (あくまで例えですが…笑) となるような記事を目指したいと思います。 【追記】 実践編の記事を追加しました VPCの実画面での構築方法は、以下の別記事にまとめました。「VPCを実際に触ってみたい！」という方は、こちらもご一読いただけると嬉しいです。 VPCとは 「Virtual Private Cloud」の略で、クラウド上に仮想的なネットワークを構築するためのサービスです。 例えば、オンプレ環境でWebア

こんにちは。技術部プラットフォームグループのしばっちといいます。 わたしは以前、権威DNSをBIND->PowerDNS(on EC2)+Auroraへ再構成した話と題しましてAWSで権威DNSを構築するという、一風変わったことをした話をご紹介しました。一年以上ぶりのテックブログになりますが、今回もAWSを用いておもしろいことをやってみたので紹介します。 ところでみなさん、AWS Lambdaは好きですか？Lambdaはサーバーの構成を考えずにプログラムを実行するサービスですが、私はこのサービスが好きです。サーバーのメンテナンスや構成を考えずに、自分の実行したいコードがサッと実行できるなんて！提供が開始されてから随分経ちます(2014年開始)が、いまだにおもしろいサービスだと思っていますし、アイディア次第で夢が広がるサービスですし、趣味でちくちく触ったりもします。 今回ご紹介したいのは、そ

AWSのベストプラクティスに従う SecurityHub でセキュリティチェック なるべく持ち物を減らし、ツールの既定に合わせる Fargateを使い管理対象インスタンスを減らす ネットワーク環境構築をCopilot CLIに任せる アプリケーションレベルでもAWSサービスを活用する 典型的な攻撃はアプリ到達前にWAFで防ぐ ECRコンテナスキャンで脆弱性をチェックする

「(私のように)セキュリティを何から始めれば良いか分からない開発者の方へ」というセッションを視聴しました！ どうもさいちゃんです。今回はAWS Builders Online Seriesの中から「(私のように)セキュリティを何から始めれば良いか分からない開発者の方へ」というセッションを視聴しました。セキュリティ対策に悩む開発者の方におすすめの記事です。 今回はAWS Builders Online Seriesの中から「(私のように)セキュリティを何から始めれば良いか分からない開発者の方へ」というセッションを視聴しました。 AWS Builders Online SeriesとはAWS初心者向けのオンラインイベントです。 AWSについてこれから学んでいきたい方 初心者向けのテーマを短時間でサックっと勉強したい という方にピッタリなセッションがたっぷり用意されています。今回私が受講した「(

LayerX インボイス を開発しているDX事業部の @yyoshiki41（中川佳希）です。 DX事業部ではデータベースとして MySQL（Amazon Aurora）を利用しています。 今回のブログは、mysqlsh (MySQL Shell) を用いて、Dumpデータ取得とリストアを行う際に気をつける点です。 mysqldump, mysqlpump Dumpデータ取得を行う際に、広く知られているのが mysqldump かと思います。 MySQL 5.7.8 からは、 mysqlpump という別のクライアントツールも提供されるようになりました。 主に下記のような特徴があります。 並列での処理が行われる（Parallel） Dump Progress がみれる 圧縮方式は、LZ4 と ZLIB が使用可能（mysqlpump Ver 1.0.0 Distrib 5.7.35） TA