こんにちは、技術部の Taiki (@taiki45) です。 近年の Web サービスの開発ではマイクロサービスに代表されるように分散アーキテクチャが採用されるようになってきました。大規模でも素早いプロダクト開発をするために、クックパッドでもマイクロサービスを採用し分散アーキテクチャへの移行を進めています*1。今回は、そのような分散アーキテクチャを利用したシステム構築において必須のコンポーネントになりつつある分散トレーシングについて、クックパッドでの事例を紹介したいと思います。 分散トレーシングとは マイクロサービスのような分散アーキテクチャでは、個々のサービス同士の通信が複雑になるため、モノリシックアーキテクチャと比較して、システム全体としての振る舞いを把握することが難しくなります。これはプロダクト開発においては、障害発生時の原因究明が難しくなったり、あるいはシステム全体でのパフォーマ

どうも！AWS勉強中の西村祐二＠大阪です。 みなさんLambdaは使ってますでしょうか。 サーバレスでいろんなことができるので個人的にかなり好きなサービスです。 Lambdaは様々な使い方ができますが S3と連携してファイルがアップロードされたらLambdaで 何かしらの処理を実行するなどの使い方をしている方多いのではないでしょうか。 そんな時に重要になってくるのが冪等性です。 今回はLambdaの冪等性をDynamoDBの条件付き書き込みという機能を利用して 冪等性を実現してみたいと思います。 なんで冪等性が必要なのか Lambdaはたまに2回以上実行されるときがあるからです 例えば Lambdaでアクセスログの集計処理などを行っている場合、 複数回処理されると複数回集計されて結果がおかしくなるときがあります。 また、複数のファイルをまとめてアップロードした際に 何らかの理由で一部のファ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

概要 サーバレスアーキテクチャ（今回でいうとサーバレスAPI）を構築した際、負荷テスト（ラッシュテスト）を実施した際にいろいろ試行錯誤した時のTipsです。 アーキテクチャ構成 よくある構成。APIGW->Lambda->DynamoDBと処理しているAPIがほとんどです。 実施内容 どうやってラッシュテストしようか。 下記のパターンがさっと思いつきます。 Device Farmを使ってテストケース投入してやってみる。 JMeterとかを使ってシナリオテストっぽくしてみる。 APIエンドポイントに対して負荷をかけてみる。 JMeterを使おうとも考えましたが、シンプルに想定RPSを耐え切るかを見たかったので、３を選択しました。 ラッシュテスト 前準備 結論から述べると、ApacheBenchもvegetaもうまくいかなかったので、wrk使います。 wrkでEC2を大量に立ち上げ、小さい時間

Amazon Web Services ブログ Amazon Athena のパフォーマンスチューニング Tips トップ 10 2024 年 2 月に更新された原文を日本語版として 9 月に反映しました： この記事は、コストベースの最適化とクエリ結果の再利用を含む Amazon Athena エンジンバージョン 3 の変更を反映するために確認および更新されました。 Amazon Athena は、オープンソースのフレームワークに基づいた対話型分析サービスで、標準の SQL を使って Amazon Simple Storage Service (Amazon S3) に格納されたオープンテーブルおよびファイル形式のデータを簡単に分析できます。Athena はサーバーレスなので、インフラストラクチャの管理は不要で、実行したクエリに対してのみ料金を支払います。Athena は使いやすく、Ama

こんにちは、せーのです。今日はKinesis Firehoseになかなか強力な機能が追加されたのでご紹介します。 これを待っていた 今回ご紹介するのは「データ変換機能」です。所謂ETL(Extract、Transform、Load）処理と言われるもので、流れてくるデータを使いやすい形に加工した上で対象となるデータベースやデータレイクに書き出すものです。 例えばApacheのログデータをS3に蓄積しておいて、後ほど分析に使いたいとします。Apacheのログってこんな感じですよね。 127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 この状態でS3に入っていた場合、分析に使うには一旦このデータをどこかのサーバに取り出し、分析用に加工して、もう一度データを貯め直す必要があります

先日行われたre:Invent 2016で発表されたAmazon Athenaを利用して、Apache HTTP Serverのアクセスログを解析するまでの手順を紹介します。 Athenaで検索するためには、ログファイルをAmazon S3に配置しておく必要があります。LinuxからS3への転送にはfluentd(td-agent)を利用しました。 やりたいこと Amazon Athenaを利用して、Apacheアクセスログ(combined log)に対しての検索クエリを実行できるようになりたい 前提環境 LinuxはAmazon EC2のRedHat Enterprise Linux 7.3 AMIから起動 EC2には、S3にPutObjectできる権限を持ったIAM Roleを紐付けておく Amazon Athenaはus-west-2(Oregon)リージョンで実行 手順概要 OS

AWS re:Invent 2016に、参加できなかった方向けに393のBreakout Sessionsをまとめてみました。セッションごとの公式Webページ、スライド、動画を1ページにまとめています。量が多いので、ページ内検索などでキーワード検索をかけていただくのがオススメです。SlideShare / YouTube とも徐々に公開されているので、順次追加していきます！ 公式Webページ(英語) AWS re:Invent 2016 公式現地レポート(日本語) 基調講演 キーノート一日目 (リアルタイムレポート) AWS re:Invent 2016 Keynote 1 #reinvent キーノート二日目 (リアルタイムレポート) AWS re:Invent 2016 Keynote 12#reinvent クラスメソッドからのお知らせ！ 3年連続でAWSプレミアコンサルティングパー

最近、S3のバケット毎の使用量が欲しくてたまらない菅野です。 aws-cliを駆使して取得する必要がでてきたのでスクリプトを作成しました。 今回の目標 全てのS3バケットのバケット毎の使用量を取得する では早速スクリプト作成開始です。 バケットの一覧を取得 不採用になったスクリプト 最初はこのようにしてみました。 # バケット一覧を取得 bucket_list=`aws cloudwatch list-metrics --namespace AWS/S3` # バケット名だけを取り出し bucket_list_json=`echo "${bucket_list}" | jq -r '.Metrics[] | select(.MetricName == "BucketSizeBytes") | .Dimensions[] | select(.Name == "BucketName") | .

はじめに 4月から入社した新入社員のお仕事がいきなりAmazon SimpleWorkflowServiceを使って開発するなんてことがあるかも知れません。 もしそうなった時にいきなり何も無しに始めろと言われてもすこしとっつきづらい事間違いないサービスAmazon SimpleWorkflowService通称SWFの最初の一歩となれればと思いこの記事を書きます。 概念的な物は日本語の良記事がありますので、こちらも同時に読んでもらえばよりわかりやすいと思います。 概念が何となくわかったら次のステップとして、AWS SDK for Java についてくるSampleを動かしてみて、 動かしたら次は少しだけ改変して動きを確かめるという事の繰り返しが一番理解の助けになるはずです。 サンプルの実行準備 まずはサンプルを単純に実行してみます。 AWS SDK for Javaは2013年4月8日現在

スマートフォン向けアプリ開発やサーバサイドの開発に関する技術ブログです。 エンジニアdommyのつぶやきは@shonanshachu、ソースコードはGitHubで配信中。 AWSにサーバ監視ツールのCloudWatchが追加されて随分経ちますが、 DiskReadやDiskWriteの監視はあっても、 DiskUsageや、FreeSpaceがありません。 EBSに付随するのか、EC2に付随するのかも良く分からない為、 とりあえず英語で検索して出てきた結果を使ってCloudWatchによる監視を追加しました。 CloudWatchコマンドラインツールのDLまずはCloudWatchコマンドラインツールをダウンロードし、展開します。 最新版はhttp://aws.amazon.com/developertools/2534にあります。 cd /usr/local/src/ wget http

この間のJAWS-UG札幌勉強会で話しそびれた小ネタの一つです。タイトルを一読して「そんなことわざわざブログに書かなくても(ry」というAWSエキスパートな方は読み飛ばしてくださいねw S3に保存したオブジェクトは、すべてURLがつきます。 例えば、東京のS3に「hoge」というバケットを作り、そこに「fuga.jpg」を保存したとすれば、 http://s3-ap-northeast-1.amazonaws.com/hoge/fuga.jpg というURLが割り当てられます。 また、バケット名をサブホストとしても有効なので、 http://hoge.s3-ap-northeast-1.amazonaws.com/fuga.jpg でもOKです。 さらに、S3はSSLも使えます。つまり、上記のオブジェクトは https://s3-ap-northeast-1.amazonaws.com/h

IAMのポリシー作成機能を使用してS3をアクセス制御する S3だけフルアクセスできる { "Statement": [ { "Effect": "Allow", "Action": "s3:*", "Resource": "*" } ] } 機能を絞る場合 { "Statement": [ { "Effect": "Allow", "Action": [ "s3:Get*", "s3:List*" ], "Resource": "*" } ] } S3の特定のバケットのみフルアクセス(バケットとその中身のリストは表示される) { "Statement": [ { "Action": [ "s3:ListAllMyBuckets"　　#ここがないとmanagement consoleからバケット全体が見えなくなってしまう。 ], "Effect": "Allow", "Resource":

[追記: 2012/1/19] aws-s3ではなくaws-sdkを使用する仕様に変更されたようなので、ご注意ください。 以前も書きましたが、Ruby on Rails で画像などをアップロードするときにお世話になるGemが「Paperclip」といいます。 thoughtbot/paperclip · GitHub 初心者のためのRailsのプラグインまとめ - 常識という迷信 結論から先に言うと、Paperclipを修正してAmazon S3@tokyoを使いやすくしたので紹介します。 よって、Paperclipの基本的な使用方法などは説明していませんので、後述のリンクを辿っていただければと思います。 AmazonS3@tokyoを使おうと思ったらエラーがでます 最近、Amazon S3 を使い始めて、東京にもあるということで、「近いほうがいいだろう」という安直な理由で使うことにしたの