Ruby on Lambdaを使ってRubyKaigi用のデモアプリを作った話 - ZOZO TECH BLOG
こんにちは、開発部の塩崎です。 最近はCloudFormation・Embulk・Digdagを使った仕事をすることが多く、一番使う言語がYAMLになりました。 今年福岡で開催されたRubyKaigi 2019ではZOZOテクノロジーズはRubyスポンサーとして協賛させていただきました。 カンファレンス中のスポンサーブースの出し物として、DroidKaigi 2019と同様にファッションチェックアプリの展示を行いました。 DroidKaigiの展示と全く同じでは芸がないと考え、今回のRubyKaigiのためにRuby on Lambdaでランキング機能を作成しました。 本記事では、そのランキング機能の説明をしたいと思います。 ファッションチェックアプリのランキング機能とは まず、ファッションチェックアプリの説明をします。 このアプリはDroidKaigi 2019のために作成されたデモアプ
S3に直接アップロード可能なPre-Signed URLをLambdaで作ってみる | DevelopersIO
S3にはPre-Signed URLという機能があり、S3のオブジェクトへの限定的なアクセスを提供することが可能です。 一時的に認証なしで直接S3へファイルをアップロードすることができるところが便利そうです。 このPre-Signed URLをLambdaで作ってみたのでご紹介いたします。 S3にはPre-Signed URLという機能があり、S3のオブジェクトへの限定的なアクセスを提供することが可能です。 弊社ブログでもいくつか紹介されています。 Amazon S3 の署名付き URL を利用して Android から画像をアップロードする ｜ DevelopersIO Boto3でS3のpre-signed URLを生成する ｜ DevelopersIO あらかじめ限定的なアクセスに絞っておくことで、一時的に認証なしで直接S3へファイルをアップロードすることができるところが便利そうです
これまでの常識は間違っていた？！Lambdaのコールドスタート対策にはメモリ割り当てを減らすという選択肢が有効に働く場面も | DevelopersIO
2019/5/31追記 先日のBlack BeltでLambdaの内部構造について一部解説がありました。※スライド公開され次第更新します これまでWorkerというコンポーネントはMicroVMを指しているという理解だったのですが、実際にはMicroVMをホストするEC2インスタンスのレイヤーがWorkerに相当するようです。以後の「Worker」という表記は基本的に「MicroVM」に置き換えて読んで頂くようお願いします。 はじめに サーバーレス開発部＠大阪の岩田です。 既に多くの方がご存知だと思いますが、Lambdaにはコールドスタートという概念が存在します。一般的にはLambda関数実行時にLambda実行環境の初期化処理が伴う場合を「コールドスタート」と呼ぶことが多いですが、このLambda実行環境の初期化処理には大きく2つのパターンが存在するようです。※厳密に区別すればもっと多く
EC2上のAWS CLIで使われている169.254について - 妄想まとめ
お久しぶりです。ひろたんです。 前々から気になっていたAWS EC2の169.254.169.254について少し遊んでみたのでまとめます。 EC2では、インスタンス内から http://169.254.169.254/ にアクセスすると、そのインスタンスに関する情報が取得できるようになっています。 docs.aws.amazon.com あまり意識したことはないかもしれませんが、インスタンスにIAMロールを結び付けた状態でAWS CLIを使うと内部的にこの169のURLが叩かれる仕組みになっています。 これはインスタンス内で--debugオプションを使ってAWS CLIを実行するとわかると思います。 [ec2-user@ip-172-31-30-197 ~]$ aws s3 ls --debug ～～～ 2018-09-03 11:11:33,898 - MainThread - boto
The ABCs of IAM: Managing permissions with Serverless
When getting started with Serverless, one of the hardest things to grok is IAM—AWS Identity and Access Management. IAM is how you manage access to resources in your AWS account. Who is allowed to create a Lambda function? To delete a function? This isn't the only IAM guide you'll ever need, but you should understand how IAM works with Lambda and the Serverless Framework. We'll cover the basics of
クラウドのうえのオフラインストレージ、Amazon Glacierを使うための初期費用は【1万ファイルにつき0.5ドル】くらい - Pieces Of Peace
クラウドのうえのオフラインストレージ、Amazon Glacierを使うための初期費用は【1万ファイルにつき0.5ドル】くらい タイトルが結論で他に語ることはありませんが､もしお時間あれば以下の駄文もお付き合いください｡ 先月1ヶ月かけて個人データをAmazonのストレージサービスであるS3とGlacierに引っ越しました｡同月の請求書が届いたので､実際に掛かった初期費用を見ておきます｡ 使用量に対する課金は月極従量課金ということで初期費用から省きます｡今回は利便性を考え､約49,500ファイル､213GBのデータをS3にアップロードしたあとGlacierに移行しましたので､ S3へのアップロード費用1 54,509リクエストで0.55ドル Glacierへの移行費用1 51,129リクエストで2.56ドル の合計3.11ドルかかりました｡1万ファイル0.6ドルくらいでしょうか｡S3を省け
ターミナルから直感的にCloudWatch Logsを検索できるawslogsコマンドの紹介 | DevelopersIO
はじめに こんにちは、中山です。 先日AWS Summit Tokyo 2016に参加してきました。セッションを聴講している際にスピーカーの方が面白そうなツールを紹介されていました。awslogsというPython製のツールです。これはAmazon CloudWatch Logsをターミナルから直感的に検索するためのツールです。早速使用してみたのでレポートします。 検証環境 awslogsコマンドを利用するためにCloudWatch Logsの設定が必要です。検証環境構築用のコードをGitHubに上げておきました。以下のコマンドで実行可能です。 $ git clone https://github.com/knakayama/awslogs-demo.git $ cd awslogs-demo $ ssh-keygen -f site_key -N '' $ terraform apply
AWS Lambdaでcontext.succeed()とcallback()の挙動の違いを理解する | DevelopersIO
こんにちは、せーのです。今日は業務で私がハマってしまったところを備忘録として残しておきます。 正常に終わってるはずなのにタイムアウト まずはこんな感じのLambdaがあるとします。 exports.handler = (event, context, callback) => { callback(null, "Hello Lambda"); }; これは、こう書き換えてもおなじです。 exports.handler = (event, context, callback) => { context.succeed("Hello Lambda"); }; Lambdaの対象Nodeバージョンが4.3も選べるようになり、4.3の場合プログラミングモデルがCallbackモデルになりました。処理を戻しているだけなのでどちらでも良い気がします。 めんどくさいのはこれからです。この処理の上にこんな
時間のかかるCLIコマンドのお供にechoとBELを #AWSCLI | DevelopersIO
EC2 の start だったり CloudFront ディストリビューションのデプロイだったり、 数分単位で時間のかかる処理の完了を待つのに、AWS CLI の wait コマンドはすごく便利です。 でも wait コマンド自体は、指定した処理が完了したら静かに終了する、という動作1なので、 ふと気がついたら処理が終わっていた・終わったことに気付かなかった、ということがあって困ります。 こんな時、echo コマンドでベルを鳴らすと便利です。 本題の前に : AWS CLI の wait コマンドについて ある処理が完了するまで終了しないコマンド（Waiters サブコマンド）です。 AWS CLIのWaitersによる待ち受け処理を実装する 例えば CloudFront のとあるディストリビューションで、 設定変更後に InProgress から Deployed になるまで待つ場合には
CloudSearch使った時につまづいたところ
こんにちは、なかやまです。 最近お仕事でCloudSearchを利用する機会がありました。 CloudSearchはAWSが提供する検索サービスになります。 cloudsearchを使って検索できるようにするにはざっくりと次のステップがあります。 １．検索ドメインを作る ２．データのアップロード では、色々つまづいた・誤解していた事です↓ データをアップロードするたびに毎回10分かかると思ってた 検索ドメインを作ると利用できるまでに数10分かかります。 コンソール画面から検索ドメインを作ると流れでドキュメントのアップロードもできるのですが、ここでアップロードのたびに10分かかると勘違いしてしまいました。。 アップロードは直列登録しかできないと思ってた 並列登録もできますよ！負荷がかかってくるとcloudsearch側でオートスケールしてくれます。 画面上でもスケールしたことを確認できました
CloudSearch使った時につまづいたところ パート2
こんにちは、なかやまです。 最近お仕事でCloudSearchを利用する機会がありました。 CloudSearchはAWSが提供する検索サービスになります。 前回もご紹介したのですが、もう少し躓いたところがあるのでお話させてください。 では、色々つまづいた・誤解していた事です↓ 複雑な検索もできるよ クエリパーサーは４つ。 ・simple・・・簡易テキスト検索 ・structured・・・高度な検索（今回はこちらを利用） ・lucene(るしーん)・・・Apache Lucene クエリパーサーの構文を使用 ・dismax・・・DisMax のクエリパーサーで定義された Apache Lucene のクエリパーサー構文の簡略化されたサブセットを使用 Apache Solrを知らなかったのですが、Solrを使っているシステムは移行が簡単そうにみえますね。 https://docs.aws.a
AWSの新サービス群に対する一行所感 - プログラマでありたい
今年もラスベガスで、AWSの最大のイベントre:Invent開催中です。初回のキーノートが終わった所ですが、怒涛のサービス発表で頭が混乱中です。整理のために、サービスに対する感想をつけてみます。間違っているかもしれないので、悪しからず。 AWS AppSync モバイル等での複数端末のデータ同期を見据えたソリューション。必要性はすごく解るが、それってCognito Syncでやりたかったことじゃないのかな？認証認可のサービスにデータ同期を加えた筋の悪さを解消に来たのか？ 2017/12/3 追記 中の人曰く、次のような役割分担とのこと AWSの新サービス群に対する一行所感 - プログラマでありたい ありがたし / Cognito Syncは「一つのIdentityに（≒一人の人間）が持つ」複数端末間での設定値等の同期のためのものだったので、前提と志向が違うのです > AppSync “それ
インポート機能でDynamoDBに書き込み - 費用,速度,性能の検証 - - 今からお前んちこいよ
日本語 | English 概要 参照テーブルの作成で、 いかに良い感じに4200万件のデータをDynamoDBに書き込むかの挑戦。 24hで終わればいいなという考え。 公式ドキュメント）AWS DataPipeline 参考）DynamoDBでデータのexport/importを行う ｜ Developers.IO S3からDynamoDBへインポート！ インポートファイルを作る 以下の形式でファイル出力してS3におき、DynamoDBからインポートすればよい。 制御文字でのフォーマットは古いようです(2016/07 時点） AWSに問い合わせて新フォーマットを教えてもらった。 サンプル） {"id":{"s":"a"},"name":{"s":"apple"},"price":{"n":"120"}} {"id":{"s":"b"},"name":{"s":"book"},"price
CloudFrontのELBオリジンへ直接アクセスする通信を制限する方法 | DevelopersIO
2017年06月05日追記 ELBをカスタムオリジンにした構成時にIPアドレスを元に送信元を制限する方法はいろいろと問題が発生する可能性があります。以下のエントリに回避方法がまとめられているので、導入する際は参考にしてください。 AWS WAFを利用してCloudFrontのELBオリジンへ直接アクセスを制限してみた はじめに こんにちは、中山です。 CloudFrontのオリジンにパブリックなELBを設置する構成はよくあると思います。マルチオリジン構成で静的コンテンツはS3に、動的コンテンツはELBへという構成です。この構成における問題点としてよく聞くのが、CloudFrontを経由せずELBに直接アクセスさせたくないというものです。S3がオリジンの場合はオリジンアクセスアイデンティティを利用して、アクセスをCloudFrontにのみ制限することが可能です(詳細は[CloudFront
Elastic Beanstalk post-deployment scripts - Marcin's Musings
Some of this is extracted from an answer I posted to a Stack Overflow question. Recently I’ve been helping out a friend with a website and we are deploying it to AWS via their Elastic Beanstalk service. I’ve learned a few quirks of the platform in my, albeit brief, time working with it. One of these is that there’s no official way to run a “post deploy” script. You can run “Container Commands”), w
Amazon CloudWatch Logs で Elastic Beanstalk を使用する - AWS Elastic Beanstalk
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon CloudWatch Logs で Elastic Beanstalk を使用する CloudWatch Logs を使用すると、お使いの環境の Amazon EC2 インスタンスから Elastic Beanstalk アプリケーション、システム、およびカスタムログファイルを監視およびアーカイブできます。また、アラームを設定することで、メトリックスフィルタが抽出する特定のログストリームイベントに反応してアクションを簡単に実行できるようになります。環境内の各 Amazon EC2 インスタンスにインストールされた CloudWatch Logs エージェントは、設定した各ロググループの CloudWatch サービスに対してメトリクスのデータポイントを
CloudWatch Logs エージェントのリファレンス - Amazon CloudWatch Logs
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 CloudWatch Logs エージェントのリファレンス このリファレンスは、廃止された古い CloudWatch Logs エージェント用です。インスタンスメタデータサービスのバージョン 2 (IMDSv2) を使用している場合は、新しい統合 CloudWatch エージェントを使用する必要があります。IMDSv2 を使用していない場合でも、古いログエージェントではなく、新しい統合 CloudWatch エージェントを使用することを強くお勧めします。新しい統合エージェントの詳細については、「CloudWatch エージェントを使用した Amazon EC2 インスタンスとオンプレミスサーバーからのメトリクスとログの収集」を参照してください。 古い CloudWa
AWS Elastic Beanstalk: Add custom logs to CloudWatch?
How to add custom logs to CloudWatch? Defaults logs are sent but how to add a custom one? I already added a file like this: (in .ebextensions) files: "/opt/elasticbeanstalk/tasks/bundlelogs.d/applogs.conf" : mode: "000755" owner: root group: root content: | /var/app/current/logs/* "/opt/elasticbeanstalk/tasks/taillogs.d/cloud-init.conf" : mode: "000755" owner: root group: root content: | /var/app/
CloudWatch Logsのログファイルを監視メモ - Lチカ開発ブログ
アプリケーション・サーバーのログをCloudWatchで集約するための設定時のメモ。 基本的には以下を参考にする。 dev.classmethod.jp AccessDeniedExceptionが発生 この際、インスタンスに設定したロールにCloudWatchポリシーを設定するのを失念した為、ログの転送がされずに、以下のエラーがログ・ファイルに出力された。 $ sudo cat /var/log/awslogs.log 2017-01-16 05:30:07,690 - cwlogs.push.publisher - WARNING - 3947 - Thread-3 - Caught exception: An error occurred (AccessDeniedException) when calling the PutLogEvents operati ・・・中略・・・ Cl
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Execute command after deploy AWS Beanstalk