AWS SDK (Node.js) で S3 putObjectするときに気をつけること
どーもです。まーやです。作業中にちょっとハマったので自分用にメモ。 やりたかったこと S3でstatic website hostingを実施 AWS Lambda 内で以下操作を行う(今回対象となるファイルはJSONファイル) S3 バケツ内のファイル読み込み 読み込んだファイルのデータを更新してS3へupload 読み込む＆uploadするファイルにはパブリックアクセス権限(everyone read)を付与したい Lambdaは諸事情によりNode.jsで実装しました。 やったこと S3のstatic web hostingについてはネット上にたくさん落ちているので割愛。 Lambda内でS3 getbjectもほぼチュートリアル通りに実装。 この後に、とってきたJSONを使ってごにょごにょしたかったのでPromise使って順番制御しました。 /** この変数群は後述するs3Uplo
Amazon VPCを「これでもか！」というくらい丁寧に解説 - Qiita
はじめに AWS上で仮想ネットワークを構築できるAmazon VPCは、多くのAWSサービスが動作する基盤となる、非常に重要かつ多機能なサービスです。 多機能ゆえに公式ドキュメントやネット上の記事も断片的な機能の解説が多く、全体像を把握することが難しいサービスとも言えます。 そこで本記事はVPCの全体像を理解できるよう、各機能のつながりや動作原理を丁寧に解説し、 「VPC界の百科事典」 (あくまで例えですが…笑) となるような記事を目指したいと思います。 【追記】 実践編の記事を追加しました VPCの実画面での構築方法は、以下の別記事にまとめました。「VPCを実際に触ってみたい！」という方は、こちらもご一読いただけると嬉しいです。 VPCとは 「Virtual Private Cloud」の略で、クラウド上に仮想的なネットワークを構築するためのサービスです。 例えば、オンプレ環境でWebア
[新機能] AWS Lambda Function URLで簡単にLambda関数を実行する - NRIネットコムBlog
こんにちは、上野です。 Lambda関数をワンクリックでURL公開できる機能が出ました！ aws.amazon.com 今までのLambda Lambda関数を（AWS認証無しの）HTTPS経由で実行するには、Lambdaの前段にAmazon API Gatewayを設置する必要がありました。 API Gatewayは便利で高機能なのですが、設定項目も多く、初めて触る方には難しい部分もあるかと思います。 今回の機能で、Lambdaのメニューから機能をONにするだけHTTPS公開できるようになりました。 やってみる Lambdaの作成画面に、「関数URLを有効化」のメニューが追加されているので、これをONにします。 初期状態では認証が必要なAWS_IAMが選択されていますが、今回はまずどれだけ簡単に公開できるかを試すため、NONEを選択します。 ※画面のとおり、URLを使用して全世界からLa
![[新機能] AWS Lambda Function URLで簡単にLambda関数を実行する - NRIネットコムBlog](https://cdn-ak-scissors.b.st-hatena.com/image/square/bc3c7388e74cb100059d08a9bbf13d4d0d55e082/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Ff%2Ffu3ak1%2F20220408%2F20220408110835.png)
ランニングコストほぼゼロから始めるスケーラブルな本番環境
はじめに 私は個人開発で一山当てたいと常々思っていて、そのためにいくつかヒットしそうなサービスのアイデアがあります。エンジニアであればアイデアを具現化することに躊躇してはいけないと思うわけですが、一度リリースしてしまうとランニングコストが発生するわけで、仮に全く人気がでなかったとしたらランニングコスト分の赤字を垂れ流すことになります。 一方、個人開発者というのはおそらく誰しも夢見がちなので、リリース後バズったりしてユーザーが大量に押し寄せてきてしまってサーバーダウンする可能性も考えてしまいます。 その結果、「全く誰も来なくてランニングコストが赤字になったらどうしよう」という不安と「めちゃくちゃバズってしまってサーバーダウンしてチャンスを逃したらどうしよう」という不安が、心の中でせめぎ合うことになります。 そこで、今回はその2つの不安を一気に解消する「使われなければランニングコストが限りなく
AWSアカウント作成時にやるべきこと - NRIネットコムBlog
Amazon Web Services (以下AWS)の利用開始時にやるべき設定作業を解説します。AWSの利用開始とは、AWSアカウントの開設を意味しますが、より安全に利用するため、AWSアカウント開設直後にやるべき設定がいくつかあります。この連載ではその設定内容を説明します。 AWS Organizationsを使用することで、複数のアカウントに自動的にこういった初期設定を行うことも可能ですが、この連載では新規で1アカウントを作成した場合を前提とします。複数アカウントの場合も、基本的な考え方は同じになります。 設定作業は全１９個あり、作業内容の難しさや必要性に応じて以下３つに分類しています。 少なくともMUSTの作業については実施するようにしましょう。 MUST ：アカウント開設後に必ず実施すべき作業 SHOULD ：設定内容の検討または利用方法を決定のうえ、可能な限り実施すべき作業 B
バウンスしすぎて Amazon SES から追放された俺たちは Mailgun と SendGrid に国を作ることにした - ANDPAD Tech Blog
これは何 どのように技術選定してますか。よく聞かれます。SREチーム 鈴木心之介 です。しかし説明が難しい。難しいですが説明の助けになってほしく思い、技術選定を文書化した DesignDoc から1枚を公開してみました。 DesignDoc とは、ある程度の大きさや複雑さがあり一言で説明の難しい技術選定について、文書化したものです。これを通じて、技術選定をどのように行うか組織内に広めようとする試みです。2021年1月頃から始めています。 題材は、メール配信の冗長化をRailsで実現した tech.andpad.co.jp を、インフラ視点から技術選定した DesignDoc です。このメール配信SaaSの選定は2019年末頃に実施したもので、DesignDoc の取り組みを始めていなかった頃でした。時が経ち、ソースコードやSaaSの構成からは意図を読むことが難しく「なんじゃこれ」って質問を
[2021年版]AWSセキュリティ対策全部盛り[初級から上級まで] というタイトルでDevelopersIO 2021 Decadeに登壇しました #devio2021 | DevelopersIO
[2021年版]AWSセキュリティ対策全部盛り[初級から上級まで] というタイトルでDevelopersIO 2021 Decadeに登壇しました #devio2021 DevelopersIO 2021 Decadeで登壇した動画や資料を掲載、解説をしています。AWSのセキュリティについて網羅的に扱っています。ちょー長いのでご注意を。 こんにちは、臼田です。 みなさん、AWSのセキュリティ対策してますか？(挨拶 ついにやってまいりました、DevelopersIO 2021 Decade！私は「[2021年版]AWSセキュリティ対策全部盛り[初級から上級まで]」というテーマで登壇しました。 動画と資料と解説をこのブログでやっていきます。 動画 資料 解説 動画はちょっぱやで喋っているので、解説は丁寧めにやっていきます。 タイトル付けの背景 今回何喋ろうかなーって思ってたら、2年前のDeve
![[2021年版]AWSセキュリティ対策全部盛り[初級から上級まで] というタイトルでDevelopersIO 2021 Decadeに登壇しました #devio2021 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/675b9f7ba022b69269412062d62e4128f16d5b33/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F10%2F2021_aws_security_all_1200_630.jpg)
東大が無料公開している超良質なPython/Data Science/Cloud教材まとめ (*随時更新) - Digital, digital and digital
東京大学がちょっとびっくりするくらいの超良質な教材を無料公開していたので、まとめました Python入門講座 東大のPython入門が無料公開されています。scikit-learnといった機械学習関連についても説明されています。ホントいいです Pythonプログラミング入門 東京大学 数理・情報教育研究センター: utokyo-ipp.github.io 東大のPython本も非常にオススメです Pythonによるプログラミング入門 東京大学教養学部テキスト: アルゴリズムと情報科学の基礎を学ぶ https://amzn.to/2oSw4ws Pythonプログラミング入門 - 東京大学 数理・情報教育研究センター Google Colabで学習出来るようになっています。練習問題も豊富です https://colab.research.google.com/github/utokyo-ip
3〜4時間でAWSの監視系のサービス一気に学べたらコスパ良いと思いませんか | DevelopersIO
突然ですが、以下の機能がそれぞれどういうものか すべて ご存知でしょうか？ CloudWatch ServiceLens X-Ray CloudWatch Contributor Insights CloudWatch Synthetics CloudWatch Container Insights CloudWatch Logs Insights CloudWatch メトリクス Metric Math 検索式 カスタムメトリクス CloudWatch ダッシュボード CloudWatch 異常検出（Anomaly Detection） CloudWatch 埋め込みメトリックフォーマット CloudWatch アラーム 異常検出に基づいたアラーム 複合アラーム 私はわからなかったですね。ここ 1〜2年のCloudWatch系のアップデート量は凄まじいなと個人的には思っていて、Cloud
AWS を駆使して動画に YouTuber 感をちょい足しするソリューションを作ってみる - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは、今村です。普段は AWS Japan で、ソリューション アーキテクトという仕事をしています。 突然ですが、みなさん、YouTube はお好きですか ? 私は、最近家にいる時間が増えたこともあり自炊にハマっているのですが、いろんな料理動画を YouTube で見て参考にしています。好きなお料理 YouTuber は、バズレシピのリュウジさんや、モノマネで有名なとっくんさんです。レシピ本も買いました。 しかし、YouTube でさまざまな動画を見ていくうちに、あることが気になってきました。それが、数多ある YouTube 動画の「カット」の方法です。いわゆる YouTuber の方々の動画って、無音の時間が全然ないですよね。非常に文章で表現しづらいですが、ある言葉を喋り終わったら、コマ飛びしたように次の場面に移り、次の言葉を喋り始める、というような編集がされている場面をよく見ませ
以前やった社内向けDNS勉強会の資料を公開してみた | DevelopersIO
ども、ゲストブロガーの大瀧です。 クラスメソッド在籍中の2018年2月頃社内向けにDNS勉強会を全4回で開催したことがあり、そのときの資料がひょこっと見つかったので公開してみます。(正確には第3回は聖剛さん担当だったので一緒に公開してもらいました、感謝。) 第1回 DNS入門 : DNSのしくみ、キャッシュ 第2回 DNSコンテンツサーバー : DNSサーバーの分散構成とゾーンの委任 第3回 DNSセキュリティ : DNS関連の攻撃手法とDNSSEC 第4回 AWSのDNSサービス : Route 53とAmazon DNS DNSについての理解を深める一助にしていただければと思います。現職(SORACOM)でももちろん超重要な技術です！ 第1回 DNS入門 スライド共有サービス終了に伴い、公開終了 第2回 DNSコンテンツサーバー スライド共有サービス終了に伴い、公開終了 第3回 DNS
サーバーレスを使用して最初の６ヶ月で学んだ６つのこと - Qiita
こちらの記事は6 things I’ve learned in my first 6 months using serverlessの和訳になります。 サーバーレスの世界は適切なツールさえ見つければミドルレイヤーを省けるのでとても良いものです。 10月に行われたServerlessconfの後、自分の会社を全てサーバーレスにすることに決めました。最初の２ヶ月は Python Flask appにLambdaを導入するのに必死でしたが、そのおかげでより良い方法を思いつきました。 そして６ヶ月後、私たちにとって４番目に大きいプロジェクトをサーバーレスでデプロイすることになったのです。以下の内容がデプロイするまでに私たちが学んだ教訓、意見です。 レッスン１ Pythonの使用は避けましょう Flaskは昔ながらのリクエスト、レスポンスのスタイルで、サーバーによって管理されるセッションがあるWeb
有料動画配信システムをサーバーレス化、毎日放送がITコストを9割削減
毎日放送（MBS）はAmazon Web Services（AWS）を使い、定額制の有料動画配信サービス「MBS動画イズム444」のシステム基盤を構築した。コスト削減などを目的に、イベント駆動型コード実行サービス「AWS Lambda」を使ったサーバーレス構成を採用している。 MBSの試算では、オンプレミス（自社所有）環境に構築した場合に対するコスト削減効果（構築費用を除いたランニングコスト、4年間）は、Amazon EC2（Elastic Compute Cloud、仮想マシンサービス）を多用した構成にすると75％削減だが、今回採用したサーバーレス構成だと92％削減になるという。 EC2多用の構成との比較でも、サーバーレス化によってランニングコストが約3分の1になる計算だ。 サーバーレス化は開発期間の短縮にも効果があったという。アジャイル型の開発手法を採用したこともあり、約3カ月で基盤を
AWS EC2のインスタンスが新年早々各地で起動しなくなる可能性がある件 | 株式会社アクシア
先日弊社で保守契約を締結しているとあるクライアントから突然システムが動作しなくなってしまったとご連絡がありました。クライアントの方でサーバーのメンテナンス作業をしていたところ、動作しなくなってしまったとのことでした。 保守対象のシステムであったため、早速原因の調査を行いまして、そのクライアントが使用しているAWSのEC2インスタンスに起因する問題であることが判明しました。AWSを使っているシステムで同様の条件の場合に、システムが稼働できなくなってしまう可能性があります。 しかもこれは2018年新年早々に各地で問題発生する可能性がありますので、今回弊社で実施した対応について詳細を記載したいと思います。AWSのことがわかる技術者の方以外には何言ってるか全く意味不明の内容だと思いますのでスルーしてください。ｗ あるいは自社で使用しているサーバーがAWSということがわかっている場合には、念のため担
Wordpressの画像ファイルをS3に保存する(メディア機能連携)
このblogは2015/6現在、Wordpressで書いています。 画像表示はWordpressのメディア機能を使っています。この機能を使うとWordpressが動いてるサーバ内のwp-contents/uploadsディレクトリ内に画像を保存し、その画像を記事内表示できるようになります。 今回はこの画像をサーバ内ではなく、AWS S3に保存しようという記事です。後半は移行作業の話が出てくるので少し玄人向け(SQLへの理解が必要)です。 S3へ保存する理由 多分ほとんどの場合、S3へ保存しないでも良いと思います。普通にサーバ内保存で事足ります。ただ、以下のようなケースでは必要になってくるかと思います。 Wordpressが動くサーバを複数台で構成(+LB)していて、どれか１台にだけ画像ファイルが保存されると困るケース Wordpressをdocker containerとして動かし、Imm
RubyスクリプトとAWSのSNSで複数デバイスへのpush通知 - Qiita
これが出来ると何が嬉しいの？ 一括メッセージ設定、一括送信の自動化が出来ます！ 前提条件 Ruby環境 gem install aws-sdk-coreを実施済みであること iOS環境 AWS SNSでアプリを作成済みであること AWS SNSへエンドポイントを自動登録出来る実装が完了していること AWS SDKを導入済みであること 上記の内容は以下のサイトが参考になります！ 概要図 ・流れ1:アプリ起動時にAWS SNSのアプリ側にデバイストークンを登録 ・流れ2:対象のSNSからエンドポイントを取得 ・流れ3:作成済みのTopicに取得したエンドポイントをSubscribeする ・流れ4:アプリに対してメッセージをpushし、即時に通知 require 'aws-sdk' sns = AWS::SNS.new( :access_key_id => 'YOUR_ACCESS_KEY',
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
S3+StorageGatewayの構成では、S3に直接ファイルアップロードした際にStorageGatewayのキャッシュ更新が必要です
チュートリアル: Amazon S3 トリガーを使用してサムネイル画像を作成する - AWS Lambda
Mounting S3 Bucket as a Filesystem in Linux & Windows
Installation — AWS SDK for PHP 2.8.30 documentation