サーバーレスなバックアップシステムを AWS SAM を用いてシュッと構築する - クックパッド開発者ブログ
こんにちは。昨晩のお夕飯は鮭のカレー風味ムニエル定食だったインフラ部 SRE グループの @mozamimy です。 鮭のカレームニエル定食 pic.twitter.com/G2c1ij2wpp— ᕱ⑅ᕱ もざみ (@mozamimy) February 6, 2018 今回は、SRE グループでの取り組みのひとつであるマルチクラウドバックアップを題材にして AWS SAM、CodePipeline (CodeBuild および CodeDeploy を含む) を用いたサーバーレスアプリケーションの構築、ビルドおよびデプロイについて書いていきたいと思います。また、1月に Lambda で Golang が利用可能になった こともあり、CodePipeline の進捗を Slack に投稿する Lambda function を Golang で作ってみたので、そちらもあわせて解説したいと思
サーバーレス・アプリケーションの開発ツールチェーンとして AWS SAM まわりがいい感じに成長してきているのであらためて紹介します
サーバーレス・アプリケーションの開発ツールチェーンとして AWS SAM まわりがいい感じに成長してきているのであらためて紹介します Serverless Advent Calendar 2017 の 15 日目です. 本記事ではサーバーレス・アプリケーションの開発ツールチェーンとして最近なかなかいい感じになりつつある AWS SAM (AWS Serverless Application Model) とその周辺を紹介しようと思います. 本記事は AWS 上でサーバーレスなアプリケーションを動かしたい オープンソースとしての公開も考えてたりする サーバーレスなアプリケーションも CI/CD に組み込んで継続的に開発・デプロイしていきたい 過去に CloudFormation で Lambda をデプロイしようとして血を吐きかけた というわけで CloudFormation は生理的にちょ
AWS Batchを使って5分以上かかる処理を実行してみる | DevelopersIO
どうも！西村祐二＠大阪です。 Lambdaは現在(2017/8/17)実行時間が最長５分までという制限があります。 そこで、今回はAWS Batchを使って５分以上かかる処理を実行させてみたいと思います。 AWS Batchとは JobをAWS Batchになげると予め設定しておいたインスタンスを起動し、 ECRまたはDocker Hubからコンテナイメージを取得しタスクを実行してくれます。 また、実行しているタスクがない場合インスタンスを起動してから１時間以内に自動で削除してくれます。 やりたいこと ・CodeCommitに置いてる5分以上かかるスクリプトをコマンド1つで実行したい ・構成はなるべくシンプルにしたい 5分以上かかる処理 今回は例として１分毎にS3に空ファイルを作成する処理を実行してみたいと思います。 下記2つのファイルをCodeCommitの「test-commit」レポ
初心者でもAWSの使い方を学習できるサイトと書籍6選 - paiza times
Photo by Andrew Mager こんにちは。谷口です。 最近「AWSについて勉強したい、自分で使ってみたい」「仕事でAWSの知識が必要になった」という初心者の方から、「AWSがどんなものかよくわからないので知りたい」と聞かれることがよくあります。 AWSとは「Amazon Web Service」の略で、簡単に言うと、Amazonが提供しているさまざまなクラウドサービスの総称です。 AWSを使うと、 自分でサーバ用コンピュータ等を用意する必要がなく、サーバやデータベースなど用途に合った仮想マシンがすぐに使える シンプルなWebサーバから、機械学習・ビッグデータの分析など、目的に合わせたサービスや性能が選べる 料金は使った分だけ支払う従量課金制（月720時間以内であれば12カ月まで無償利用できるため、学習目的であれば無料の範囲でも充分使える） といったメリットがあります。 そこで
AWSクイックスタート：MongoDB on AWS がアップデートされました | DevelopersIO
こんにちは、菊池です。 AWSクイックスタートでは、公開されたテンプレートを利用することで、セキュリティ/可用性のベストプラクティスに沿った環境を簡単に構築できます。 AWS クイックスタート：AWS で代表的なデプロイメントを自動化 当ブログでも、クイックスタートの1つであるMongoDB on AWSのデプロイを紹介しました。 AWSクイックスタート：MongoDB on the AWS Cloudを試してみた 今回、このMongoDB on AWSがアップデートされ、MongoDB及びAWSの最新機能に対応しました。 AWS Quick Starts MongoDB on AWS 主な変更点 構成イメージは、公式ページの紹介を参照ください。今回のアップデートによる、主な変更点を紹介します。 MongoDB Version 3.2/3.4に対応 以前はMongoDB 2.6または3.0
AWSが不正利用され300万円の請求が届いてから免除までの一部始終 - Qiita
前置き 情けないことだが、自身の過失により、GitHubで長年Privateリポジトリで運用していたリポジトリを、とある事情でpublicに変更したのだが、その中にAWSのS3のアクセスキーとシークレットキーがファイルに直接ハードコーディングされているのにすっかり気づかず、自身のAWSのアクセスキーとシークレットキーが流出してしまうという失態を起こしてしまった。 その不正利用により届いた請求金額は約300万円。請求を見た時は頭が真っ白になり冷や汗ものだったが、過去に同様のミスとその状況と対応をまとめてくださっていた方々のおかげで、なんとか深呼吸して対応することができたので、自分も少しでも今後起きうる同様の状況の方に対する助けになればと、一部始終を共有しておくことにしようと思う。 初心者がAWSでミスって不正利用されて$6,000請求、泣きそうになったお話。 AWS で不正アクセスされて凄い
Amazon RekognitionをAWS SDK for Goから使ってみる | DevelopersIO
はじめに 最近すっかりコードを書かなくなってしまっていたので、またGolangを勉強しようと思い、AWS SDK for GoからAmazon Rekognitionを使ってみました。 やってみた Golang環境の導入 僕の場合はOS X YosemiteにHomebrewでGolangをインストールしました。 $ brew install go $ go version go version go1.8 darwin/amd64 AWS SDK for Goの導入 AWS SDK for Goはgo getで一発でインストールできます。 $ go get -u github.com/aws/aws-sdk-go/ すると、~/go/src/github.com/aws/aws-sdk-go/にAWS SDK for Goが展開されます。 $ ls ~/go/src/github.com
初心者がAWSでミスって不正利用されて$6,000請求、泣きそうになったお話。 - Qiita
こんにちは、2015年も終わりですね。昨年よりエンジニアのお仕事をはじめております自称エンジニアの@mochizukikotaroです。 お祭り記事ですので、皆様の箸休めの一助にでもなればと思いながら、全力で書きたいと思います。 まず感謝 当記事は、「素人がAWSに手を出し、のんきに過ごして気づいたら、自分のミスで不正利用され$6,000ほどの請求が来ていて」一週間ほど食べ物も喉を通らず、AWS様に泣きついた結果、「なんとか情け容赦を頂いた」という内容です。 本文中には多少ふざけた言葉選びが散見されるかもしれませんが、私は全力で AWSさんに感謝 をしております。 この先、 僕と同じような過ちを犯す可哀想な素人エンジニアを、この世から一人でも無くしたい。 と切に願っております。 最初にお断りしておきますが、 当記事から得られる、プログラミングインテリジェンスは1gくらいです。 一定レベル以
AWS Solutions Architect ブログ
Nick CorbettはAWS Professional Servicesのシニアコンサルタントです。 私たちのお客さまの多くが、AWS上でデータレイクを構築しています。それは大量の多様なデータを扱うときに、柔軟性があり従量課金制のクラウドモデルが理想的なためです。お客さま自身でデータレイクを構築する場合がある一方で、さまざまなパートナー製品を活用して構築されるお客さまも数多くいらっしゃいます。 私たちは今日、お客さまがAWS上でデータレイクを構築するための新たな選択肢として、データレイクソリューションをご紹介します。ソリューションはAWS CloudFormationスクリプトとして提供いたしますので、そのままお使いいただくことだけでなく、お客さま独自のデータ管理・検索・処理の必要性に応じて、リファレンス実装としてお使いになることもできます。 このエントリーではソリューションの紹介をす
AWS Lambdaの感想 - hitode909の日記
いまさら感もあるけどちょっと触ってみた． 最初Hello World的な気持ちでSlackに投げようとして，require('http')してがんばってPOSTとかしようとしていたけどたいへんで，npm install request したのをzipに上げる形にしたらすんなり動いた zipを上げるときはindex.jsにいろいろ書く 手元で動作させるため，とりあえずexports.hander();して実行して，context.doneで死んで終了するのを確認したら，exports.hander();を消して，Finderでzipに固めて上げる，とかやっている requestが使えるようになったので，天気のJSON APIを叩いて，整形してSlackに投げる，というのができた たとえばhubotのスクリプトとか，hubot自体のデプロイライフサイクルと，ちょっとしたスクリプトのデプロイのラ
Amazonのほしい物リストをRSS化するAPIを作ってみた - プログラマでありたい
執筆上の都合でAmazonのほしい物リストをRSS化するAPIを作ってみました。構成的には、次のような形です。 下記のようなURLで取得できます。wishlist_idの部分に公開のほしい物リストのIDを指定したら使えると思います。 https://wishlist-api.takuros.net/prod?wishlist_id=3G4653SB32HMZ ※効果計測の意味を兼ねて、アフィリエイトタグを付けています。 構成上のポイント ほしい物リストからNode.jsのLambdaでスクレイプして、リスト内のタイトルとURL・登録日を取得しています。また次のページがある場合は、再帰的に取得できるようにしています。出力は、RSS 2.0形式のXMLで出力しています。それをAPI Gatewayを利用してHTTPSからキックできるようにしています。CloudFrontとAWS Certifi
AWS Lambdaの処理性能を言語毎に測ってみた - Taste of Tech Topics
こんにちは、@kojiisdです。 この間AWS Summit Tokyoに参加してきたのですが、皆一様に「AWS Lambda」を、 これからのサーバレスアーキテクチャを支える技術として紹介していましたね。 資料でも言葉でも多分に見聞きしており、軽いゲシュタルト崩壊を起こしている今日この頃、 皆さんはいかがお過ごしでしょうか。 さて、今回はAWS Lambdaです。 AWS Lambdaの処理はJavaやNode.js、Pythonなどの言語で記述することができますが、その性能差がどの程度あるのか？測ってみました。 構成 今回の構成は次の様なシンプルなものにしています。 [計測対象（言語）] Python Node.js Java [計測対象（カテゴリ）] 処理速度 使用メモリ [Lambdaでの処理内容] API Gatewayでリクエストを受け付け Lambda内でDynamoDBか
一般ブロガーやWebデザイナーがAmazon Web Service(AWS)で独自ドメインのWordpressサイトを10分で作る方法 - Brian'z Imagination
ぼくはそんなにプログラマーではないので(？)あんまり難しいことは分からないけれど、Amazon Web Service(AWS)ってのがすごいらしい。Amazonといえば完全にぼくの中では欲しいものが1日で手に入るお店やさんだったけれど、AWSも2006年7月の運用からかれこれ10年もの歴史があって、なんかすごいらしい。SmartNewstとかCookpadとか、いろんなサービスがAWS上で動いていてすごいらしい(そのへんに詳しいひとがいたら解説してほしい)。 でもなんだかコンソールとかデプロイとか難しそうな用語ばかり出てきてなんだか敷居が高い(まさにクラウドだけに雲の上の存在だった)ので、もっとシンプルにAWSでブログを運用してみたかった。それに、多くのノンプログラマーのブロガーやWebデザイナーにとっては技術的なことは極力避けたいし、設定とかそういうのはパパッと済ませて、面白い記事を書
AWSの無料枠についてまとめた - 食べられません
登録から12ヶ月間無料で使える枠と、その後も引き続き無料で使える枠がゴッチャになるのでまとめた 新規利用から12ヶ月間（毎月）無料の枠 EC2 t2.micro Linux 750時間 ELB 750時間 + 15GB分のデータ処理 EBS 30GB + 1GB分のスナップショットストレージ S3 5GBの標準ストレージ 20,000 Getリクエスト 2,000 Putリクエスト RDS micro DBインスタンス Linux 750時間（Single-AZ） 20GBのストレージ 1000万のI/O 自動バックアップと任意スナップショット用 20GBストレージ CloudFront 50GBのデータ転送（アウト） 2,000,000件のHTTP/HTTPSリクエスト Cognite 10GBのクラウド同期ストレージ 1,000,000回の同期操作 AppStream 20時間分 デー
初めてのLambda | DevelopersIO
言語はnode.jsを使います。 今回の目標 EC2を1台用意し、webサーバーとして起動する Lambdaでhttpポートを監視する（5分に1回チェック） 監視で異常があった場合SNSへ通知する SNSは携帯電話へメールを送信する では早速構築していきます。 webサーバーを用意する AmazonLinuxのインスタンスを作成する インスタンスタイプはt2.nano、EBSはマグネティックというケチケチ構成で 開けるポートはsshとhttpの二つのみ。 起動したらsshでログインしてapacheをインストールする sudo yum install httpd24 viで監視用のファイルを作ります。内容は「OK」だけでOK sudo vi /var/www/html/check.html apacheを起動してブラウザで確認する sudo service httpd start
AWS Solutions Architect ブログ
こんにちは、SAの舟崎です。 2016/1/12に開催されたAWS初心者向けWebinar「.NET開発者のためのAWS超入門」の資料が公開されております。 また、Webinarで頂いたご質問とその回答を以下に掲載させていただきます。 Q: AWS SDK for .NET は、C言語だけですか？AWS SDK for .NETはVB.NETは対応していないのでしょうか？ 今回は紙面の関係でC#でのみコードを記述していますが、VBもサポートしています。 Q: 資料p65にある DynamoDBのオブジェクト永続化APIはクエリにも使えますでしょうか? はい、オブジェクト永続化APIでもQueryメソッドを提供しています。 次回のAWS初心者向けWebinarは「AWSクラウドでのWindowsの実行」です。多くの方のご参加をお待ちしております。
[AWS]RHEL6初期構築設定・コマンド詰め合わせ | DevelopersIO
コンニチハ、千葉です。 OS初期構築時に色々なサイトを駆け巡って、コマンドを思い出しつつ構築することもあるかと思うので、時間短縮のためコマンド詰め合わせとして残しておきます。今回の対象はRHEL6となります。 こちらのエントリもありますので参考に【初心者向け】CentOS 7インスタンスの初期設定手順 やりそうなことを、かなり詰め込んだので役に立つかと思います!! 初期設定 ホスト名変更 # vi /etc/sysconfig/network --以下の箇所を変更-- HOSTNAME=[ホスト名] メモリ上のホスト名も変更 # hostname [ホスト名] ※一旦ログアウトして再接続するとプロンプトの表示が変更されます 確認 # uname -n 合わせてhostsも変えておきましょう。 127.0.0.1に[ホスト名]を追加 # vi /etc/hosts 127.0.0.1 [ホス
![[AWS]RHEL6初期構築設定・コマンド詰め合わせ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/31534299f441d7da17028f4e8c96d3552da052ae/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F06%2Flinux.png)
AWS EC2の鍵（キーペア）（秘密鍵）をなくしたら - ベルリンのITスタートアップで働くジャバ・ザ・ハットリの日記
このところ立て続けに「おい、助けてくれ。AWSの秘密鍵を無くした。ログインできねー」と言われて、対処することになった。で、その対処法を書いておく。 小さなスタートアップなので、１つのインスタンスに対してアクセスするエンジニアは社内にひとりだけ、という状況がたくさんある。この場合、鍵の管理も責任もそのひとりのみ。もしその人がサーバーを壊したり、なんかあったらバックアップができる人員も体制も何もないという、シビレルような環境で仕事している。そもそもその体制をなんとかしら？というのは置いておいて、鍵を無くした場合の対処方を書く。 基本はこのマニュアルにかいてある。でも非常にややこしい。この手のマニュアルは細部まで丁寧に書いてはいるが、「ここに書いてあることだけやればOk」という風には書いていない。 Amazon EC2 のキーペア - Amazon Elastic Compute Cloud と
MySQL5.7 / RDS / Aurora / Cloud SQL の性能比較 | 外道父の匠
CloudSQLの価格は実戦的という意味で、per Dayの価格を24hourで割った価格にしています。 メモリは2GBあれば検証としては十分なので格差は関係ありません。 IOPSはEBSならGeneral Purposeの1000GB*3で最大確保しています。 その他、ネットワーク周りなどポイントがあれば都度、補足していきます。 ベンチマークのデータ 今回、採取した全データはこちらになります。一部、目的に対して不要と判断したら省略しています。まぁ、こんなオレオレメモデータを見ても楽しくないでしょうから、１つ１つ考察していきましょう。 手法について 私がよくやる計測方法なのですが、innodb_buffer_pool_size がデータ容量より大きい健全な状態と、最小の16MBで過負荷ストレージを演出し、それぞれで参照／更新を別々にランダムアクセスをすることで、最初のボトルネックを炙り出し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSとAzureのサービス名対比表
