社内システムのセキュリティ向上のため、Lambda + CloudFront + S3でインフラ基盤を再構築した話 - Uzabase for Engineers
はじめに ソーシャル経済メディア「NewsPicks」SREチーム・新卒エンジニアの樋渡です。今回は、AWSサービスである「Lambda」「CloudFront」「S3」を用いて、弊社で使用している社内向けシステムの基盤を再構築し、開発者体験の向上やセキュリティ対策を行なったお話です。 お話の内容 弊社で使用している社内向けシステムの一つに「Watson」というシステムがあります。「Watson」とは簡単にいうと「NewsPicks」のユーザーIDをもとにユーザーごとの情報を検索・閲覧できるシステムで、お客様からの問い合わせ対応等に活用される重要なシステムです。「Watson」は構築されたのが８年前と歴史が古く、歴史が古い故に数々の問題を抱えていました。今回のお話では、歴史の古い社内システムのインフラとバックエンドを更改し抱えていた問題を解決したぜ！というお話となっています。 抱えていた課
そのLambda、本当に必要ですか…？Step Functionsのすゝめ
本記事はANGEL Dojo 2024参加者によるアドベントカレンダー「ANGEL Calendar」の最終日の記事になっております。 他のみなさんが書かれた記事はこちらからご覧ください！ ※…ANGEL Dojo 2024に関しましてはAWS JAPAN APNブログをご覧ください。 こんにちは、ひるたんぬです。 今日で2024年度上半期が終わりますね。これを書いてふと思ったのですが、なぜ「YYYY年度」は4月始まりなのでしょうか？ 1月から始めてくれていれば色々スッキリするのに…と思い、なぜ4月からになったのか調べてみました。 （前略）当初から4月始まりだったわけでなく、明治政府により会計年度が初めて制度化された明治2年（1869）は、10月始まり。続いて、西暦を採用した明治6年からは、1月始まりになりました。つまり、暦年と年度の始まりが同じ時代があったのです。明治8年からは、地租の納
コンテナイメージ内でLambda レイヤーと拡張機能を動作させる | Amazon Web Services
Amazon Web Services ブログ コンテナイメージ内でLambda レイヤーと拡張機能を動作させる この記事では、コンテナーイメージとしてパッケージ化され、デプロイされた Lambda 関数で AWS Lambda レイヤーと拡張機能を使用する方法について説明します。 以前はLambda 関数は.zip アーカイブとしてのみパッケージされていました。これにはAWS マネジメントコンソールで作成された関数が含まれます。今はLambda 関数をコンテナイメージとしてパッケージ化およびデプロイすることもできるようになりました。 Docker CLI などの使い慣れたコンテナーツールを Dockerfile を使用してイメージをローカルで構築、テスト、タグ付けすることができます。コンテナイメージを使用したLambda 関数は 10 GBのサイズまで構築することが可能です。構築したイメ
個人開発のコストはDB次第 - laiso
個人でWebサービスを継続的に運用するのは金がかかってかなわんという問題がある 「個人開発」だと定義が曖昧なので自己資金かつ赤字のプロジェクト(Webサービス)ということにする。 そういうプロジェクトではプロダクトオーナー=自分、開発者=自分、予算管理者=自分というロールになるので予算管理者としてコストを図る必要がある(ここでいうコストはWebサービスを実現するアプリケーションのランニングコストのこと)。 通常はみんな自分の人件費を0として計算していると思う(逆にいうとそれが負債という考え方もできると思う)。 ただしメンテナンス時間とコストのトレードオフもあるので、人件費0ではあるけど有限の時間は別軸として管理しているのが普通だと思う。極端な例だと「コスト削減できるけどメンテナンス時間10倍になる」というのは避けられる。 仮に個人開発のプロジェクトの予算を月数千円から高くても1万円ぐらいか
Python の AWS Lambda 関数ログ作成 - AWS Lambda
AWS Lambda は Lambda 関数を自動的にモニタリングし、Amazon にログエントリを送信します CloudWatch。Lambda 関数には、関数のインスタンスごとに CloudWatch Logs ロググループとログストリームが付属しています。Lambda のランタイム環境は、各呼び出しの詳細や、関数のコードからのその他の出力をログストリームに送信します。 CloudWatch ログの詳細については、「」を参照してくださいでの Amazon CloudWatch ログの使用 AWS Lambda。 関数コードからログを出力するには、組み込み logging モジュールを使用できます。より詳細なエントリを行うため、stdout または stderr に書き込みを行う任意のログ記録ライブラリを使用できます。 ログへの印刷 基本的な出力をログに送信するには、関数の print
【感想】『Amazon Web Servicesを使ったサーバーレスアプリケーション開発ガイド』：Lambdaで本格サービス開発まで - Rのつく財団入り口
サーバーレスアプリケーション開発ガイド Lambda関数を用いたサーバーレス開発をもっと知っておこうと思って読んだ本の感想です。2018年4月刊行、サーバーレスの主要サービス解説にコードはPython、のみならずフロントはVue.jsを使った本格開発まで、実践的な内容が詰まった本です。 作者は現Amazon Web Services Japan所属のKeisuke69こと西谷圭介さん。Twitterでもよくお見掛けします。(@Keisuke69) サーバーレスアプリケーション開発ガイド Chapter1 サーバーレスアプリケーションの概要 1-1 サーバーレスアプリケーションとは 1-2 ユースケースとアーキテクチャパターン 1-3 サーバーレスアプリケーションのライフサイクル管理 Chapter2 Amazon Web Services（AWS）利用の準備 Chapter3 インフラを自
TensorFlowをAWS Lambdaで使って競艇予想APIを爆誕させました！！ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに この記事は以前作成した競艇予想のモデルをAWS Lambda上で使用し、 競艇予想APIを作成したときのお話です。 やっていることは単純ですが、これを実現するために私の夏休みをすべて費やしました(泣) ですので、私のようにAWS Lambdaで自身が作成した機械学習モデルを使用したいと 考えている方の助けとなれるように記事を書きました。 アジェンダ 1.使用したライブラリ、実行環境について 2.処理内容について 3.アーキテクチャ図について 4.競艇予想APIを作る上で困った点について 5.Serverlessについて 6.S
Azure Container Instances + Azure Automationで超格安バッチ実行基盤を構築！！ | SIOS Tech. Lab
こんにちは、サイオステクノロジー技術部 武井です。今回は、Azure Container InstancesとAzure Automationを使って、超格安なバッチ実行基盤を構築します。 バッチを実行するためには？ バッチを実行するためには、もちろんバッチを実行する基盤が必要です。代表的なものは、オンプレミスに設置する物理サーバーであったり、パブリッククラウド上に作成する仮想マシンであったりします。でも、バッチを実行する基盤ってバッチを実行するときだけ必要なのであって、それ以外は不要ですよね。パブリッククラウド上の仮想マシンの場合、多くは時間による従量課金なので、無駄が発生してしまうことがあります。夜中に一回だけ動かすバッチなのに、ずっと仮想マシン動かしてるとかってかなりムダですよね。 そこで、今回ご紹介するのは、バッチを実行するときにだけ課金される仕組みの、オンデマンドなバッチ基盤です
論文メモ「Firecracker: Lightweight Virtualization for Serverless Applications」 | koyama's blog
論文メモ「Firecracker: Lightweight Virtualization for Serverless Applications」 AWSのLambdaの裏側で動いているマイクロVMの論文を読んでみた． 4章はAWSでのLambdaの動作を知るには有益なので読んでみるとGoodかも． URL) https://www.usenix.org/system/files/nsdi20-paper-agache.pdf 最初のLambdaではLinux Containerを使っていたのが意外だ． 顧客アカウント単位で単一のVM内で複数の関数を実行していたのか． When we first built AWS Lambda, we chose to use Linuxcontainers to isolate functions, and virtualization to isol
サーバーレスでサーバーサイドレンダリング 前編 - Sweet Escape
はじめに サーバーレスアプリケーションにおけるフロントエンド SPAの課題 サーバーサイドレンダリング Jamstack サーバーフル? サーバーレス? サーバーレスでサーバーサイドレンダリング Nuxt.jsでの例 次回 はじめに サーバーレスでサーバーサイドレンダリングの話です。ReactとかVueを使ったシングルページアプリケーション（SPA）を開発している人がサーバーサイドレンダリングやりたいんだけどサーバーレスでどうやるのって話です。 今回も『サーバーレスアンチパターン今昔物語』というイベントのための記事となっています。 serverless-newworld.connpass.com なお、今回は前編と称してそもそものところを簡単に説明しつつ、サーバーレスでやる場合の基本的な話を説明していきたいと思います。次回、後編で実際にサンプルアプリを用意して動くもので説明をしていきます。
サーバーレスでルート探索付き地図サービスを自前で提供する方法を考えてみた | DevelopersIO
はじめに アイキャッチ画像は、初めて精密な日本地図を作ったとされる伊能忠敬と日本地図です。いくつになっても信念を持って何かをひたむきに行う人に、私もなりたいものです。 さて、Webサービスを提供する際、地図を表示したいということは多々あるかと思います。地図で、様々な地点を一覧表示したり、ルートを表示できたりすると、ユーザ体験が向上するというのは少なくないかと思います。 こういった地図サービスをWebサービスに埋め込んで提供したい場合に、まず考えられるのがGoogle Maps Platformかと思います。 ちょっと最近大きく変更があったようですが、依然として一定の品質の地図、徒歩/公共交通機関/車でのルート探索、ストリートビュー等々、国内で提供されている最大級の地図サービスであることは異論ないかと思います。 単にユーザとしてGoogleMapをアプリなどで使用する場合、すべて無料なので特
CloudFront + S3 + Lambda@EdgeでBasic認証付きお手軽 静的サイト ( ランディングページ ) 環境を作った | Recruit Tech Blog
こんにちは。開発支援Gでインフラ運用をしている大島です。 Lambda@Edgeとは、CloudFrontが配信するコンテンツをカスタマイズする関数を実行できる機能のことです。本記事では、これを使ってランディングページ ( 以下LP ) のような静的サイトに対してお手軽にBasic認証を設置する話です。 また、最後におまけ程度ですが、この構成に到るまでの背景も書いていますのでもしよろしければご覧になっていってください。 LP環境をCloudFrontで作るのにBasic認証はどうしよう ? 開発中はデバッグ用の要素や社内開発環境へのリンクなども含まれていたりすることを考えると、何かしらの方法でアクセスを制限する必要があります。nginxなどのwebサーバであればBasic認証の設置も簡単ですが、今回はCloudFront + S3なのでそうそう気軽には設置できません。 そんなときに便利なの
AWS Lambda Go without Go - so what
とある勉強会用にLTネタを作っていたのですが、発表できなくなったので腐る前にブログに書いておきます。 お前は何を（ｒｙ 記事のタイトルについて お前は何を言っているんだ なのですが、元ネタは以下のツイートです。 ここからTCPでやり取りするプロトコルが読み取れるし、mainって名前で同じプロトコル喋るバイナリならstaticにビルドすれば別の言語でもネイティブに動かせるんじゃね？https://t.co/dWjs8YiuFe— Masashi Terui (@marcy_terui) 2018年1月17日 LTのネタになりそうだったのでやってみたわけです。 aws-lambda-goについて じゃあ、まあaws-lambda-goは一体どういう仕組みで動いているんだろうと、ソースを読んでみました。 で、entry.goとfunction.goあたりでだいたい分かりましたが、net/rpcパ
「AWS re:Invent 2017 Serverless re:Cap」に参加した - kakakakakku blog
月曜日は「AWS re:Invent 2017 Serverless re:Cap」に参加してきた．日本だと完全に深夜帯だったキーノートは全て見たし，Black Belt「re:Invent 2017 速報」も見たけど，アップデートが多いので繰り返し学びたいなと思っていたのと，今回は Serverless 関連に特化したイベントだったので，より深く話が聞けるかなというのを期待していた．すぐに資料が公開されると嬉しいんだけども🙏 aws-serverless.connpass.com Serverless Updates Lambda CPU をより使えるように，メモリを最大 3GB まで設定できるようになった Lambda の Go 対応は，あくまでまだ「プリアナウンス」段階 Lambda の同時実行可能数を関数ごとに設定できるようになった Lambda のコードエディタが Cloud9
Serverless FrameworkとExpressでお手軽にAPIサーバを作ろう - 迷ったらカレー
この記事は、Recruit Engineers Advent Calendar 20176日目の記事です。 こんにちは。最近マルチロールな働き方をしていて自分が何者なのかわからなくなってきた加藤です。現在リクルートジョブズというところでエンジニアをしています。 日頃、社内用のちょっとしたツールとか、試験的なAPIとかを作るのにAWS LambdaやDynamoDBを使ってサーバレスな開発をしているのですが、この記事ではその際によくやるServerless FrameworkとExpressを活用した開発手法の紹介をしたいと思います。 Expressといえば、Node.jsのWebアプリケーションフレームワークとして有名ですが、最近ではaws-serverless-expressというのを使うと、AWS LambdaでもExpressを使って開発ができます。サラッと書きましたが、正直こいつが
LocalStackをつかってローカルでLambdaを実行してみた | DevelopersIO
どうも！AWS勉強中の西村祐二＠大阪です。 今回は前々からさわってみたいと思っていた AWSのモックフレームワークを提供する「LocalStack」をつかって ローカルでLambda関数を実行してみたいと思います。 LocalStackとは クラウドアプリケーションを開発するための使いやすいテスト/モッキングフレームワークを提供するツールです。 イメージとしては、ローカルに擬似的なAWS環境を作ってくれて、 料金など気にせずにテストや動作確認を可能にしてくれます。 LocalStackが提供しているAWSサービス API Gateway Kinesis DynamoDB DynamoDB Streams Elasticsearch S3 Firehose Lambda SNS SQS Redshift ES (Elasticsearch Service) SES Route53 Cloud
SQS、ElastiCache、Lambdaで作る高可用なアラート通知システム | GREE Engineering
インフラのいわほり（@egmc）です。 サーバ監視を構成するシステムは色々ありますが、今回はAWS環境上での監視に使われているアラート通知の仕組みについて紹介させて頂きます。 監視システムの構築そのものは2015年頃、AWSの本格的な利用に伴い、AWS環境を対象とした新規システム（AWSモニタリングシステム）の構築プロジェクトにて作成されたものですが、稼働から約2年が経過し、それなりに実績が積めてきたのではないかと思います。 通知システムにはYusuraという名前がついていて、機能的には過去のエントリで紹介されていたAWACSに近いものとなります。 主な機能としては 設定に基づいた通知先の振り分け アラートの集約(summarize) 同一アラートの抑制（suppress） インスタンスのタグ情報に基づいたignore処理（特定のタグがついているインスタンスを通知の対象とする） を行います
Firebase Costs Increased by 7,000%!
Update (05/17/2017 8:50 AM): I am happy to say that I received a phone call promptly this morning from the executive team at Firebase. They professed their sincere apology for the situation and explained what happened specifically with the account. While we haven’t reached a final conclusion on everything, it would appear the specifics of the article have been heard. Many of the complaints (namely
DynamoDB + Lambda + SSM でテストサーバーをポコポコつくる仕組み - KAYAC Engineers' Blog
はじめまして。カヤック技術部の杉山です。 主にクライアントワークでサービスを開発しています。 今回は、クライアントワークで運用している、テストサイトの仕組みに関して書きます。 「テストサイト」の概要 クライアントワークでは、日々たくさんの案件を開発しています。 それぞれの案件では、多くの場合、Webサイトもしくは、WebAPIを公開するためのサーバーが必要になります。 実際の公開時には、案件ごとに専用のクラウドコンピューティングサービスを契約し、セットアップすることになりますが、 利用して良いサービスの確認が必要であったり、サービスの契約まで時間がかかったりするため、すぐには決まらない場合があります。そのため、開発時や検証時には、カヤック側でテストサイトを用意し、確認やプレビューを行っています。 さらに以下のような要望にも対応する必要があります。 出来るだけ時間をかけず開発環境を用意したい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - localstack/localstack: 💻 A fully functional local AWS cloud stack. Develop and test your cloud & Serverless apps offline
