Amazon ECS と AWS Lambda で汎用 self-hosted runner を提供する基盤 - クックパッド開発者ブログ
技術部 SRE グループの @s4ichi です。ここ最近は本業に加えて Overwatch2 のヒーローとして戦いに明け暮れています。救わなければならないレートがある。 GitHub flow に従った開発では GitHub Actions が非常に便利です。特に最近では CI 用途だけでなく、ソフトウェアのデリバリーなども Actions で完結させる事例も見かけます。しかしながら、クックパッド社内では GitHub Enterprise Server を使っているため、GtiHub Actions の利用には self-hosted runnner の利用が不可欠になっています。 そこで、社内では Amazon ECS 上に ephemeral で汎用的な self-hosted runner を提供しています。実行する job の数に応じた autoscaling を備え、runn
全国のスーパーに置かれる storeTV 端末の情報の取得にかかる時間を15分から10秒にした話 - クックパッド開発者ブログ
こんにちは。 メディアプロダクト開発部の柴原です。 普段は CookpadTV のサービスである storeTV や storeLive の Android アプリを開発を担当しています。 storeTV では現在、サービスを高品質に継続開発・運用するための仕組みづくりをしており、この記事ではその中の1つである「端末が再生した動画をリアルタイムで把握する機能」について紹介します。 このリアルタイムログの導入でもともと実際の端末で動画再生がされているのかを確認するのに15分かかっていたものが10秒程度に短縮できました。 storeTV とは storeTV は、スーパーで料理動画を流すサービスで、店頭に独自の Android 端末を設置し、その売り場に適したレシピ動画を再生するサービスです。 より詳しいサービス概要にについては、弊社メンバーの Cookpad TechConf 2018 にお
続・サーバーレス検索エンジン：巨大な静的ファイルを扱うケースについて考える | フューチャー技術ブログ
大きくは外部ストレージサービス利用と、アプリケーションにバンドルしてしまう方式と2つにわかれます。バンドルはデータだけ更新ができないデメリットはありますが、お手軽です。Lambdaはレイヤーを使えば実行プログラムに対して後から追加とかできますが、容量制限が厳しめです。 オブジェクトストレージは比較的お手軽ですが、読み込みしたいライブラリがローカルのファイルシステム前提の場合は使えません。サーバーレスの方式によっては、一度ローカルのファイルシステムに書き出してから利用とかも可能ではありますが、Cloud Runでは8GB（ただし、おそらくtmpfsで書けば書くほどメモリを消費)、Lambdaでは500MBと容量に制限があります。 より巨大な学習済みデータを扱う場合はマネージドNFSサービス系のものを使うのが最終形でしょう。ファイルのサイズ制限もほぼ限界値ですし、ローカルファイルになるのでどん
Bolt + lambda を使って Slack に通知メッセージを送る API を作る - ROXX開発者ブログ
この記事は個人ブログと同じ内容です zenn.dev Boltを利用してWebアプリと連携し、Slackワークスペースに所属するユーザーに応じて通知を出し分けるAPIを作ってみたので知見として書きます。 当記事で書くこと Slack Appの設定 Bolt + serverless によるSlackBotのAPI実装 emailからユーザーとのDMチャンネルを検索 取得したDMチャンネルIDへのメッセージ送信 lambdaへのデプロイ 当記事で書かないこと Boltを利用したOAuth周りの認証設定 複数ワークスペースでSlackAppを利用するため 今後別記事にて投稿予定 手順 【SlackApp側の設定】 Slack App 作成 ←のリンクから Slack App を作成する App Home タブにてアプリの DM に表示するタブを設定 "App Display Name" の E
Selenium, AWS Lambda, AWS Fargate, AWS Developer Tools を使ったサーバーレスなUIテスト | Amazon Web Services
Amazon Web Services ブログ Selenium, AWS Lambda, AWS Fargate, AWS Developer Tools を使ったサーバーレスなUIテスト (この記事は、 Serverless UI testing using Selenium, AWS Lambda, AWS Fargate, and AWS Developer Tools を翻訳したものです。) 以前、Using AWS CodePipeline, AWS CodeBuild, and AWS Lambda for Serverless Automated UI Testing (日本語版 ) を公開してから、Chrome headless とFirefox headless が各ブラウザでネイティブにサポートされるようになったことで、事態は大きく変わりました。 AWS Lambda
負荷試験用 Web コンソールの開発 - クックパッド開発者ブログ
技術部 Site Reliability (SR) グループの id:itkq です。2020 秋タイトルで一番期待しているのはおちこぼれフルーツタルトです。本エントリでは、Web サービスの負荷試験に対する障壁を下げるために、汎用的な Web コンソール開発に至ったまでの話を書きます。 Web サービスの負荷試験の障壁を下げたい クックパッドでは、マイクロサービスを支える基盤が成熟しており、新規サービス開発や、サービスリニューアルなどの機能開発の場面では、疎結合な新規のマイクロサービスとして実装されることが多いです。このようなサービスをリリースする際は、予想されるトラフィックに対して、実際にそれを捌ききれるかどうかテストする、いわゆる負荷試験をすることは一般的です。これまで、サービスリリース時に、負荷試験をきちんと行うこともあれば、負荷試験を行わないこともありました。負荷試験が行われない
新しいサーバーレス LAMP スタック – Part 1: 概要紹介 | Amazon Web Services
Amazon Web Services ブログ 新しいサーバーレス LAMP スタック – Part 1: 概要紹介 本投稿は AWS サーバーレス アプリケーションのシニアデベロッパーアドボケートである Benjamin Smith による寄稿です。 本シリーズの他のパートは以下のリンクからアクセスできます。また、関連するサンプルコードはこちらの GitHub リポジトリにあります。 パート2：リレーショナルデータベース パート3：Webサーバーの置き換え パート4：サーバーレス Laravel アプリの構築 パート5：CDK コンストラクトライブラリ パート6：MVC からサーバーレスマイクロサービスへ これは、PHP 開発者向けの投稿シリーズの第一弾です。このシリーズでは、PHP でサーバーレステクノロジーを使用する方法を説明します。サーバーレスアプリケーションを構築するために利用で
AWS Lambda関数の状態の追跡 | Amazon Web Services
Amazon Web Services ブログ AWS Lambda関数の状態の追跡 本投稿は、AWS Lambda の Senior Developer Advocate, Chris Munns の寄稿によるものです。 AWS Lambda関数は、AWS Identity and Access Management（IAM）ロールやAmazon Virtual Private Cloud（Amazon VPC）、ネットワークインターフェイスなど、正常に実行するために他のAWSサービスのリソースを必要とすることがよくあります。関数を作成または更新すると、Lambdaはユーザーに代わって、関数の実行を可能にするのに必要なリソースをプロビジョニングします。ほとんどの場合、このプロセスは非常に高速で、関数を呼び出したり変更する準備はすぐにできます。ただし、この種のアクションで時間がかかってしま
最も高価なコード行を見つける – Amazon CodeGuru が一般提供開始 | Amazon Web Services
Amazon Web Services ブログ 最も高価なコード行を見つける – Amazon CodeGuru が一般提供開始 新しいアプリケーションを本番環境に導入し、それらの成長と発展に合わせてコードベースを維持し、同時に運用上の問題に対応するのはとても困難です。このため、チームの構築方法、適用方法、ソフトウェア配信パイプラインの安全な自動化方法について、多くのアイデアを見つけることができます。 昨年の re:Invent では、プレビューで Amazon CodeGuru を導入しました。これは機械学習を利用したデベロッパーツールで、アプリケーションの改善と、ランタイムデータに基づく自動コードレビューやパフォーマンスの推奨による問題のトラブルシューティングに役立ちます。 過去数か月の間に、より費用対効果の高い料金モデル、Bitbucket リポジトリのサポート、コマンドラインスイッ
新機能 – Lambda関数の共有ファイルシステム – Amazon Elastic File System for AWS Lambda | Amazon Web Services
Amazon Web Services ブログ 新機能 – Lambda関数の共有ファイルシステム – Amazon Elastic File System for AWS Lambda 本投稿は AWS の Chief Evangelist (EMEA)であるDanilo Pocciaによる寄稿です。 AWS Lambda関数がAmazon Elastic File System（EFS）をマウントできるようになったことを非常に嬉しく思います。EFSは、高可用性と耐久性のために複数のアベイラビリティーゾーン（AZ）にまたがってデータを格納するスケーラブルでエラスティックなNFSファイルシステムです。このように、使い慣れたファイルシステムインターフェイスを使用して、関数単体、および複数のLambda関数のすべての同時実行環境にわたってデータを保存および共有できます。 EFSは、強力な整合性
時系列データ可視化のための InfluxDB、Grafana、AWS IoTの連携 | Amazon Web Services
Amazon Web Services ブログ 時系列データ可視化のための InfluxDB、Grafana、AWS IoTの連携 IoTには様々な種類の実装がありますが、多くのアプリケーションでは、大量のテレメトリーデータ収集します。インダストリアルやヘルスケア、コンシュマー製品、ロジスティクスなどにおいて、IoT のテレメトリーデータは非常に時刻に依存しています。 多くの IoT ソリューションでは、データの収集やレポートのタイミングが重要になります。例えば、アノマリー検出や予兆保全のための属性分析においては、異常発生時や発生の予兆が出たときのイベントが、正確に保存され、わかりやすく資料化されることが必要です。 時系列システムは、個々の IoT デバイスレベルで考えるだけでなく、 IoT アプリケーション全体で考えることが重要です。 たとえば、工場のフロアでは、ベルトコンベアの速さと、
AWS LambdaでAmazon RDS Proxyを使用する | Amazon Web Services
Amazon Web Services ブログ AWS LambdaでAmazon RDS Proxyを使用する 本投稿は、Principal Solutions Architectである George Maoの寄稿によるものです。 更新 – (2020年6月30日 PDT): MySQLおよびPostgreSQL対応のAmazon RDS Proxyが一般にご利用可能になりました。 更新 – (2020年4月8日 PDT): PostgreSQL 互換の Amazon RDS Proxy (プレビュー)を発表しました。プレビューではバージョン10.11と11.5がサポートされています。 AWSサーバーレスプラットフォームは、デマンドに応じて自動的に拡張するアプリケーションを構築することができます。大量アクセスがある間、 Amazon API Gateway と AWS Lambda は負
Amazon CloudWatch ServiceLens を使用して高度に分散化されたアプリケーションを視覚化して監視する | Amazon Web Services
Amazon Web Services ブログ Amazon CloudWatch ServiceLens を使用して高度に分散化されたアプリケーションを視覚化して監視する 数千のメトリックとテラバイトのログをもつ、ますます分散するアプリケーションは、視覚化と監視が課題になる場合があります。アプリケーションとその依存関係のエンドツーエンドのインサイトを得て、パフォーマンスのボトルネック、運用上の問題、顧客への影響を迅速に特定できるようにするためには、多くの場合、それぞれ情報の特定のファセットを提示する複数の専用ツールを使用する必要があります。これは代わりに、データの取り込みがより複雑になり、さまざまなインサイトを手作業でつなぎ合わせて、全体的なパフォーマンスを判別し、複数のソリューションを維持するコストが増加します。 本日発表された Amazon CloudWatch ServiceLen
Amazon Athenaの新しいフェデレーテッド・クエリによる複数データソースの検索 | Amazon Web Services
Amazon Web Services ブログ Amazon Athenaの新しいフェデレーテッド・クエリによる複数データソースの検索 現在、企業は構築するアプリケーションに最適にフィットした複数のデータストアを利用しています。例えば、ソーシャルネットワークアプリケーションを構築するような場合は、リレーショナルデータベースよりは Amazon Neptune のようなグラフデータベースの方が多くのケースで最適です。同様に頻繁な反復処理(fast iterations)のために柔軟なスキーマが求められるワークロードには、 Amazon DocumentDB (with MongoDB compatibility) がより適しているでしょう。Amazon.com のCTO/VPである Werner Vogels が述べているように、「複数の明確に異なる要件を満たすことが出来る単一のデータベース
サーバーレスアーキテクチャ再考 - ゆううきブログ
2014年にAWS Lambdaが登場し、Functionを単位としてアプリケーションを実行する基盤をFunction as a Service(以下、FaaS)と呼ぶようになった。 そして、同時にサーバーレスアーキテクチャ、またはサーバーレスコンピューティングと呼ばれる新しいコンセプトが普及するに至った。 当初、そのコンセプトが一体何を示すかが定まっていなかったために議論が巻き起こり、今現在では一定の理解に着地し、議論が落ち着いているようにみえる。 しかし、サーバーレスという名付けが悪いということで議論が着地したようにみえていることにわずかに疑問を覚えたために、2019年の今、これらの流れを振り返ってみて、サーバーレスアーキテクチャとは何かを改めて考えてみる。 サーバーレスとの個人的関わり サーバーレスアーキテクチャという名を僕がはじめて耳にしたのはAWS Lambdaが登場した2015
Amazon ES、Amazon Athena、および Amazon QuickSight を使用して AWS WAF ログを分析する | Amazon Web Services
Amazon Web Services ブログ Amazon ES、Amazon Athena、および Amazon QuickSight を使用して AWS WAF ログを分析する これで AWS WAF に、サービスによって検査されたすべてのウェブリクエストをログに記録する機能が追加されました。AWS WAF は同じリージョンの Amazon S3 バケットにこれらのログを保存できますが、ほとんどのお客様は、アプリケーションをデプロイする場合はいつでも、複数のリージョンにわたって AWS WAF をデプロイします。ウェブアプリケーションのセキュリティを分析するとき、組織はデプロイされたすべての AWS WAF リージョンにわたって全体像を把握する能力を必要とします。 この記事では、AWS WAF ログを中央データレイクリポジトリに集約するための簡単なアプローチを紹介します。これにより、
VPC Lambdaのコールドスタートにお悩みの方へ捧ぐコールドスタート予防のハック Lambdaを定期実行するならメモリの割り当ては1600Mがオススメ？！ | DevelopersIO
2019/5/31追記 先日のBlack BeltでLambdaの内部構造について一部解説がありました。 ※スライド公開され次第更新します これまでWorkerというコンポーネントはMicroVMを指しているという理解だったのですが、実際にはMicroVMをホストするEC2インスタンスのレイヤーがWorkerに相当するようです。以後の「Worker」という表記は基本的に「MicroVM」に置き換えて読んで頂くようお願いします。 はじめに サーバーレス開発部＠大阪の岩田です。 先日のブログでLambdaのコールドスタートの裏側について考察しました。 これまでの常識は間違っていた？！Lambdaのコールドスタート対策にはメモリ割り当てを減らすという選択肢が有効に働く場面も 本ブログでは前回の考察をベースにLambdaのコールドスタート回避に関するテクニックについて深掘りしていきます。なお、以後
re:Invent 2018 / Werner Vogels Keynote / Serverless Updates | Amazon Web Services
Amazon Web Services ブログ re:Invent 2018 / Werner Vogels Keynote / Serverless Updates Werner VogelsのKeynoteで、AWS LambdaのアップデートやServerless関連のアップデートが発表されました。 Rubyサポート 従来のJava, Go, PowerShell, Node.js, C#, Pythonに加えて Ruby がサポートされました。 Custome Runtime Linuxで動作するあらゆる言語のランタイムを利用することができるようになりました。 Nested Applications using Serverless Application Repository ネストされたアプリケーションを使用すると、小さなアプリケーションコンポーネントからアプリケーションをまと
[速報]ALBのバックエンドにLambdaを選択できるようになりました！#reinvent ｜ DevelopersIO
はじめに ALB Support for Lambda が発表されました。ALBのバックエンド(ターゲットグループ)にLambdaを選択できるようになりました。今まではAPI GatewayのバックエンドにLambdaを利用していましたが、ALBをLambdaのフロントにすることができるようになり、アーキテクチャが変わりそうなアップデートです。既存のALB + EC2構成のWebシステムに、サーバーレスアーキテクチャを追加することも可能になりそうです。 東京でも利用できました!!公式ブログやドキュメントがまだなので、マネージメントコンソールから確認してみました。 Application Load Balancer can now Invoke Lambda Functions to Serve HTTP(S) Requests Lambda functions as targets for
![[速報]ALBのバックエンドにLambdaを選択できるようになりました！#reinvent ｜ DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/69d5e5df38c6d27d133baa3f894a2379a68db070/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Feyecatch_reinvent-2018-city_1200x630.jpeg)
Amazon DynamoDB On-Demand – 事前のキャパシティプランニングが不要のリクエスト課金が可能になりました。 | Amazon Web Services ブログ
Amazon Web Services ブログ Amazon DynamoDB On-Demand – 事前のキャパシティプランニングが不要のリクエスト課金が可能になりました。 少し前まで、あなたのビジネスに合わせていつでもスケールし安定した低いレイテンシを提供するデータベースを作成することは困難でした。2012年にWerner VogelsがpostしたブログでAmazon DynamoDBがアナウンスされました。（これは私がAWSに入る数ヶ月前の事でした。）DynamoDBは2007年にAmazonが公表したDynamoの論文に基づいて設計されています。それから数年、多くの新機能がAWSの顧客が利用するデータベースを更に簡略化するために導入されました。今、フルマネージドかつマルチリージョン、マルチマスターデータベースとencryption at rest、point-in-time r
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
