AWS Batch, Lambda, ECS Task 比較：バッチやジョブにはどれを使う？ - Tech Blog
CTOの椎名です。最近弊社では家族アプリFammの印刷・配送・通知など様々な処理を使うために AWS Lambda と AWS Batch を使う量が増えてきて、ECS Fargate も徐々に導入をはじめてきました。 Lambda も Batch も ECS Task も、何かのジョブを単発/定期でサーバー無しで実行するための手段として似ているところがあります。何かのバッチ/ジョブを作る時に「これはLambdaで作るべきか？Batchで作るべきか？」などで迷う事もあります。もちろん製品名の通り「バッチならAWS Batch」と言う考え方もありますが、AWS Batchではオーバーキルな時もあれば、かゆいところに手が届かない時もあります。 今回はこれらの特徴やメリット/デメリットの比較をまとめます。 AWS Lambda 簡単に言うと「コードだけアップロードして実行トリガーを決めればその通
AWS Lambdaの汎用的なエラー通知を実現するLapperというツールをつくりました
Lapper is a wrapper programs for Container running on Lambda. (Beta) - Finatext/lapper AWS Lambdaのエラー通知どうするか問題Finatextでは、サーバレスなタスク実行の基盤として、AWS Lambdaを活用しています。 具体的なユースケースとしては、 CloudWatch EventsのSchedule expressionsをトリガーにした、定時処理SQSやS3のEvent NotificationやCloudWatch Eventsの特定のイベントをトリガーに起動する、非定時処理API Gateway等を介したHTTPSリクエストをトリガーにした、Webサーバとしての処理あたりがあります。 Lambdaを使うことによる恩恵はあらためて言及するまでもないと思いますが、非常に便利に使っています
Amazon Polly を使用して Raspberry Pi に YouTube Live のチャットを読み上げてもらう | DevelopersIO
Amazon Polly を使用して Raspberry Pi に YouTube Live のチャットを読み上げてもらう はじめに テントの中から失礼します、CX事業本部のてんとタカハシです！ YouTube Live で配信を行っていると、視聴者の方からチャットにコメントを頂くことがあります。ただ、たま〜にコメントが来る程度だと、なかなか気付けないことが多かったりします。せっかくコメントを頂いたのに、気が付いて返信をした時にはもう配信を見てもらえていない、、、なんてこともあります。 んじゃあ、コメントが来たら読み上げてくれるツールか何かを作れば良いんじゃね？と思いまして、タイトル通りのモノを作ってみました。まあ、似たようなツールは既に存在しているような気がしますが、年末年始の自由研究ネタとしては程良かったのでやってみました。 ソースコードは下記に置いてあります。 GitHub - ia
ElasticCache2種類のエンジン
ElasticCacheではmemcachedとredisの2つのエンジンをサポートしています。 memcachedとredisの特徴を把握して、適切なエンジンを選ぶことが大切です。 memcached ・一時的なキャッシュとして使われる ・ノード間の複製は行わない ・障害が発生するとデータは消える redis ・マスタ・スレーブ型 ・redis自体でデータストアとしても利用可能 ElasticCacheを利用する際のエンジンの選択基準 ElasticCacheではmemcachedとredisの2つのエンジンをサポートしていますが、エンジンの機能に大きな違いがあるので、用途に応じたものを選ぶ必要があります。 memcachedを選択した方が良い場合 ・モデルを簡素にしたい ・複数のコア・スレッドのあるノードを実行する ・スケールアウトまたはスケールインする予定がある ・データベースなどを
Amazon Web Services, Inc.
AWS をはじめる 10 のことシリーズ「AWS でアーキテクチャ設計を検討する上で知っておくべき 10 のこと (+1)」 の資料ダウンロードサイト（動画解説付き）です。AWS ではクラウドのメリットを最大化させるために 11 のアーキテクチャ設計のベストプラクティスをご用意しています。本資料では、1 つ 1 つのベストプラクティスを分かりやすく解説し、皆様のクラウドへの最適化をご支援します。※本ウェビナーは2020にレコーディングされたものです。 ご利用できるもの 下記についての解説資料および、オンデマンド動画 スケーラビリティを確保する 環境を自動化する 使い捨て可能なリソースを使用する コンポーネントを疎結合にする サーバではなくサービスで設計する 適切なデータベースソリューションを選択する 単一障害点を排除する コストを最適化する キャッシュを使用する すべてのレイヤーでセキュリ
【AWS】aws-sdk-mockでLambdaテストを行う - echo("備忘録");
はじめに この記事は、AWS Advent Calendar 2020 最終日の記事です。 qiita.com また、Serverless Advent Calendar 2020の12/18(金)にも記事を書いてますので、よろしければそちらもお願いします。 qiita.com ところで みなさん、テスト書いてますか？ ...と言っといてあれですが、正直僕も今年の前半までは、ほとんどテストを書いてませんでした。(なかなか本腰を入れられなかったのもありますが) でも、秋くらいから本格的にJestを勉強してテストを書いたら、考えがまるっと変わりました。 いやあ、テストは良いわ。てか絶対テストを書くべき。 テストを書くことにより受けられるメリットは、本当に大きいです。 「そんな時間あるならプロダクトコードを...」と思うかもしれませんが、受けられるメリットの大きさを考えたら、テストコードを書く時
AWSとTerraformでKubernetesを学ぶ本を書いたので１章をまるっと公開します - なになれ
この記事は、Kubernetes3 Advent Calendar 2020の25日目の投稿です。 最近AWSとTerraformを使ってKubernetesを学ぶ本を書きました。 本記事では、その内容をただ載せるだけの楽をしてしまっています。すみません。ただの宣伝です。 興味を持った方は、明日から販売開始となりますので、下記より購入して頂ければと思います。 techbookfest.org １章の内容のほかには、ALBとの連携によるサービスの外部公開、オートスケーリングの実現、Argo CDによるデプロイの実装、監視、運用などの内容を盛り込んでいます。 それでは、１章をまるっと公開します。 第1章 セットアップ 本章では、AWSとTerraformを使って、Kubernetes環境を構築します。AWSでは、Amazon EKS（以降、EKS）を使うと、マネージドなKubernetes環境
【React も AWS CDK も】何も考えず VS Code に全任せして TypeScript コードをステップ実行デバッグする【できるよ！】 | DevelopersIO
環境構築 「何もしてないのにできた」を実現するため、この記事ではインストール直後の Visual Studio Code と Node.js を使用しています。皆さんは今まで通りの環境で大丈夫です。 各ツール類のバージョンは執筆時点で最新のものを使用しています。 Visual Studio Code 1.52.1 Japanese Language Pack（任意） Node.js v14.15.3 プロジェクト作成 任意のディレクトリを作成し、初期化して必要なモジュールをインストールします。そして VS Code で開きましょう。 mkdir ts cd ts npm init -y npm install typescript ts-node -y code . ここまでいたって普通。特別なことは何もしていません。 コーディング それではステップ実行するためにプログラムを書きましょう。
サーバレスで扱うデータストアとしてS3という選択肢があるらしい - Qiita
この記事は、ニフティグループ Advent Calendar 2020 最終日の記事です🎄 昨日は、@RPcat さんの 即フォーマットチェックにincronを使う でした。 ファイルの変更や操作を監視してくれるコマンドが用意されていることを知らなかったので、非常に勉強になりました。 はじめに 皆さん、サーバレスアプリケーションを作ろうと考えたときに選択するデータストアとして何を思い浮かべますか？ 多くの人が思い浮かべるのは、 Amazon DynamoDB Amazon RDS + Amazon RDS Proxy だと思います。 ただ、DynamoDBを使っているときに「使い慣れているSQLを使いたいなあ」と感じたり、個人でRDSを使うには「金額が高すぎるなあ」と感じることがあると思います。自分がそう感じていました。 そこで、これらの問題を解決する一つの選択肢として Amazon S
副業×AWSでわりと人生変わったエンジニアの話 - Qiita
はじめに 何を書こうか迷ってたんですが、ちょうど副業始めて1年ほどたったので、どういうきっかけで始めたか、何をしてるのか、やってみたメリットなどを書いていこうと思います。 なぜ副業×AWSなのかというと、自分が副業をやっていく中で普段AWSに触れていることが強みになっていたので、単に副業だけじゃなくAWSも混ぜてみました。 これから副業を始めようと思っている人、特に本業で役割が変わってあまりコード書けなくなった人に参考になれば。 自己紹介 本業ではSREという部署でCloud Architecture Grpというチームを持っており、自社サービスであるCOMPANYのクラウドネイティブ化を推進しています。 主にクラウドプラットフォームとしてはAWSを利用しているため、日常的にAWSのサービスに触れる機会が多いです。 そんな本業の傍ら、3社で副業やってます。(20名規模ぐらいのベンチャー)
AWSのSLAとAmazon EC2上のシステム障害対策方法とは？
皆さんはアマゾン ウェブ サービス（AWS）のSLAをご存じですか？ AWSでは200近くある各サービスごとにSLAが決められています。※2021年8月現在 「サービスごとのSLAが知りたい」 「SLAのパーセントからダウンタイムを知りたい」 「システムがダウンしたらどうしよう」 こういった疑問をお持ちの方のために、AWSの主要サービスのSLAとダウンタイムの計算方法をご紹介。最後に、万が一障害が起きた場合に備えたおすすめの対策についても解説いたします。 そもそもSLAとは？SLAとは、サービスレベルアグリーメントの略で、サービス提供者がサービス利用者に補償するサービスレベル（内容、品質水準など）を定義したものです。 サービスレベルを下回った場合の補償についても定められており、クラウドサービスの場合、利用サービスの利用料のうち数パーセントのサービスクレジットが利用できます。 SLAが定めら
AWSがRustを愛する理由、私たちがどのように支援したいのか
AWSのブログより。 マット・アセイ Rustプログラミング言語の最もエキサイティングなことの1つは、インフラが信じられないほど詰まらなくなることです。この場合、それは悪いことではありません。誰も電気配線が刺激的なものであることを望んでいません。ほとんどの人は、スイッチを入れて光が見える安全性を好みます。同様の理由から、AWSではRustを使って、Firecracker VMMのような重要なインフラを構築することが増えています。これは、Rustのすぐに使える機能が、Amazonの高いセキュリティ基準に到達するために必要な時間と労力を削減すると同時に、CやC++に近いランタイム・パフォーマンスが提供されるためです。 AWSは数年前からRustの恩恵を受けてきましたが、私たちは有意義な方法で貢献する方法を探しています。AWSのシニア・ソフトウェア・エンジニアリング・マネージャーであるシェイン・
Azure DevOps を使って、AWSへのCI/CD環境を簡単に構築する方法 | DevelopersIO
いわさです。 Azure DevOps （旧：Visual Studio Team Services） ではGUIベースで簡単にCI/CDパイプラインを構築することが出来ます。 名前にAzureの文字が含まれていますが、AWSへの統合も簡単に行うことが出来ます。 今回はAWSより提供されている、"AWS Toolkit for Azure DevOps"という Azure DevOps拡張を用いることでAWS環境へのCI/CDパイプラインを構築しました。 本記事では以下を行います。 Visual Studio for Mac を用いて、シンプルな ASP.NET Core プロジェクトを作成 Azure DevOps上のリポジトリへソースコードをプッシュし、パイプラインを構築 デプロイタスクとしてToolkitサイト内でも取り上げられている、"Amazon S3へのデプロイ"、"Elast
Amazon Linux 2 で kernel panic を起こしてシステムログを取得したメモ
特にオチ無し。 Amazon Linux 2 の EC2 インスタンスを作るマネジメントコンソールからポチポチやって作ればおｋ 今回使った AMI は ami-0c3fd0f5d33134a76 でした。 あとでコマンドコピペするならインスタンスIDをメモっておくと便利。 EC2 インスタンスに ssh で接続$ INCTANCE_ID=i-xxxxxxxxxxxxxxxxx$ INCTANCE_IP=$(aws ec2 describe-instances --instance-ids $INCTANCE_ID --query 'Reservations[].Instances[].PublicIpAddress' --output text)$ ssh "ec2-user@$INCTANCE_IP"Kernel Panic を起こす$ sudo -s# echo c > /proc/s
Metabaseのグラフをslackへ通知するbotをServerless Framework + Puppeteerで作ってみた - カミナシ エンジニアブログ
こんにちは。株式会社KAMINASHIでPMをやっている@gtongy1です。 みなさんはMetabaseをご存知ですか？ 見た目の良さによる直感的なダッシュボードの構築、クエリ記述時の補完機能、グラフの種類数の豊富さ、ツール自体は無料で使える等便利なBIダッシュボードツールです。 カミナシでもMetabaseをフルに活用して、日々分析時に利用しています。 そんなMetabaseですが唯一欠点があって、それはslackとの連携が難しい所です。 slackへ通知を行う時にグラフで表現できるのはまだ棒グラフだけとか、マルチバイトの文字列は文字化けしてしまうとか、実運用に回す時にはちょっと辛いなと感じるところがあります。 そこで、今回Metabaseのグラフをslackへ通知するbotをServerless Framework + Puppeteerで作ってみました。 最終的に以下のようにsla
Amazon Kinesis Data Streams + Protocol Buffersで実現するイベント駆動アーキテクチャー
アソビュー！ Advent Calendar 2020 の18日目です。 初めまして、アソビュー！SREのkirimaruです。 最近Amazon Kinesis Data Streams用の社内向けライブラリ「Pelican」を開発したのでその話を書こう！と思ったのですが、Amazon Kinesis Data Streamsの活用事例と合わせて、そもそもこのライブラリを開発する経緯をまず書こうと思います。 余談ですが僕のアイコンはこのライブラリ用のアイコンとして作ったのものです。 アソビュー！ Advent Calendar 2020 の2日目に上記の記事が投稿されています。 その中で今回の主題のひとつであるProtocol Buffersについて下記のように触れています。 🆕 Protocol Buffers / gRPC 以前の記事の時点では、RESTfulなAPIを利用するケー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「Amazon Comprehend」を使い、週報を感情分析してモチベーションを計るには
GitHub - nsriram/lambda-the-terraform-way: AWS Lambda using Terraform., an Introductory Cookbook
AWS CloudShell 禁止してみた #omoshiro_cloudshell
https://jp.techcrunch.com/2020/12/25/amazon-web-services-nintendo-switch-online/
