経緯 ここ6,7年くらいはバックエンドに関してはRails + EC2/ECSあたりのAWS環境を中心に過ごしてきたが、昨今はフロントエンドでReact/Vue + TypeScriptを書く機会も増えている。なのでこの際NestJS等でバックエンドを書けるようになれば言語のコンテキストスイッチの切り替えが容易になりそうと思った(ちなみにモバイルアプリはFlutterで書くのでDartだが、ではDartでバックエンドを書くかと言われると一人でそんな勇気はないわ...となるのでひとまず置いておく) 最近はinputとoutputを型注釈によって守れたりすることの主に開発体験方面への恩恵が個人的に大きくて、Rails以外で安住の地を見つけたいとは予々思っていた。なので先に挙げたNestJSに全ベットするわけではないにしろ何かしらフレームワークは試していきたい。 AppEngineは大昔に少し触
こんにちは、Finatextの六つ葉と申します。現在、グループ会社のナウキャストが開発中の新サービスのAWSインフラを担当しております。 本稿では、AWS CloudWatchシリーズでアプリを監視する方法について延べます。 まず、アプリ本体の仕組みを紹介します。 アプリの仕組みこのアプリは、一般的なSPAによるフロントとWebAPIのバックエンドによる構成になります。Fargateに関してはAuto Scalingを設定しています。 アプリの監視システム監視システムは、ログ・通知・死活監視・ダッシュボードの4つの部分で構成されています。 X-Ray、CloudWatch LogsからのアクセスログCloudWatch AlarmsとSNS、ChatbotでのSlack、メール通知Synthetics Canaryからの死活監視CloudWatch Logs InsightやMetrics
MySQLの約30億レコードをRedshiftにDMSでニアリアルタイム同期した - クラウドワークス エンジニアブログ
概要 こんにちは。クラウドワークス SREチームの@kangaechuです。最近好きなラジオ番組は空気階段の踊り場です。 企業にとってデータは非常に重要です。さまざまなデータを組み合わせて分析を行うことにより、ユーザをより深く知ることができ、それによりサービスやビジネスモデルを継続的に変革することが可能になります。 クラウドワークスでも同様に、施策やマーケティング、新サービスの開発など、さまざまな取り組みの源泉としてデータを活用しています。 crowdworks.jpではマスタデータベースにAWS RDSで稼働するMySQLを使用し、分析系のデータベースにはAmazon Redshiftを使用しています。Redshiftに同期されたテーブルは約270テーブル、レコードにして約30億件あり、1か月に1.5億件のレコードが同期されています。 今回はMySQLからRedshiftへの同期の仕組み
ブラウザ上からNode.jsやPythonでバックエンドを無料で開発可能な「Napkin」を使ってみた！ -
どうも、まさとらん（@0310lan）です！ 今回は、ブラウザ上からNode.jsやPythonをプログラミング可能なクラウドエディタを提供する無料のWebサービスをご紹介します。 サーバレスでバックエンドを開発できるうえ、シンプルなエディタから即座にエンドポイントを作って公開もできる便利なサービスとなっています。 手軽にサーバ側の処理を構築したい場合やFaaSのように使いたい方にも最適なのでぜひ参考にしてみてください！ 【 Napkin 】 ■「Napkin」の使い方 それでは、「Napkin」をどのように使えばいいのか詳しく見ていきましょう。 まず最初にサイトのトップページから【Sign Up】ボタンをクリックして無料のユーザー登録を済ませておきます。 登録方法はいくつかありますが、今回はもっとも簡単なGitHubアカウントを利用してみます。 確認用のウィンドウが表示されるので承認をし
AWS環境でDDoS攻撃を受けた時の対処をCloudFormationで自動化する（EC2編） - 電通総研 テックブログ
Xイノベーション本部 ソフトウェアデザインセンター セキュリティグループの福山です。 先日、米政府（米サイバーセキュリティインフラストラクチャセキュリティ庁（CISA）や米連邦捜査局（FBI）、 MS-ISAC（Multi-State ISAC）の共同）から、DDoS攻撃に対するガイダンス「Understanding and Responding to Distributed Denial-of-Service Attacks」が公開されました。 業務でAWSに触れる機会が多いので、この機会にAWSにおけるDDoS攻撃対策を調査したいと思いました。 そこで今回は、AWS WAF、GuardDutyを有効活用できていないAWS上のWebアプリケーションに対してDDoS攻撃を受けた際に、対策となるリソースを追加するためのCloudFormationテンプレートや後続作業を調査しましたので、紹介
CloudWatch Logsの料金が高い原因はコレだった。CloudTrailとの微妙な関係 - クラウドワークス エンジニアブログ
こんにちは。crowdworks.jp SREチームの田中（kangaechu）です。先日RubyKaigi2023に参加するため、松本に行きました。街を歩いていると目線の先に山が見えたり、温泉が近くにあったりなど松本の自然が近くにある感じがとてもよかったです。ちょっと住みたくなって不動産屋さんで家賃を眺めたりしておりました。 今回は小ネタとして、AWSのCloudWatchの料金が高くなったことで見つけたCloudTrailの設定についてです。 あなたのCloudWatch LogsとCloudTrailの料金、高くないですか？ 先日、AWSのコスト異常検知サービスのCost Anomaly Detection からCloudWatchとCloudTrailのコストが跳ね上がっているとの通知が来ました。 Cost Anomaly Detectionで通知されたCloudWatchとClo
定期実行するLambdaが「起動しなかったこと」を検知するCloudWatch Alarmを作る | DevelopersIO
Lambdaを定期実行する仕組みをよく作ります。 1時間に1回起動する 1日に1回起動する これらのLambdaが「起動しなかった場合」に通知が欲しくなったので、CloudWatch Alarmを作ってみました。 実際にLambdaが起動しない事象に遭遇したことは無いですが、このAlarmがあると、「ちゃんと起動しているよね？」というモヤモヤが解消されます。万が一に気づける保険ですね。 おすすめの方 定期実行するLambdaが「起動しなかった場合」のCloudWatch Alarmを作りたい方 定期実行するLambdaとCloudWatch Alarmを作成する sam init sam init \ --runtime python3.8 \ --name Lambda-No-Start-Alarm-Sample \ --app-template hello-world \ --pack
AWS STS でリージョナルエンドポイントの利用が推奨されるとはどういうことか | DevelopersIO
AWS STS のサービスエンドポイントとしてグローバルエンドポイントとリージョナルエンドポイントがあります。デフォルトではグローバルエンドポイントが使用されますが、リージョナルエンドポイントの使用が推奨されています。一体それはどういうことなのか、整理してみます。 コンバンハ、千葉（幸）です。 AWS Security Token Service (STS) は、一時的な認証情報を提供するサービスです。 AWS STS に対して一時的な認証情報払い出しのリクエストを行う際、リクエスト先となる AWS サービスエンドポイントには以下の2種類があります。 グローバルエンドポイント リージョナルエンドポイント デフォルトでは前者のグローバルエンドポイントが使用されるものの、後者のリージョナルエンドポイントの利用を推奨する、という記述が各種ドキュメントにあります。 👇 デフォルトでは、AWS S
ChatGPTがコーディング支援を強化。コードエディタ機能を統合、コードレビューやデバッグ、他言語への移植ツールなどを含む新機能「Canvas」が登場
ChatGPTがコーディング支援を強化。コードエディタ機能を統合、コードレビューやデバッグ、他言語への移植ツールなどを含む新機能「Canvas」が登場 OpenAIはChatGPTの新機能「Canvas」を発表しました。 ChatGPTはさまざまな指示や依頼にAIが対応する汎用目的で使えるサービスですが、新機能「Canvas」は特に文章の作成とコードの作成においてChatGPTをより生産的なツールとして使えるような機能を提供しています。 When writing code, canvas makes it easier to track and understand ChatGPT’s changes. It can also review code, add logs and comments, fix bugs, and port to other coding languages l
How an empty S3 bucket can make your AWS bill explode
Update 7.05.2024 The S3 team is working on a fix: https://twitter.com/jeffbarr/status/1785386554372042890 Imagine you create an empty, private AWS S3 bucket in a region of your preference. What will your AWS bill be the next morning? A few weeks ago, I began working on a PoC of a document indexing system for my client. I created a single S3 bucket in the eu-west-1 region and uploaded some files th
If you're already somewhat familiar with promises, here are some shortcuts to save you some precious scrolling time. Introduction When writing JavaScript, we often have to deal with tasks that rely on other tasks! Let's say that we want to get an image, compress it, apply a filter, and save it 📸 The very first thing we need to do, is get the image that we want to edit. A getImage function can tak
Beyond exception handling, there's something else I see people struggling with, which is logging. Most people don't know what to log, so they decide to log anything thinking it might be better than nothing, and end up creating just noise. Noise is a piece of information that doesn't help you or your team understand what's going on or resolving a problem. Furthermore, I feel people are uncertain ab
AWSの基礎を学ぼう 特別編 最新サービスをみんなで触ってみる 〜Amazon Route 53 Resolver DNS Firewall〜 ハンズオン手順 #awsbasics | DevelopersIO
はじめに 今回は2021年7月31日に開催されました「AWSの基礎を学ぼう 特別編 最新サービスをみんなで触ってみる 〜Amazon Route 53 Resolver DNS Firewall 編〜」のハンズオン資料として本記事を投稿しています。 「AWSの基礎を学ぼう？ナニソレ？」 という方は、以下の記事をあわせてお読みいただけると幸いです。 Amazon Route 53 Resolver DNS Firewall Amazon Route 53 Resolver は VPC 用の DNS サーバーとして提供されています。これらの IP アドレスは予約されており、以下のアドレスが使用されます。 169.254.169.253 VPC IPv4 ネットワーク範囲に +2 したアドレス（例：192.168.0.0/24の場合、192.168.0.2） Amazon Route 53 Re
コスト削減成功！Amazon Auroraの監査ログをS3に保存する仕組みを構築した話 - Classi開発者ブログ
こんにちは。プロダクト本部Growth部でエンジニアをしている id:ruru8net です。 前回はこちらの記事を書かせていただきました。 tech.classi.jp 今日は前述したSRE留学中にやったことの中の「Amazon Auroraの監査ログをCloudWatch Logsを経由せずS3に保存する」を紹介したいと思います。 前提 前掲の記事にもある通り、弊社のAWSにかかっているコストを調査したところCloudWatch Logsの特にAmazon RDSの監査ログの保存にコストがかかっていることがわかりました。今回は弊社で最も使用しているAmazon AuroraのMySQLのみを対象として、監査ログをCloudWatch Logsを経由せずS3に保存する仕組みを作成しました。 作成した仕組み こちらのオープンソースの仕組みを参考に構築、またLambdaのソースを使いました。
こんにちは、ティアフォーでSREを担当している宇津井です。 2019年9月にSite Reliability Engineering(SRE)として入社して以来行ってきたことをざっと振り返った上で、自動運転の社会実装においてWeb系のエンジニアには何が求められるのかという答えを探っていきたいと思います。スタートアップ企業でどのようにSREの文化を作っていくのかという面でも何かの参考になるのではないかと考え筆を取っています。 と言いつつも重要なことなので最初に書いておきますが、ティアフォーのSREは私が一人目で入社して以来専任としてはずーっと一人でその役割を担ってきました。ようやく一緒に働く方を募集できる状態になりました。そのような背景もあってこのエントリーを書いています。もしご興味がある方は以下のCareersページからご連絡をお待ちしております。 tier4.jp ※SRE編とタイトルに
この記事は GMOアドマーケティングAdvent Calendar 2021 25日目の記事です。 はじめに こんにちは、GMOアドマーケティングの星野です。 今年のアドベントカレンダーも本日で最後となりました。 アドベントカレンダーを書いていると今年も終わりということを感じます。 GMOアドマーケティングではいくつかのプロダクトをGCPへと移行をしています。 移行では障害を起こさないことが優先されますが、最終的には単に移行するだけではなく、システムをクラウドネイティブな設計に変えていくことで、クラウドの恩恵を最大限に受けれるように改善していきたいと思ってます。 既存のシステムをクラウドネイティブな設計に変えていくにはコンテナ化が必要になります。 コンテナ化を行う際の設計指針の一つにコンテナ・デザインパターンというものがあります。 今回は、書籍の分散システムデザインパターン からいくつかの
参考 おさらい runc architecture file main.go and command process runc create setupSpec startContainer linuxContainer LinuxFactory createContainer CreateLibcontainerConfig loadFactory factory.Create runner.run newProcess linuxContainer.Start newParentProcess parentProcess.start() runc init nsenter nsexec runc init(After nsexec) linuxStandardInit.Init runc start 低レベルコンテナランタイムruncの内部処理のまとめです。 参考 2021/05現在:
はじめに 2015年からAWSを本格的にさわりはじめ、7年たってようやく11冠達成したのでログとして情報を残しておきます。 マイ認定取得ヒストリー 資格取得のメリット 資格取得のデメリット 資格なんてという人に マイ勉強法 効率のよい取得の順番 スペシャリティ試験のポイント Security 概要 セキュリティに関するサービス全般をおさえたうえで、セキュリティ環境を実現する保護のメカニズム、ソリューション、トラブルシューティングの知識が求められる試験。 試験のポイント 頻出：IAM/S3/KMS/CloudTrail/Inspector/GuardDuty/Trusted Advisor など セキュリティはクラウドならではの非機能要件であること、SAPで求められる知識の範囲と重なっていてSAPでもセキュリティに関する問題はよく出題されることから、SAPより先に取っておく or SAPのす
オブザーバビリティ（可観測性）とは何か？を学べる「Distributed Systems Observability」を読んだ - kakakakakku blog
2019年頃から「オブザーバビリティ (Observability)」もしくは「可観測性」という言葉をよく聞くようになった（本記事では「オブザーバビリティ」という表記に統一する）．「マイクロサービス」と同じように「バズワード」の側面があり「オブザーバビリティとは何か？」という質問に対して様々な回答が考えられると思う． 今回は「オブザーバビリティ」の理解を深めるために「Distributed Systems Observability」を読んだ．本書は O'Reilly Media で読むこともできるけど，Humio のサイトから無料でダウンロードすることもできる（メールアドレス登録は必要）．著者は Cindy Sridharan となり，肩書は「Distributed Systems Engineer」と書いてあった． www.humio.com 目次 本書には「オブザーバビリティ」をテー
Web アクセシビリティに興味があったので、まず機械的なチェックツールから学んで知識を増やそうということでこのサイトに @axe-core/playwright と markuplint を導入してみました。 @axe-core/playwright のセットアップ 既に Playwright が導入されている状況を想定し進めます。まず@axe-core/playwright をインストールします。 pnpm add -D @axe-core/playwright このサイトの場合 VRT として Playwright を動かしているテストがあるので(過去資料)、そのプロセスに同居する形で axe を実行することにしました。 e2e.test.tsimport AxeBuilder from "@axe-core/playwright"; import type { Page, TestI
New – Real-User Monitoring for Amazon CloudWatch | Amazon Web Services
AWS News Blog New – Real-User Monitoring for Amazon CloudWatch Way back in 2009 I wrote a blog post titled New Features for Amazon EC2: Elastic Load Balancing, Auto Scaling, and Amazon CloudWatch. In that post I talked about how Amazon CloudWatch helps you to build applications that are highly scalable and highly available, and noted that it gives you cost-effective real-time visibility into your
MySQL 8.4 LTS登場！！
記事を書くのが遅くなってしまったが、先日MySQL 8.4シリーズが登場したので紹介をしておこうと思う。新機能の解説については機会を改めて書くとして、今回は主にアップグレードにまつわる重要なポイントを書き記しておく。 LTS = Long Term Support 以前の記事でも紹介した通り、MySQL 8.4はLTS = Long Term Supportのバージョンとなっている。長期間サポートするために互換性を最大限保証するバージョンである。前のメジャーバージョンであるMySQL 8.0シリーズのように、シリーズの途中で互換性が破壊されるような変更が入ることは基本的に無い。「バグ修正のためにどうしても仕様を変えなければならない」というような事態が生じる可能性はゼロではない。なので絶対に互換性が保たれるとは言い切れないところであるが、基本的には仕様変更はない方向で今後リリースされていくこ
PCI DSS対応 AWS 上の踏み台サーバーでの操作ログ取得、MFA、アイドルタイムアウトを実現 | DevelopersIO
PCI DSS に対応すべく Linux サーバーの操作履歴を S3 へ保存する、ログイン時に MFA を使用する、アイドルタイムアウトを実装する方法を紹介します。 こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな ネクストモード株式会社 の吉井です。 AWS 上の踏み台サーバー (ここでは Amazon Linux 2 を想定しています) での操作履歴を S3 へ保存する、ログイン時に MFA を使用する、アイドルタイムアウトを実装する方法を紹介します。 PCI DSS の関連して以下のような要件があり、これを実現するために考えた方法です。 ssh ログインは Google Authenticator を利用した二要素認証にしたい ssh ログイン後の操作ログ(コマンドログ)を保管したい 踏み台サーバーから更に業務サ
Amazon LinuxのEOLに伴いバッチをサーバレス化しFargateに移行した話 - クラウドワークス エンジニアブログ
はじめまして、2020年3月に中途入社したSREチームの @bayashiok です。 今回は入社後、Fargateでサーバレスバッチ基盤を構築した話を書いていきます。 目次 目次 経緯 Fargateを選んだ理由 1. リソースの見積もりがCPU/Memoryだけですむ 2.スケーリングを考えなくて良くなる 3. セキュリティレベルの向上につながり管理負荷が減る 現行システムで発生している問題点の解消 構成 FargateのトリガーとしてRundeckを採用 理由1： バッチ実行が行われる場所でログを見たかった 理由2： ジョブ失敗やSlack通知の仕組み、リトライ方法やジョブ連携などの作り込みを簡単にしたかった ecs-taskとの連携について デプロイ 1. wrapperコンテナのデプロイ 2. バッチのデプロイ Fargateタスク実行について 移行後の総括 よかった点 悪かった
【CI/CD for Amazon ECS】ECSへの自動デプロイの流れをまとめてみた - サーバーワークスエンジニアブログ
こんにちは。AWS CLIが好きな福島です。 はじめに 今回は、以下のハンズオンを実施したため、ハンズオンの内容を基にCI/CD for Amazon ECSの自動デプロイの流れをまとめてみます。 ◆AWS CI/CD for Amazon ECS ハンズオン https://pages.awscloud.com/rs/112-TZM-766/images/AWS_CICD_ECS_Handson.pdf また、以下のブログを読んだ後に本ブログをお読みいただくと良いかと存じます。 https://blog.serverworks.co.jp/cicd-ecs-build-deploy-files 概要図 流れの説明 ①コードのPush ローカルや開発環境で開発したコードをCodeCommitにPushします。 ②CodeCommitへのPushを検知し、CodePipelineが起動 Co
私のシンプルCursor活用方法｜ニケちゃん
こんにちは、ニケです。 皆さん、Cursor 使っていますでしょうか？ 私はそろそろ使用歴1年半くらいになります。 5ヶ月前にこんな記事を書いたのですが、AI時代のコーディングアシスタントの進化は早く、今はもうこの時とは全く異なる使い方をしているので改めて紹介したいと思います（一部被っている内容もあります）。 なお、AIコーディングアシスタントにはその他にも、Github CopilotやCline、Windsurfなどがありますが、これらのコーディングツールはCursorほど使ったことがないため、今回の記事では紹介・比較はしません。 XのTLでもいろんな宗派を見かけるので、「どれを使ったら一番楽できるんだ？」とは考えずに、取り敢えず一つのエディタ・ツールを使い倒すことをオススメします。 ⚠ 以降で紹介する方法は個人的にハマっている方法なので、これがベストではないです。１つの参考として見て
Observabilityをはじめよう！(前編) 〜Observabilityの背景と構成要素〜 | さくらのナレッジ
はじめに 仲亀と申します。さくらインターネットでエバンジェリストやインフラエンジニアをしています。エンジニアとしてはシステムの監視まわりの仕事をしています。最近は、今回もご紹介するPrometheusとかGrafana Lokiとか、あの辺が結構好きで触っています。 この記事では、監視について興味をお持ちの皆さんに向けて「Observabilityをはじめよう！」ということで、Observabilityの概念や、それが必要となる背景を少し説明した上で、Observabilityを実現するための要素となる、MetricsやLogsやTracesなどをどこから始めていけばいいんだろう、といったところをご紹介していこうと思います。 この記事のゴールとしては、皆さんに「Observability完全に理解した」と言っていただけたらいいかなと思っています。しかし、この記事を読んだだけですぐに皆さんの
長くなりそうなので、先に要点だけ。 Twitterで 先日の「RDSの方がAuroraより速いケース」の件、とりあえず調べたい範囲のベンチマーク取れた。元記事って2000万件*5=1億件を1クライアントで処理してるのな。で、普通に？HammerDB TPC-Cで多重度上げてもRDSが速いケースがないか調べた。— atsuizo (@atsuizo) 2022年4月7日 に連なる一連のツイートに結構反応があったので、ブログにもまとめておきます。 RDS PostgreSQLの方がAurora PostgreSQLより速いぜ！って記事を見かけたけど、大量データを1クライアントで流し込む試験の結果だった。 複数クライアントからのOLTPワークロードでもRDSの方が速いパターンってあるのかな？TPC-Cで試してみよう！ インスタンスのサイズ（vCPU）と同時実行数によって、RDSの方が速いケース、
MOCO - Kubernetes 用 MySQL クラスタ運用ソフトウェア - Cybozu Inside Out | サイボウズエンジニアのブログ
サイボウズの Kubernetes 基盤を開発している Neco プロジェクトの ymmt です。 サイボウズ製品のほとんどはデータベースとして MySQL を採用しています。 現在 400 を越える MySQL のインスタンスを運用しており、これら全てを新しい Kubernetes 基盤に移行していく予定です。 Kubernetes 上でアプリケーションやミドルウェアの運用を自動化するソフトウェアのことをオペレーターと言います。 大量の MySQL インスタンスを Kubernetes 基盤に移行するにはオペレーターが必須であると考え、技術顧問の @yoku0825 さんの監修の下で MOCO というソフトウェアを開発しオープンソースライセンスで公開しました。 本記事では Kubernetes 上の MySQL オペレーターの状況と、開発した MOCO の機能を詳細に解説いたします。 M
id:mizdra は eslint-interactive というツールをメンテナンスしています。このツールを使うと、多数の ESLint エラーを効率的に修正できます (詳しくは以前書いた記事を見てください)。 www.mizdra.net eslint-interactive では「中規模〜大規模なコードベースであってもキビキビ動く」を大事にしてます。その一環として、eslint-interactive には CI (GitHub Actions) でベンチマークを取り、以前から大きく劣化していたら CI を fail させる仕組みがあります。 https://github.com/mizdra/eslint-interactive/actions/workflows/benchmark.yml?query=is%3Afailure しかし CI で実行するためにノイズが大きく、よく
GitHub - adobe/frontend-regression-validator: Visual regression tool used to compare baseline and updated instances of a website in a deployment pipeline.
FRED is an opensource visual regression tool used to compare two instances of a website. FRED is responsible for automatic visual regression testing, with the purpose of ensuring that functionality is not broken by comparing a current(baseline) and an updated version of a website. FRED compares the following: Console and network logs Visual: screenshot analysis Visual AI: screenshot analysis using
📕 この Zenn Book について LocalStack はローカル環境や CI 環境で実行できる AWS エミュレーターです。この Zenn Book は、LocalStack に実践的に入門するワークショップです。LocalStack の基礎から LocalStack を使った AWS アプリケーション開発（Python コード実行・pytest 単体テスト実行）まで体験できます。 🚀 環境構築不要 ワークショップでは GitHub Codespaces を使うため、ラップトップ上に環境構築をする必要がなく、ブラウザですぐに試せます。 ⭐️ 登場する AWS サービス（順不同） ・Amazon SQS ・Amazon S3 ・AWS CloudFormation ・AWS SAM ・AWS Lambda ・Amazon CloudWatch Logs ・Amazon API G
個人開発でもRDB系が使いたくて、いろんなサービスを調べてみた(Turso/TiDB etc.) - くらげになりたい。
普段、Cloud Firestoreを使っているけど、 リレーションが多くなってくると、やっぱりつらくなる。。。 RDBをつかいたいなと思い、いろいろ調べてみた備忘録(*´ω｀*) ドキュメントや関連記事ベースのみで、価格メインの調査 まとめ: Turso/TiDBがよさそう Turso(SQLite) 無料プラン: Total 9GiB storage / Point-In-Time Restore 1days / 3 Locations Hobby $8.25 Free + No Cold Starts / Point-In-Time Restore 10days / Audit Logs 3days / Databases Never Archived Scaler $24.92 Hobby + Support for Teams / Total 24GiB storage / Po
New – A Shared File System for Your Lambda Functions | Amazon Web Services
AWS News Blog New – A Shared File System for Your Lambda Functions July 1, 2020: Post updated to take care that Amazon EFS increased file system minimum throughput, when burst credits are exhausted, to 1 MiB/s. I am very happy to announce that AWS Lambda functions can now mount an Amazon Elastic File System (Amazon EFS), a scalable and elastic NFS file system storing data within and across multipl
ISUCON 14: ClickHouse と OpenTelemetry で ISUCON の計測環境を作ったら快適だった - Unyablog.
ISUCON 14 に id:utgwkk, id:wass80 と「ミレニアムサイエンススクール」というチーム名で参加した。 結果は 28875 点で 22 位！去年は fail して最下位だったので反省を活かすことができたのでは？ 一昨年に Kibana / Elasticsearch / Filebeat で解析環境を組んでサクセスしていたが、今年は OpenTelemetry (Otel) をベースにモニタリング環境を作り直し、バックエンドは ClickHouse、フロントは Grafana の構成でやってみた。これがなかなか良かったので紹介。 コンテスト当日のアプリ改善周りは utgwkk の記事を見てください。 blog.utgw.net 序: ISUCON で必要な計測 ISUCON ではパフォーマンスを継続的に確認してボトルネックを探しながら改善していくのが王道ルート。 イ
ECSを運用していくにあたり、気をつけておいたほうがよいことや改善ポイントがギュッと濃縮されたウェビナーでした。これからAWS上でコンテナワークロードを展開することを考えている全ての人にオススメな内容です。 みなさん、AWS INNOVATE視聴しましたか？ AWS Innovate オンラインカンファレンス | 2020 年 3 月 10 日 (火) 〜 4 月 17 日 (金) 開催 AWSの中の人が、幅広い分野で最新のクラウド事情を解説してくれるオンラインカンファレンスです。コロナウィルスの影響でなかなかリアルなイベントに参加する機会が難しくなりましたが、こういったオンラインで参加できるように設計されたカンファレンスはこの時期非常にありがたいですね。 いろんな分野がセッションあるのですが、自分は「実践的 AWS コンテナ運用ガイド -モニタリング、ロギング、デプロイ、スケーリングの実
C# Advent Calendar 2021の参加記事となっています。去年は2個エントリーしたあげく、1個すっぽかした（！）という有様だったので、今年は反省してちゃんと書きます。 スクレイピングに関しては10年前にC#でスクレイピング:HTMLパース(Linq to Html)のためのSGMLReader利用法という記事でSGMLReaderを使ったやり方を紹介していたのですが、10年前ですよ、10年前！さすがにもう古臭くて、現在ではもっとずっと効率的に簡単にできるようになってます。 今回メインで使うのはAngleSharpというライブラリです。AngleSharp自体は2015年ぐらいからもう既に定番ライブラリとして、日本でも紹介記事が幾つかあります。が、いまいち踏み込んで書かれているものがない気がするので、今回はもう少しがっつりと紹介していきたいと思っています。それと直近Visual
【連載】世界一わかりみが深いコンテナ & Docker入門 〜 その2:Dockerってなに？ 〜 | SIOS Tech. Lab
こんにちは、サイオステクノロジー技術部 武井(Twitter:@noriyukitakei)です。今回は前回に引き続き、Dockerについて、世界一わかりみが深い説明をしていこうと思っております。 7回シリーズでお届けする予定で、今回は第2回目となります。 その1：コンテナってなに？ 今回はこちら → その2：Dockerってなに？ その3：Dockerfileってなに？ その4：docker-composeってなに？ その5：Dockerのネットワークってどうなってるの？ その6：Dockerのファイルシステムってどうなってるの？ その7：実践！！Dockerでアプリケーション開発！！(執筆中) 前回のブログでご紹介させていただきましたように、コンテナを作成するためには、namespaceの作成とか、コマンドやライブラリのダウンロードなど、色々とめんどくさいことが必要なのですが、これらは
概要 当時数ヶ月間誰も原因がわからなかった一時的にRDSの負荷（CPU使用率）がスパイクする現象の原因を調査できる環境を整えて、原因分析〜改善まで実施したときの話です。 1つ1つの取り組み自体は大きなことはやっていませんが、一連の動きで得られたものも多かったのでアウトプットしようと思い記事にまとめました。 取り組んだ課題 原因を特定するためのツールがない そもそも何が原因でRDSのCPU負荷が高まっているのかを調べるための情報がCPU使用率以外に全くない状況でした。 そこでRDSの負荷原因を探る方法を調べると、Performance InsightsやCloudWatch Logsへのスロークエリログ出力を使う記事をいくつか見つけたのでこの2つについて調べることにしました。 Performance Insights データベース負荷をSQLなどの単位で時系列で可視化したり、トップSQLやD
Amazon Aurora MySQL 3 with MySQL 8.0 compatibility is now generally available | Amazon Web Services
AWS Database Blog Amazon Aurora MySQL 3 with MySQL 8.0 compatibility is now generally available Amazon Aurora is a MySQL and PostgreSQL-compatible relational database built for the cloud. Aurora combines the performance and availability of traditional enterprise databases with the simplicity and cost-effectiveness of open-source databases. Amazon Aurora MySQL is compatible with MySQL 5.6 and MySQL
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NestJS + Prisma + Cloud Run + Cloud SQLを試す
AWS CloudWatchシリーズでアプリを監視する
⭐️🎀 JavaScript Visualized: Promises & Async/Await
Logging in Python like a PRO 🐍🌴
自動運転を支えるWeb技術 - 信頼性への取り組み (SRE編) - TIER IV Tech Blog
クラウドネイティブな設計の1歩目〜コンテナ・デザインパターン〜
Low-level Container Runtime:Runc Internals - 鳩小屋
【11冠達成記念】AWS認定資格の勉強法について(スペシャリティ中心に) - Qiita
axe-core/playwrightとmarkuplintを導入しアクセシビリティの自動テストをできるようにした
RDSがAuroraより速い！？について調べてみた - なからなLife
CPU シミュレータを用いて継続的ベンチマークを安定化させる - mizdra's blog
LocalStack 実践入門 | AWS アプリケーション開発ワークショップ
ECSの実践的コンテナ運用基礎を凝縮された30分ウェビナーで学ぶ | DevelopersIO
neue cc - .NET 6とAngleSharpによるC#でのスクレイピング技法
原因不明だったRDS負荷のスパイクを改善できた話 - Qiita