ElastiCacheのスケールアップは本当にダウンタイムなしでできるのか検証してみた！ #reinvent | DevelopersIO
ElastiCacheのスケールアップは本当にダウンタイムなしでできるのか検証してみた！ #reinvent こんにちは(U・ω・U) 着々とElastiCacheおじさんへの道を歩んでいる深澤です。 立派なElastiCacheおじさんに成長することを決意したラスベガスでの出来事でした。 — 深澤俊 (@shun_quartet) December 4, 2019 さて、僕はそんなラスベガスで開催されたre:Invent 2019にて「Whatʼs new with Amazon ElastiCache」というセッションに参加してきました。 このセッションでElastiCacheクラスタは 「Redisはオンラインでのスケールアップが行えるようになった」 と聞きました。ですがこれはどの程度のレベルなのか気になりますよね。もしミリ秒単位でアクセスを捌いているようなシビアな環境だったらこの問
How we found and fixed a rare race condition in our session handling
EngineeringSecurityHow we found and fixed a rare race condition in our session handlingOn March 8, we shared that, out of an abundance of caution, we logged all users out of GitHub.com due to a rare security vulnerability. We believe that transparency is… On March 8, we shared that, out of an abundance of caution, we logged all users out of GitHub.com due to a rare security vulnerability. We belie
こんにちは。Wantedly Infrastructure Squad 所属の @irotoris です。 Wantedly Visit を始めとする Wantedly のサービスのバックエンドシステムはほぼ全て Kubernetes クラスタの上で動いています。今まで kOps という OSS を使って AWS の EC2 インスタンス上に Kubernetes クラスタを自前で構築運用していましたが、2022年6月に AWS の Kubernetes Managed Service である Amazon Elastic Kubernetes Service (EKS) に移行しました。 この記事では Wantedly と Kubernetes の歴史を振り返るとともに、なぜ EKS に移行したか、移行した結果どうだったかをお伝えします。 目次 Wantedly システム基盤としての K
Amazon Web Services ブログ AWS WAF のログ分析に関する考慮事項 2022年11月 アップデート: マネージドルールグループ内のルールに個別に Action を設定できるようになりました。その結果、 “EXCLUDED_AS_COUNT” ではなく “COUNT” としてログ出力できるようになりました。 新たなルールの Action として、Challenge が追加されました。 本記事は、2022年11月のアップデート以前のログの仕様に基づいています。最新の情報はデベロッパーガイドを参照ください この投稿では、AWS ウェブアプリケーションファイアウォール (AWS WAF) を初めて利用される方が 、ログ分析にあたって考慮すべき事項について説明します。 WAF のログは、攻撃検知の分析やチューニングには欠かせないものです。ログの分析ではウェブ ACL に設定し
It’s no secret that observability costs are top of mind for many organizations in the post-zero interest rate phenomenon (ZIRP) era (see here, here, and here for example discussions, though similar sentiments can be found far and wide). Organizations are frustrated with the percentage of infrastructure spend (sometimes > 25%!) allocated towards logging, metrics, and traces, and are struggling to u
Best practices for collecting and managing all of your multi-line logs
Looking for Datadog logos? You can find the logo assets on our press page.
[アップデート]Amazon SESのVirtual Deliverability Managerでメール個別の送信イベントが閲覧できるようになりました | DevelopersIO
[アップデート]Amazon SESのVirtual Deliverability Managerでメール個別の送信イベントが閲覧できるようになりました 初めに これまでAmazon SESのVirtual Deliverability Manager(以降VDM)ではメールの配信に関して全体の受信イベント毎比率やIPS毎の到達率といった統計情報は見ることができましたがより詳細なログを確認する場合は送信イベントを別に記録する必要がありました。 これにより以前紹介したようなメールログの保持のために別のサービスを構築せずとも一定期間(最長30日)であればAmazon SESの機能内かつマネジメントコンソールでメール未着のトラブルシュートやエンゲージメント調査ができるようになります。 おそらくAmazon SES使ってる多くの人がこの機能が欲しかったんだというもので設定必須レベルものです。 これ
![[アップデート]Amazon SESのVirtual Deliverability Managerでメール個別の送信イベントが閲覧できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/dc7b169c31f578b497e4c85d122a88c24b6c46ba/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-ses.png)
本記事は、Gunosy Advent Calendar 2020 7日目の記事です。 前回は、しゅんけー君の「その実験、再現できますか？pyenvとpoetryによる “そんなに頑張らない” 再現可能な実験環境構築」でした data.gunosy.io はじめに 前提条件 目指すクラスター像 使用するサービス・ツール類 K8Sを使う上での心構え 環境設計編 環境設計 リポジトリ クラスター構築・前編（EKSクラスター） クラスター構築・中編（ASG） ASG or Fargate ASG spotインスタンス はじめに Gunosyの大関と申します。いくつかのEKSクラスターとクラスター上で稼働するサービスの開発運用を、基盤レイヤーを中心に担当しています。 昨年のadvent calendarでは、こんな記事を書いていました。 tech.gunosy.io さて、今年一年で社内の様々なサー
この記事は毎週必ず記事がでるテックブログ "Loglass Tech Blog Sprint" 44 週目の記事です！1 年間連続達成まで残り 9 週となりました！ はじめに はじめまして、2024 年 4 月にログラスにジョインしたエンジニアの石畑です。 まだまだドメインやシステムについて学んでいる最中なのですが、その中でアラート監視・運用周りをより良くできそうだったので、試行錯誤したことをまとめたいと思います。 どんな課題があったのか？ ログラスではフロントエンドからバックエンド、インフラに至る全てのログ・メトリクスが Datadog に集約され、横断的に分析・監視できる仕組みが整っています。アラートも Datadog でモニタリングを作成し、「Slack に通知 → ローテションのオンコール担当が対応」という体制が作れています。 しかし、歴史的に積み重なったモニタリングが過剰にアラー
ServerlessDays Tokyo 2019 参加報告 - カンファレンス編 | NTT Communications Developer Portal
ネットワークサービス部 伊藤(@yoshiya_ito)です。10/21-22の2日間で開催された ServerlessDays Tokyo 2019 カンファレンスに参加・登壇しましたので、その模様をご紹介します。 ServerlessDaysとは？ ServerlessDaysは、サーバーレスアーキテクチャを用いたシステムの構築・運用における経験の共有を目的とした、コミュニティ主導でベンダーニュートラルな技術カンファレンスです。 https://tokyo.serverlessdays.io/ 日本におけるServerlessの年次カンファレンスは、これまでServerlessconf Tokyoが2016年から開催されていましたが、今年から東京以外の都市での開催の要望から、SeverlessDaysに変更となっております。 もともとServerlessDaysはJeffConfという
PostgreSQL 15 Released!
October 13, 2022 - The PostgreSQL Global Development Group today announced the release of PostgreSQL 15, the latest version of the world’s most advanced open source database. PostgreSQL 15 builds on the performance improvements of recent releases with noticeable gains for managing workloads in both local and distributed deployments, including improved sorting. This release improves the developer e
Binary Authorization 信頼できるコンテナのみを Kubernetes Engine にデプロイ。 Binary Authorization は、Google Kubernetes Engine（GKE）に信頼できるコンテナ イメージのみがデプロイされることを保証するデプロイ時のセキュリティ管理サービスです。Binary Authorization を使用すると、開発プロセス時に、信頼できる機関によるイメージへの署名を必須にして、デプロイ時にその署名を検証する過程を導入できます。検証プロセスを適用することで、適切であると認められたイメージのみがビルドとリリースのプロセスに統合されるため、コンテナの環境をより厳密に制御できます。 <機能> ポリシーの作成 ポリシーの検証と適用 Cloud Security Command Center の統合 監査ログ Cloud KMS
![[GCP] GCPサービスを勝手にまとめてみた(セキュリティ編) - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/5f720c3b5b0f0d56f60aa6c407b53deeb251dff5/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9JTVCR0NQJTVEJTIwR0NQJUUzJTgyJUI1JUUzJTgzJUJDJUUzJTgzJTkzJUUzJTgyJUI5JUUzJTgyJTkyJUU1JThCJTlEJUU2JTg5JThCJUUzJTgxJUFCJUUzJTgxJUJFJUUzJTgxJUE4JUUzJTgyJTgxJUUzJTgxJUE2JUUzJTgxJUJGJUUzJTgxJTlGJTI4JUUzJTgyJUJCJUUzJTgyJUFEJUUzJTgzJUE1JUUzJTgzJUFBJUUzJTgzJTg2JUUzJTgyJUEzJUU3JUI3JUE4JTI5JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1hOWRmZDc3NTY1N2VhM2VlYjY5ZjRmMzM3NjVmZTgzNw%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwcmlzYTAzMjAmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWZhMjA1YjhiYzdmZDI4ZWQxMTAzOTQxY2FhOTdhOGNm%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D33fd281ebf20cb864cb33b5d20d538af)
Introducing Dispatch
By Kevin Glisson, Marc Vilanova, Forest Monsen Netflix is pleased to announce the open-source release of our crisis management orchestration framework: Dispatch!Okay, but what is Dispatch? Put simply, Dispatch is: All of the ad-hoc things you’re doing to manage incidents today, done for you, and a bunch of other things you should’ve been doing, but have not had the time! Dispatch helps us effectiv
Container Linuxの後継となる新たなコンテナ向けOS「Fedora CoreOS」 | さくらのナレッジ
たとえば、インストール先として/dev/vdaを指定し、Ignitionの設定ファイルのURLが「http://192.0.2.100:8080/container/simple.json」、イメージファイルが「http://192.0.2.100:8080/container/fedora-coreos-31.20191127.1-metal.x86_64.raw.xz」の場合、次のようにcoreos-installerを実行すれば良い。 # /usr/libexec/coreos-installer -d vda -i http://192.0.2.100:8080/container/simple.json -b http://192.0.2.100:8080/container/fedora-coreos-31.20191127.1-metal.x86_64.raw.xz ちなみに
[アップデート]AWS Lambdaでロギング設定を制御できるようになりました | DevelopersIO
こんにちは、つくぼし(tsukuboshi0755)です！ AWS Lambdaのロギング設定を制御できるようになったというアップデートがあったので、今回試してみます！ 何が嬉しいか 今までCloudWatch Logsに対するLambdaのロギング設定は、以下がデフォルトで固定され、変更できないようになっていました。 ログ形式：Text ログレベル：なし ロググループ名：/aws/lambda/<関数名> ※なおログ形式については、今までもPowertoolsを使用すればJSONに変更可能でした。 上記3点について、今回のアップデートによりLambdaのコンソールまたはAPIを通じて柔軟に設定できるようになりました！ 試してみる それではどのようにログ設定を変更できるようになったか試してみましょう。 公式では以下のブログで使い方が紹介されています。 上記のブログはLambdaのランタイム
![[アップデート]AWS Lambdaでロギング設定を制御できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/3f047ea142eff06ac03d91ff00ec5d6bf61e4284/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Faws-lambda.png)
Serverless Dashboardを使って爆速でCICD環境をセットアップ #pytest | DevelopersIO
Serverless Framework DashboardのCICD機能を使ってデプロイパイプラインを構築する方法をご紹介します。 Serverless Frameworkのダッシュボードがあるのを最近知って使ってみました。 かなり使い心地が良くて画面上からサクッとCICD環境を作成できたので、この記事で手順を残しておきます。 今回はデプロイ先はAWSでブランチ毎にAWSアカウントを切り替える、ランタイムはPythonでpytestをデプロイ前に実行する、という構成にしていきます。 環境 Serverless Framework Framework Core: 2.2.0 Plugin: 4.0.4 SDK: 2.3.2 Components: 3.1.4 Python: 3.8.5 Pipenv: 2020.8.13 pytest: 6.0.2 moto: 1.3.16 セットアップ
Hello! Today I asked on twitter about newer command line tools, like ripgrep and fd and fzf and exa and bat. I got a bunch of replies with tools I hadn’t heard of, so I thought I’d make a list here. A lot of people also pointed at the modern-unix list. replacements for standard tools ripgrep, ag, ack (grep) exa, lsd (ls) mosh (ssh) bat (cat) delta (a pager for git) fd (find) drill, dog (dig) duf (
[アップデート] CloudWatch Logs メトリクスフィルターでディメンションがサポートされました！ | DevelopersIO
[アップデート] CloudWatch Logs メトリクスフィルターでディメンションがサポートされました！ コンバンハ、千葉（幸）です。 CloudWatch Logs のメトリクスフィルターがディメンションをサポートしました！ Amazon CloudWatch Logs announces Dimension support for Metric Filters メトリクスフィルターで設定しているフィールドの値を、ディメンションとしてメトリクスとともにパブリッシュできるようになりました。（こう書くと何がなんやらですね。） 何ができるようになったのか イメージとしては以下です。 メトリクスフィルターにディメンションを設定できるようになり、メトリクスフィルターからパブリッシュされたメトリクスにディメンションを付与することができるようになりました。 特定の条件にマッチしたログが出力された際
![[アップデート] CloudWatch Logs メトリクスフィルターでディメンションがサポートされました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2cd56545af48138769ce47d03f22d7baac20b923/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-cloudwatch.png)
Lambdaで6MBを超えるデータをReturnできなかったので、S3のPre-Signed URLを使った話 | DevelopersIO
IoT機器からセンサーデータを収集しています。 そのセンサーデータをAPI Gateway(+Lambda)で扱おうとしたところ、Lambdaのレスポンス上限6MB(同期実行時)に引っかかりました。 そこで、対策としてS3バケットのPre-Signed URLを使ってみました。 おすすめの方 LambdaでPre-Signed URLを使いたい方 適当なデータを作成する サンプルデータ 下記のようなデータを作成します。 { "aaa": [ [1619600735000, 11.1], [1619600737000, 22.1], [1619600739000, 33.1] ], "bbb": [ [1619600735000, 11.2], [1619600737000, 22.2], [1619600739000, 33.2] ], "ccc": [ [1619600735000, 1
「その言語、 Cloud Run で実装してみない？」というテーマで喋りました #devio2021 | DevelopersIO
こんにちは CX事業本部 MAD事業部 の 田中 孝明 です。 DevelopersIO 2021 Decade という弊社オンラインイベントにて、「その言語、 Cloud Run で実装してみない？」というテーマでお話させていただきましたので、ご紹介します。 セッション概要 MAD事業部では以前から一部使われていた Google Cloud を本格的に利用しようという動きがあります。個人的に好きなサービスである Cloud Run を使った内容をお話しします。 動画 スライド Cloud Run を一言で Cloud Run は 2019年 にデビューした コンピュート に属するサービスです。 主な機能 Cloud Run は、マシンのプロビジョニング、クラスタの構成、自動スケーリングについて心配することがない、フルマネージドコンピューティング環境です。 更に、任意のプログラミング言語、
docker-compose ライセンスは、Apache License 2.0 1.29.2 (2021/05/10) docker-composeをインストールなしで使う Docker Compose UI ライセンスは、MIT License v1.13.0 (2018/05/21) docker-composeのWeb UI Composeファイルのフォーマットバージョンは、3.6まで対応 Dockerイメージ Docker Compose UIのリポジトリをフォークしてComposeファイルのフォーマットバージョン3.7対応版(Python 3.8、Flask 1.1.2、docker-compose 1.25.5、gitpython 2.1.15にバージョンアップ)を以下のリポジトリに置きました。 まだ動作確認が十分にできていませんが、Logs、Restart、yamlのedi
This all started with a blog post back in 2020, from a tech curiosity: what's the fastest way to scale containers on AWS? Is ECS faster than EKS? What about Fargate? Is there a difference between ECS on Fargate and EKS on Fargate? I had to know this to build better architectures for my clients. In 2021, containers got even better, and I was lucky enough to get a preview and present just how fast t
AWSでElasticsearch(Elastic Cloud)を使う時のポイント 2024年版（運用編1） - Taste of Tech Topics
こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAWS編の記事になります。 以下の構築編の記事でElastic Cloudを構築し、Security設定／認証設定を実施しました。 acro-engineer.hatenablog.com 本記事ではElastic Cloudを運用するにあたり、必要な各種設定を実施する手順を紹介します。 はじめに 1. Monitoring設定（Metric／Logs） 2. Snapshot設定 3. 監視設定 まとめ はじめに 以下本記事ではElastic Cloud(Elasticsearch
【ZOZOTOWNマイクロサービス化】API Gatewayのスロットリング機能開発におけるノウハウ大公開 - ZOZO TECH BLOG
はじめに こんにちは。ECプラットフォーム部のAPI基盤ブロックに所属している籏野 @gold_kou と申します。普段は、GoでAPI GatewayやID基盤（認証マイクロサービス）のバックエンド開発をしています。 ZOZOでは、API Gatewayを内製しています。これまでも以下の記事を公開し、ご好評いただいております。ありがとうございます。 【ZOZOTOWNマイクロサービス化】API Gatewayを自社開発したノウハウ大公開！ 【ZOZOTOWNマイクロサービス化】API Gatewayの可用性を高めるノウハウを惜しみなく大公開 今回は、API Gatewayのスロットリング機能を開発しましたので、そこで得られた知見を共有いたします。ソースコードもたくさん掲載しております。マイクロサービスに興味ある方や、API Gatewayを内製する方の参考になれば幸いです。 また、本記事
LocalStackを用いてローカル開発のシークレット管理をセキュアにする - LayerX エンジニアブログ
この記事は、6月から始まっている #LXベッテク月間 33日目の記事です。 前日の記事はtaikyyさんの「LayerXのQAは顧客に届ける価値を最大化したい」でした。 note.com ちょりす。CTO室およびFintech事業部で色々やってる @ken5scal です。 本日はアプリ開発をローカルで行うためのSecrets管理のTipsを一部、書きたいと思います。 ぱっとアプリを書いて、さくっとコンテナイメージをビルドし、しゅっとAWS上にデリバリしたいことがありませんか？ 当社では、そういった場合にAWS App Runnerを活用することがあります。 PoCなど初期段階のものをインフラレイヤーのことを意識したくないときに重宝しています。 しかし、AWSのロードマップにもある通り、ECSでできるようなVauleサービスであるAWS.Secrets Managerとの連携ができません。
[アップデート] デバッグ作業が捗る！AWS CodeBuild で一時停止およびセッションマネージャによるビルドコンテナへのログインが可能となりました！ | DevelopersIO
本日のアップデートで、CodeBuild において一時停止および、AWS Systems Manager セッションマネージャー（以下、セッションマネージャー）でのビルドコンテナへのログインがサポートされました！ AWS CodeBuild now supports accessing Build Environments with AWS Session Manager 何がうれしいのか これまで CodeBuild でビルド実行中のコンテナにログインする手段は提供されていなかったため、例えばビルドがうまく走らない場合のデバッグを行うには、CloudWatch Logs などのログに一旦出力したうえで探る必要がありました。 状態確認のためのコマンドを buildspec.yml に追加して、再ビルドして、ログを確認しようとしたけど「思てたんとちがーう！」内容しか表示されていなかったので、
![[アップデート] デバッグ作業が捗る！AWS CodeBuild で一時停止およびセッションマネージャによるビルドコンテナへのログインが可能となりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/dc6e22bcfc0a2fa27c63ab27e04e4320fe2a52cd/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-codebuild.png)
いますぐ使う Mailgun - Qiita
Amazon SES はクラメソさんの初期構築の記事が充実してたり、オンプレなら Postfix 立ててな太古の記事がいくつも見つかりますが、 Mailgun や SendGrid の記事のググラビリティが低いように思いました。なので書いてみました。 私自身は、 自宅サーバーで Postfix & Dovecot を構築運用したことがある お仕事で Postfix リレーサーバー & Amazon SES にリレー を構築運用したことがある お仕事で Amazon SES から Mailgun に移行したことがある Mailgun以外の、SendGridとかMailChimpとか、お仕事では使ったことない くらいの人です。 Mailgun いいぞ 「いいぞ」を実感として持っているMailgunのいいところ。自前PostfixやAmazon SESとの比較を念頭に。 初期構築が簡単 アカウン
データパッチ環境と有事の際のログイン環境をサーバレス化・コンテナ化した取り組み - ANDPAD Tech Blog
1. はじめに こんにちは、SWEのあかりです。 今回のテーマは、SRE NEXT 2023のCall For Proposals（CFP） に応募したものの、残念ながら不採択になってしまったものです。話せるネタとしてはまとまっていたので、テックブログとしてここに捧げます😇 2. 本記事の概要 社内で最も古くから稼働している施工管理アプリでは、主にデータ修正と有事の際のログイン環境として開発者向けのEC2インスタンス（以降、「バッチサーバ」と表現）が存在していました。この記事では、このバッチサーバの廃止1を目的として、このサーバが担っていた役割をサーバレス環境・コンテナ環境へ移行し、EC2インスタンスからの脱却を達成した取り組み2について説明します。 この記事を読んで得られることは以下の通りです。 EC2インスタンスを廃止する取り組みの流れ 技術選定時に定性分析を行う事例 本番データを修
Google Cloud Operations Suite で実現する "頑張らないオブザーバビリティ" - KAYAC engineers' blog
SRE チームの市川恭佑です。 先日、CloudNative Days Tokyo 2023 のプロポーザルを提出したのですが、残念ながら採択に至らなかったので、今回は宇宙最速の（？）供養エントリになります。 シェア・投票など、ご応援をくださった皆様にはこの場でお礼を申し上げます。ありがとうございました。 event.cloudnativedays.jp 背景とか、経緯とか 筆者は、カヤックの SRE チームにちょうど2年ほど在籍しています。とは言っても半年ぐらいは学生アルバイトだったので、正社員としては1年半ほどです。カヤックに入る前も、いくつかの会社で IT エンジニアとしてインターンやアルバイトをしていました。 という訳で、何だかんだ仕事で使うプログラムを書き始めてトータル4年半ほどになりますが、そのうち3年半ほどは全て Amazon Web Services（AWS）でホストされる
この記事は「連載：連載：技術基盤強化プロジェクト「RFS」の現在と未来」として書かれたものです。 メルカリのトランザクションチームでバックエンドエンジニアをしている @adachang です。今回は前回の記事に引き続き、メルカリの取引ドメインに属するコードベースのメンテナンス性・拡張性を改善するための取り組みを紹介します。 前回の記事では、この取り組みの背景や課題、ドメイン分析や依存関係をデカップリングするアプローチについて説明しました。その中でメルカリの “取引” を扱う大きなドメインを、商品代金の支払いとそれ以降のプロセスに分割し、前者を「Checkout ドメイン」、後者を 「Transaction ドメイン」と呼ぶことにしました。この記事では、Transactionのドメインを取り上げ、PHPのモノリスをモジュラーモノリスに移行するための現在進行中の取り組みをご紹介します。私たちが
サーバーレス LAMP スタック – Part 4: サーバーレス Laravel アプリの構築 | Amazon Web Services
Amazon Web Services ブログ サーバーレス LAMP スタック – Part 4: サーバーレス Laravel アプリの構築 本投稿は AWS サーバーレス アプリケーションのシニアデベロッパーアドボケートである Benjamin Smith による寄稿です。 本シリーズの他のパートは以下のリンクからアクセスできます。また、関連するサンプルコードはこちらの GitHub リポジトリにあります。 パート1：サーバーレス LAMP スタックの紹介 パート2：リレーショナルデータベース パート3：Webサーバーの置き換え パート5：CDK コンストラクトライブラリ パート6：MVC からサーバーレスマイクロサービスへ この投稿では、サーバーレスアプローチで Laravel アプリケーションをデプロイする方法を学びます。 これは「サーバーレス LAMP スタック」シリーズの4番
Sigstore によるコンテナイメージの Keyless Signing - Flatt Security Blog
This image includes the work that is distributed in the Apache License Version 2.0 こんにちは。株式会社Flatt SecurityでインターンをしているMarina (@marin_a___) です。本稿はソフトウェアサプライチェーン領域で注目を集める Sigstore プロジェクトについての記事です。 Sigstoreとは Cosign によるローカルの鍵ペアを用いた署名方法 公開鍵と秘密鍵のペアの作成 作成した鍵を用いたコンテナイメージの署名 公開鍵を用いた署名検証 小まとめ: 全体の流れ 鍵管理に関する課題 OpenID Connect を活用した署名（Keyless Signing） Keyless Signing の仕組み Keyless Signing の具体的な利用方法 方法1: 人力で認証を
Fastlyのパスベースルーティングで実現するWEARのゆるやかなクラウド移行 - ZOZO TECH BLOG
はじめに こんにちは。メディアプラットフォーム本部 WEAR部 WEAR-SREの長尾です。 WEARは2013年にリリースされ、現在8年目のサービスです。そして、2004年にリリースされた当時のZOZOTOWNと同じアーキテクチャを採用しているため、比較的古いシステム構成で稼働しています。本記事では、そのWEARのWebアプリケーション刷新とクラウド移行で実践している、Fastlyを活用したパスベースルーティングによる段階移行の取り組みを紹介します。 WEARをリプレイスする理由 WEARのWebアプリケーションは、データセンターでオンプレミス（以下、オンプレ）上で稼働しています。また、DBはSQL Serverを利用しています。長年このアーキテクチャで成長を続けてきましたが、今後さらに成長を加速させていくためには以下の3点を実現する必要があります。その実現に向け、2年前からリプレイスに
こんにちは、データエンジニアの石井です。 先日公開した記事「社内向けのデータ基盤から集計結果をReverse ETLしてサービスに組み込んだ話」で、ダッシュボード機能のリリースにより、Classiのデータ基盤が「社内用データ基盤」から「ユーザー影響あるシステムの一部」へ進化した話をしました。「ユーザー影響あるシステムの一部」への進化に伴い、データ基盤の品質担保は必要不可欠です。今回は、データ基盤の品質向上に取り組んだKANTプロジェクトについてご紹介します。 KANTプロジェクト 背景・課題 Classiのデータ基盤がユーザー影響あるシステムの一部になる前、つまり社内用データ基盤だった頃には以下のような課題がありました。 データ基盤の状態把握 マルチクラウドにおけるデータ基盤全体の状態把握ができていなかった データ基盤の実行状態（SUCCESS, FAIL, RUNNINGなど）の把握が、
社内Kubernetesトラブルシュート-前編
「SEROKU フリーランス(以下、SEROKU)」の中の人をやっている kouki です。 今回は 社内 Kubernetes 実験環境をRancher 1.6から 2.0にアップデートして復活させた話 の中でお話しした「2.0で行ったトラブルシューティング」の「グローバル IP とプライベート IP 2つの足(NIC)を持つサーバを Kubernetes クラスタのネットワークに所属させることができない (Calico ネットワークが確立されない)」という件についてお話させていただきます。 経緯 経緯としては、 Rancher を利用した Kubernetes クラスタに対してインターネットからリーチャビリティを持たせるためにグローバル IP アドレスと社内通信用のプライベート IP 2つの足(NIC)を持つサーバをクラスタに参加させようとしました。 その際に、Kubernetes ク
スタディサプリにおけるKarpenterの導入トラブル振り返り - スタディサプリ Product Team Blog
スタディサプリにおけるKarpenterの導入トラブル振り返り こんにちは。スタディサプリ小中高SREの@aoi1です。 スタディサプリでは、Kubernetesを利用しているのですが、Nodeの運用自動化のために2023年3月から本番環境を含む全環境でKarpenterを導入しています。 Karpenterのおかげで開発者体験を向上させることができたり、コスト削減を行うことができました。便利で良いことが沢山ある一方、本番環境で問題が発生するなどいくつかハマったこともありました。 本ブログでは私たちがハマったポイントを通じて、Karpenterの導入を検討している方、あるいは既に本番環境でKarpenterを運用している方にとって参考になればと思います。 Karpenterとは KarpenterはAmazon Web Sevice(AWS)が開発しているOSSで、「Karpenter s
The Dirty Pipe Vulnerability — The Dirty Pipe Vulnerability documentation
Abstract¶ This is the story of CVE-2022-0847, a vulnerability in the Linux kernel since 5.8 which allows overwriting data in arbitrary read-only files. This leads to privilege escalation because unprivileged processes can inject code into root processes. It is similar to CVE-2016-5195 “Dirty Cow” but is easier to exploit. The vulnerability was fixed in Linux 5.16.11, 5.15.25 and 5.10.102. Corrupti
CloudWatch Logs Insights でコンテナ単位のCPU・メモリ使用量などを確認する | DevelopersIO
ちゃだいん（@chazuke4649）です。 前回のブログの過程で、Container Insights画面以外でサクッとコンテナ単位のCPU・メモリ使用量を確認する方法があったので共有します。 今回紹介するのは２パターンです。 1.Container Insights画面から飛ぶ方法 2.サンプルクエリをそのまま実行する方法 前提 Container Insights画面ではみませんが、Container Insightsを有効化し、これによるカスタムメトリクスやログを収集する必要があります。 その他Container Insightsに関係する有用情報を下記ブログで紹介しているので、ぜひ見てみてください。 Container Insights でコンテナ単位のCPU・メモリ使用率を表示させる | DevelopersIO 1.Container Insights画面から飛ぶ方法 Clo
公開日 2024/01/24更新日 2024/07/25あのサービスの監視・オブザーバビリティ アーキテクチャ選定【前編】 ユーザーや顧客へ信頼性を担保した価値提供をしていく中で、監視・オブザーバビリティの取り組みは非常に重要です。 今回の特集記事では、合同会社DMM.com、株式会社MIXI、株式会社マネーフォワード、パイオニア株式会社、Sansan株式会社、株式会社ZOZOの6社の各サービスを支える監視・オブザーバビリティの仕組みとして各社がどのようなアーキテクチャを組んでいるのか、またそのアーキテクチャにしている背景や意図についてお伺いしました。 自社に近いアーキテクチャやどのようにツールを活用しているかについて、実際の事例を元に参考になれば幸いです。 なお、後編も近いうちに公開させていただきますのでお楽しみに。 合同会社DMM.com（DMMブックス） アーキテクチャ設計の背景・意
AWS Copilot CLI を使用した永続性を持つ AWS App Runner サービスの継続的ワークフローの実現 | Amazon Web Services
Amazon Web Services ブログ AWS Copilot CLI を使用した永続性を持つ AWS App Runner サービスの継続的ワークフローの実現 この記事は Enabling continuous workflows for AWS App Runner service with persistency using AWS Copilot CLI を翻訳したものです。 AWS は最近、AWS App Runner と呼ばれる新しいサービスを開始しました。これは、コンテナ化されたステートレスな Web アプリケーションを AWS でビルドして実行する最も簡単な方法です。App Runner は、ビルドパイプライン、ロードバランサー、スケールインとスケールアウト、そしてもちろんその基盤となるインフラストラクチャなど、コンテナを実行するために必要なすべてのリソースをプロビ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
プロダクト基盤を EKS に移行しました | Wantedly Engineer Blog
AWS WAF のログ分析に関する考慮事項 | Amazon Web Services
Why is observability so expensive?
ゼロから始めるEKS事始め（前編） - Gunosy Tech Blog
Datadog でアラート通知の質を向上させるための取り組み
[GCP] GCPサービスを勝手にまとめてみた(セキュリティ編) - Qiita
A list of new(ish) command line tools
Docker/Kubernetes便利ツール調査 - Qiita
Scaling containers on AWS in 2022
メルカリの取引ドメインにおけるモジュラーモノリス化の取り組み | メルカリエンジニアリング
データ基盤の品質向上への取り組み - Classi開発者ブログ
あのサービスの監視・オブザーバビリティ アーキテクチャ選定【前編】 - Findy Tools