How Pokémon GO scales to millions of requests? | Google Cloud Blog
Priyanka VergadiaStaff Developer Advocate, Google Cloud Have you caught Pokémons? Pokémon GO is a popular game played by millions, but it scales extremely well. This blog is a behind-the-scenes look into how the Pokémon GO engineering team manages and maintains the scale. Joining me is James Prompanya, Senior Engineering Manager at Niantic Labs who leads the server infrastructure team for Pokémon
良い話を含むので概要の最初だけでも読んでもらえると幸いです。この話が実用的かと言うと多分全然実用的ではないので理解しても仕方ないかなと言う気がします。 概要 ファイルフォーマット gzip 10-byteのヘッダ 拡張ヘッダ ファイル本体 フッタ（trailer） zip ローカルファイルヘッダ Data descriptor セントラルディレクトリエントリ セントラルディレクトリの終端レコード gzipからzipへの変換 gzipヘッダの処理 gzipファイル本体の処理 gzip trailerの処理 複数gzipファイルの連結 PoC まとめ 概要 先日Dirty PipeというLinuxカーネルの脆弱性が公表されました。 dirtypipe.cm4all.com この脆弱性の原理自体も面白いのですが、その前に報告者の組織で行っているGzipとZIPの処理で引っかかったのでまず先にそち
歴史・年表でみるAWSサービス(Amazon S3編) －単なるストレージではない機能・役割と料金の変遷－ - NRIネットコムBlog
本記事はNRIネットコム Advent Calendar 2021 1日目の記事です。 🎄 0日目 ▶▶ 本記事 ▶▶ 2日目 🎅 小西秀和です。 現在、AWSでは年に一回のAWS re:Inventというイベントの真っ最中で多数の新サービスの発表やセッションがおこなわれています。 そんな状況ですが、今回は当ブログ初のアドベント企画ということで、最新情報とは真逆のアプローチで記事を書いてみました。 最新情報を追うことに疲れた方はこちらの記事で、自分の歴史と照らし合わせながらチルアウトしてみてはいかがでしょうか。 さて、今回のテーマはAmazon S3の年表を作って歴史やアップデートを振り返ろうというものです。このテーマにしたきっかけは2つあります。 まず、1つ目は2006年3月14日にサービス開始したAmazon S3が今年、2021年3月14日に15周年を迎えたことです。 そして2つ
Feature Flags の仕組みを整備して、デプロイとロールアウトの分離を加速させた - カミナシ エンジニアブログ
こんにちは、カミナシでソフトウェアエンジニアをしている 佐藤 と申します。 弊社で開発・提供しているノンデスクワーカー向けプラットフォーム「カミナシ」（以降「カミナシレポート」や「弊社アプリケーション」と呼びます）において、Feature Flags の仕組みを整備し、デプロイとロールアウトの分離を加速させたことについてご紹介したいと思います。 登場する技術 Amazon Elastic Container Service (ECS) AWS AppConfig AWS AppConfig agent 前提知識 後半の「技術的な話」以降の部分は、以下の技術についても触れています。 Feature Flags、Feature Toggles AWS AppConfig Amazon Elastic Container Service (ECS) Terraform 「背景」や「解決策」といっ
最近はZX-25Rが気になっている菅原です。4気筒250ccといえば、以前バリオス2に乗っていたんですが、あれもよく回るよいバイクでした。足つきの良さが懐かしいです。 この記事では、クエリログを使ったAurora MySQLの負荷テストの話を書きます。 MySQLの負荷テスト サービスに使われているデータベースは、Webサーバと比べて自動的なスケールアップ・スケールアウトが簡単ではないためキャパシティプランニングは非常に重要です。サービスへのアクセス増による負荷増大の結果、急激に性能が低下するためなるべく事前にキャパシティを把握しておきたいところです。 クックパッドではサービスのデータベースとして主にAurora MySQLを利用しているのですが、キャパシティを把握するための負荷テストには以前から苦労してきました。 1. シナリオを書くのが大変 サービスで使われているデータベースの負荷テス
Rewritten in Rust: Modern Alternatives of Command-Line Tools · Zaiste Programming
Shell is the essential tool for every programmer. The more familiar you become with the available tools, the more efficient you can be with using your computer. Here's a list of command-line tools written in Rust that aim to provide modern, often much faster, alternatives to the existing shell commands. bat bat is a cat clone with syntax highlighting and Git integration that works on Windows, MacO
記事を書こうと思ったきっかけ サポートへの問い合わせで一番多いのが "EC2 インスタンスの障害調査依頼" だから 「サーバはペットではなく畜牛のように扱え」というフレーズがあるように、クラウドではインフラがいつも変化するという前提でシステムを設計するのがよいとされています。そのため、EC2 インスタンスが障害でホストダウンしてもサービスが継続できるように設計されていればいいのですが、アプリケーションの要件や環境によっては単体の EC2 インスタンスで運用されることもあるようです。 そのため、EC2 インスタンスの障害調査依頼をいただく際は緊急度が高い場合が多くあります。テクニカルサポートとして、私が障害調査依頼があった際に実施している内容を公開することで、迅速な障害の切り分けや復旧につながればと思い書きました。 前提 EC2（Linux）を想定して書いています AWS マネジメントコンソ
こんにちは、Finatextの六つ葉と申します。現在、グループ会社のナウキャストが開発中の新サービスのAWSインフラを担当しております。 本稿では、AWS CloudWatchシリーズでアプリを監視する方法について延べます。 まず、アプリ本体の仕組みを紹介します。 アプリの仕組みこのアプリは、一般的なSPAによるフロントとWebAPIのバックエンドによる構成になります。Fargateに関してはAuto Scalingを設定しています。 アプリの監視システム監視システムは、ログ・通知・死活監視・ダッシュボードの4つの部分で構成されています。 X-Ray、CloudWatch LogsからのアクセスログCloudWatch AlarmsとSNS、ChatbotでのSlack、メール通知Synthetics Canaryからの死活監視CloudWatch Logs InsightやMetrics
こんにちは。サービス開発室の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2024年版です。 こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2024年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2023年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 247個 です。 まとめるにあ
Docker Compose入門 (2) ～ウェブサーバの開発環境を作るための準備～ | さくらのナレッジ
前回（第1回）は、Dockerコンテナに対応するアプリケーションを開発・実行するために、Docker Composeというツールを使うのが便利ということで、例としてDocker Composeを使ってWordPressをコマンド1つで実行する方法を紹介しました。WordPressのような、しっかりとしたアプリケーション以外でもDocker Composeが使える場面があります。 今回は、Docker Composeを使ってウェブサーバ（Apache httpd）を実行し、コンテンツを表示する例を見ていきましょう。 なぜDocker Composeなのか？ 単純にウェブサーバとして実行するアプリケーションであれば、Dockerだけで何ら困らないでしょう。例えば、Apache httpdサーバを実行するには、次のようにしてコンテナを実行できます。 docker run -d httpd しかし
AWS Lambdaで秘密情報をセキュアに扱う - アンチパターンとTerraformも用いた推奨例の解説 - Flatt Security Blog
はじめに こんにちは。ソフトウェアエンジニアの@kenchan0130です。 AWS Lambdaは関数URLやAPI Gatewayのバックエンド、AWSサービスのイベントをトリガーとしたスクリプト実行など様々な用途で使用されます。 そのため、ユースケースによっては秘密情報を扱いたい場合があります。 この記事では、AWS LambdaでAPIキーなどの秘密情報を安全に扱う方法を解説します。 なお、Flatt SecurityではAWS・GCP・Azureのようなクラウドも対象に含めたセキュリティ診断サービスを提供しています。 是非下記のSmartHR様の事例をご覧ください。 推奨されない方法 秘密情報を安全に取り扱う方法を解説する前に、まずはワークロードによっては推奨されない方法があるため、その方法を2つ紹介します。 AWS Lambdaのソースコードに秘密情報をハードコード ソースコー
概要 全般 何はともあれコストタグ Cost Explorer でリソース別にコストを見よう IaC化しよう QuickSight も使おう 稼働時間対応する際はマスタカレンダを用意したい コンピューティング、コンテナ関連 EC2 定時バッチはマネージド化しよう EBS, Snapshot, AMI, EIP を消す ECS Container Insights の有効/無効を使い分けよう 何でも Fargate を選択すれば良いわけではない Fargate スポットを活用しよう Lambda Graviton対応しよう ECR イメージサイズを抑えよう ライフサイクルポリシーを設定しよう ネットワーキング VPC VPCエンドポイント入れ忘れに注意 VPC Flow Logs のS3バケット設定に注意しよう ストレージ系 RDS スロークエリ出てないかAPMを使って確認 DynamoDB
経緯 ここ6,7年くらいはバックエンドに関してはRails + EC2/ECSあたりのAWS環境を中心に過ごしてきたが、昨今はフロントエンドでReact/Vue + TypeScriptを書く機会も増えている。なのでこの際NestJS等でバックエンドを書けるようになれば言語のコンテキストスイッチの切り替えが容易になりそうと思った(ちなみにモバイルアプリはFlutterで書くのでDartだが、ではDartでバックエンドを書くかと言われると一人でそんな勇気はないわ...となるのでひとまず置いておく) 最近はinputとoutputを型注釈によって守れたりすることの主に開発体験方面への恩恵が個人的に大きくて、Rails以外で安住の地を見つけたいとは予々思っていた。なので先に挙げたNestJSに全ベットするわけではないにしろ何かしらフレームワークは試していきたい。 AppEngineは大昔に少し触
2015 年の Slack セキュリティインシデントにかかる新たな情報のご報告 Slack チーム一同作成2019年7月18日 Slack では、2015 年のセキュリティインシデントにかかる新たな情報に基づき、約 1 %の Slack アカウントのパスワードをリセットいたしますことをご報告いたします (当時発表された詳細説明はこちら)。パスワードのリセットの対象となりますのは以下 3 つの条件を同時に満たすアカウントとなります。 2015 年 3 月以前に作成されたアカウント 2015 年 3 月以降一度もパスワードが変更されていないアカウント シングルサインオン（SSO）プロバイダーを利用したログインが必須化されていないアカウント この条件に該当しない残り 99 %の「2015 年 3 月より後に作成された」または「2015 年 3 月以降パスワードを変更している」 Slack アカウ
AWS環境でDDoS攻撃を受けた時の対処をCloudFormationで自動化する（EC2編） - ISID テックブログ
Xイノベーション本部 ソフトウェアデザインセンター セキュリティグループの福山です。 先日、米政府（米サイバーセキュリティインフラストラクチャセキュリティ庁（CISA）や米連邦捜査局（FBI）、 MS-ISAC（Multi-State ISAC）の共同）から、DDoS攻撃に対するガイダンス「Understanding and Responding to Distributed Denial-of-Service Attacks」が公開されました。 業務でAWSに触れる機会が多いので、この機会にAWSにおけるDDoS攻撃対策を調査したいと思いました。 そこで今回は、AWS WAF、GuardDutyを有効活用できていないAWS上のWebアプリケーションに対してDDoS攻撃を受けた際に、対策となるリソースを追加するためのCloudFormationテンプレートや後続作業を調査しましたので、紹介
ブラウザ上からNode.jsやPythonでバックエンドを無料で開発可能な「Napkin」を使ってみた！ - paiza times
どうも、まさとらん（@0310lan）です！ 今回は、ブラウザ上からNode.jsやPythonをプログラミング可能なクラウドエディタを提供する無料のWebサービスをご紹介します。 サーバレスでバックエンドを開発できるうえ、シンプルなエディタから即座にエンドポイントを作って公開もできる便利なサービスとなっています。 手軽にサーバ側の処理を構築したい場合やFaaSのように使いたい方にも最適なのでぜひ参考にしてみてください！ 【 Napkin 】 ■「Napkin」の使い方 それでは、「Napkin」をどのように使えばいいのか詳しく見ていきましょう。 まず最初にサイトのトップページから【Sign Up】ボタンをクリックして無料のユーザー登録を済ませておきます。 登録方法はいくつかありますが、今回はもっとも簡単なGitHubアカウントを利用してみます。 確認用のウィンドウが表示されるので承認をし
定期実行するLambdaが「起動しなかったこと」を検知するCloudWatch Alarmを作る | DevelopersIO
「1時間に1回起動するLambda」や「1日に1回起動するLambda」といった定期実行するLambdaが「起動しなかったこと」を検知するCloudWatch Alarmを作ってみました。 Lambdaを定期実行する仕組みをよく作ります。 1時間に1回起動する 1日に1回起動する これらのLambdaが「起動しなかった場合」に通知が欲しくなったので、CloudWatch Alarmを作ってみました。 実際にLambdaが起動しない事象に遭遇したことは無いですが、このAlarmがあると、「ちゃんと起動しているよね？」というモヤモヤが解消されます。万が一に気づける保険ですね。 おすすめの方 定期実行するLambdaが「起動しなかった場合」のCloudWatch Alarmを作りたい方 定期実行するLambdaとCloudWatch Alarmを作成する sam init sam init \
CloudWatch Logsの料金が高い原因はコレだった。CloudTrailとの微妙な関係 - クラウドワークス エンジニアブログ
こんにちは。crowdworks.jp SREチームの田中（kangaechu）です。先日RubyKaigi2023に参加するため、松本に行きました。街を歩いていると目線の先に山が見えたり、温泉が近くにあったりなど松本の自然が近くにある感じがとてもよかったです。ちょっと住みたくなって不動産屋さんで家賃を眺めたりしておりました。 今回は小ネタとして、AWSのCloudWatchの料金が高くなったことで見つけたCloudTrailの設定についてです。 あなたのCloudWatch LogsとCloudTrailの料金、高くないですか？ 先日、AWSのコスト異常検知サービスのCost Anomaly Detection からCloudWatchとCloudTrailのコストが跳ね上がっているとの通知が来ました。 Cost Anomaly Detectionで通知されたCloudWatchとClo
歴史・年表でみるAWSサービス(AWS Systems Manager編) －機能一覧・概要・アップデートのまとめ・SSM入門－ - NRIネットコムBlog
小西秀和です。 前回は「歴史・年表でみるAWSサービス(Amazon S3編) －単なるストレージではない機能・役割と料金の変遷－」の記事でAmazon S3の歴史や料金の変遷などを紹介しました。 今回は数年の間に名称変更や様々な機能が統合されてきたAWS Systems Manager(SSM)について歴史年表を作成してみました。 ただ、前回とは異なり、今回は料金の変遷や細かいアップデートは省略してSSMの主要な機能だけに着目しています。 また、本記事執筆時点の「現在のAWS Systems Managerの機能一覧と概要」もまとめました。 今回の記事の内容は次のような構成になっています。 AWS Systems Manager歴史年表の作成経緯と方法 AWS Systems Manager歴史年表(2014年10月29日～2021年12月31日までのアップデート) AWS System
MySQLの約30億レコードをRedshiftにDMSでニアリアルタイム同期した - クラウドワークス エンジニアブログ
概要 こんにちは。クラウドワークス SREチームの@kangaechuです。最近好きなラジオ番組は空気階段の踊り場です。 企業にとってデータは非常に重要です。さまざまなデータを組み合わせて分析を行うことにより、ユーザをより深く知ることができ、それによりサービスやビジネスモデルを継続的に変革することが可能になります。 クラウドワークスでも同様に、施策やマーケティング、新サービスの開発など、さまざまな取り組みの源泉としてデータを活用しています。 crowdworks.jpではマスタデータベースにAWS RDSで稼働するMySQLを使用し、分析系のデータベースにはAmazon Redshiftを使用しています。Redshiftに同期されたテーブルは約270テーブル、レコードにして約30億件あり、1か月に1.5億件のレコードが同期されています。 今回はMySQLからRedshiftへの同期の仕組み
AWS Lambda の上でいろんなWEB フレームワークを動かそう！ / Web Frameworks on Lambda
AWS Lambda はサーバーレスサービスの中で、compute処理を担うサービスになります。その役割はシンプルにロジックを実行することにあります。そして、その他の非機能要件についてはどうするかというと、他のAWSサービスに任せたりします。たとえばログは Amazon CloudWatch Logs、トレースは AWS X-Ray、認証認可は Amazon Cognito などなど。 その中でよく質問にあがるのが、オンプレミスやEC2で使っていたプログラミング言語用のフレームワークをそのまま Lambda関数で使いたい！どうすればよいですか？ というものです。 このセッションでは、そういう質問があがる背景から入り、AWS Lambda の機能によるうまいやり方を探っていきます。
以前こんなエントリを書いた。 petitviolet.hatenablog.com が、最近はpecoからfzfに大体を移行している。 主な理由はfzfについているpreview機能が気に入ったからで、ファイルやGitをインタラクティブに選択する際にpreviewが出来ると助かることが多いため。 逆にpreview機能を必要としないhistory検索とかはpecoを使っているままだったりはする。 fzfで快適なターミナルライフ どんな感じになるのか 事前準備とか 環境 Zsh Line Editorについて fzfのグローバル設定 ディレクトリ移動 treeコマンドからファイルを選択する docker psからプロセスを選択する git statusで変更のあるファイルから選択する git branchとtagから選択する どんな感じになるのか fzfの--previewオプションを使って
AWSの基礎を学ぼう 特別編 最新サービスをみんなで触ってみる 〜Amazon Route 53 Resolver DNS Firewall〜 ハンズオン手順 #awsbasics | DevelopersIO
AWSの基礎を学ぼう 特別編 最新サービスをみんなで触ってみる 〜Amazon Route 53 Resolver DNS Firewall〜 ハンズオン手順 #awsbasics はじめに 今回は2021年7月31日に開催されました「AWSの基礎を学ぼう 特別編 最新サービスをみんなで触ってみる 〜Amazon Route 53 Resolver DNS Firewall 編〜」のハンズオン資料として本記事を投稿しています。 「AWSの基礎を学ぼう？ナニソレ？」 という方は、以下の記事をあわせてお読みいただけると幸いです。 Amazon Route 53 Resolver DNS Firewall Amazon Route 53 Resolver は VPC 用の DNS サーバーとして提供されています。これらの IP アドレスは予約されており、以下のアドレスが使用されます。 169.2
Cloudflare Pages
Install Cloudflare PagesWhere do you want to install Cloudflare Pages?github-usernameInstall & Authorize Cloudflare PagesInstall & AuthorizeCancel Frontend developers want to build fast and beautiful sites, not play system integrator: bogged down by configuring build systems, setting up environments, and keeping production up to date. With Pages, you can connect your GitHub or GitLab account. Afte
How an empty S3 bucket can make your AWS bill explode
Update AWS started investigating the issue: https://twitter.com/jeffbarr/status/1785386554372042890 Imagine you create an empty, private AWS S3 bucket in a region of your preference. What will your AWS bill be the next morning? A few weeks ago, I began working on a PoC of a document indexing system for my client. I created a single S3 bucket in the eu-west-1 region and uploaded some files there fo
Firefoxが新たにパートナーシップを発表した安全かつカスタマイズ可能なDNSサービス「NextDNS」のベータ版が利用可能となっていたので、Windows、iOS、Androidなどの各デバイスに加えて、Firefoxで実際に使ってみました。 NextDNS https://nextdns.io/ ◆NextDNSの利用登録 ◆Windows版の設定 ◆iOS版の設定 ◆Android版の設定 ◆Firefox版の設定 ◆NextDNSの利用登録 まずは公式ページにアクセスして、「Try it now for free」をクリック。 すると、自動的に割り振られたIDや自分のIPアドレスなどが表示されます。 中でも、「ID」として表示される6桁の数字とアルファベットが、「Configuration ID」。各デバイスとアカウントを紐付ける際に必要になります。 ページをスクロールすると、「
If you're already somewhat familiar with promises, here are some shortcuts to save you some precious scrolling time. Introduction When writing JavaScript, we often have to deal with tasks that rely on other tasks! Let's say that we want to get an image, compress it, apply a filter, and save it 📸 The very first thing we need to do, is get the image that we want to edit. A getImage function can tak
Beyond exception handling, there's something else I see people struggling with, which is logging. Most people don't know what to log, so they decide to log anything thinking it might be better than nothing, and end up creating just noise. Noise is a piece of information that doesn't help you or your team understand what's going on or resolving a problem. Furthermore, I feel people are uncertain ab
コスト削減成功！Amazon Auroraの監査ログをS3に保存する仕組みを構築した話 - Classi開発者ブログ
こんにちは。プロダクト本部Growth部でエンジニアをしている id:ruru8net です。 前回はこちらの記事を書かせていただきました。 tech.classi.jp 今日は前述したSRE留学中にやったことの中の「Amazon Auroraの監査ログをCloudWatch Logsを経由せずS3に保存する」を紹介したいと思います。 前提 前掲の記事にもある通り、弊社のAWSにかかっているコストを調査したところCloudWatch Logsの特にAmazon RDSの監査ログの保存にコストがかかっていることがわかりました。今回は弊社で最も使用しているAmazon AuroraのMySQLのみを対象として、監査ログをCloudWatch Logsを経由せずS3に保存する仕組みを作成しました。 作成した仕組み こちらのオープンソースの仕組みを参考に構築、またLambdaのソースを使いました。
AWS CLI V2でCloudWatch Logsのロググループをtailできるようになりました！ | DevelopersIO
AWS Lambdaの開発などでAmazon CloudWatch Logsに送っているログをリアルタイムにtailしたい時があります。 AWS CLI v2を利用すると、$ tail -f相当のことが$ aws logs tail --follow LOG-GROUP-NAME で出来るようになりました。 * feature:logs: Added the logs tail command. This tracks new additions to a CloudWatch Logs group printing updates as they become available. See #3729. https://github.com/aws/aws-cli/blob/v2/CHANGELOG.rst この機能を簡単に紹介します。 準備:AWS CLI v2をインストール なにはと
PCI DSS対応 AWS 上の踏み台サーバーでの操作ログ取得、MFA、アイドルタイムアウトを実現 | DevelopersIO
PCI DSS に対応すべく Linux サーバーの操作履歴を S3 へ保存する、ログイン時に MFA を使用する、アイドルタイムアウトを実装する方法を紹介します。 こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな ネクストモード株式会社 の吉井です。 AWS 上の踏み台サーバー (ここでは Amazon Linux 2 を想定しています) での操作履歴を S3 へ保存する、ログイン時に MFA を使用する、アイドルタイムアウトを実装する方法を紹介します。 PCI DSS の関連して以下のような要件があり、これを実現するために考えた方法です。 ssh ログインは Google Authenticator を利用した二要素認証にしたい ssh ログイン後の操作ログ(コマンドログ)を保管したい 踏み台サーバーから更に業務サ
Docker をフル活用して金融業界のシビアなパフォーマンス、セキュリティ要件に対応している株式会社Finatext石橋さんに、難しいポイントやアーキテクチャ上の工夫を伺いました – 後編 | Amazon Web Services
AWS Startup ブログ Docker をフル活用して金融業界のシビアなパフォーマンス、セキュリティ要件に対応している株式会社Finatext石橋さんに、難しいポイントやアーキテクチャ上の工夫を伺いました – 後編 みなさんこんにちは、スタートアップソリューションアーキテクトの塚田（Twitter: @akitsukada）です。前編に続き、株式会社Finatext の石橋さんにお話を伺っていきます！ 後編では、アーキテクチャや技術の選定をどのように考えてきたか、FinTech スタートアップとして不可避であるセキュリティ・コンプライアンスの高い要求をいかに合理的に対応してきたかなどをより深くお伺いします。 目次 前編 Finatext、スマートプラスと石橋さんについて 会社とチームが大きくなるにつれて生じた、創業期からの変化 FinTech、証券業界特有の技術要件とは？市場に合わせ
AWS Lambda のミニマルなデプロイツール lambroll を書いた - 酒日記 はてな支店
3行で シンプル/ミニマルな Lambda のデプロイツール lambroll を書いてるよ Lambda API 以外は極力触らないやつです 既存 function の移行も簡単です 開発の経緯 AWS Lambda を管理、デプロイするのに数年来 Apex を使っていましたが、最近更新がないと思っていたら案の定というか、残念ながら No longer maintained となってしまいました。 で、代替を探したのですが… Lambda管理、Apexがお亡くなりになってServerlessかSAMになるんだけど、本当は関数だけdeployできればよくて(IAMとか関連リソースはTerraformでやるんで)、それなら裏でCloudFormationが動くようなのじゃないシンプルなのがいいなあ。作れば作れるけどデプロイツールばっかり書くことになるな…— fujiwara (@fujiwa
New – Real-User Monitoring for Amazon CloudWatch | Amazon Web Services
AWS News Blog New – Real-User Monitoring for Amazon CloudWatch Way back in 2009 I wrote a blog post titled New Features for Amazon EC2: Elastic Load Balancing, Auto Scaling, and Amazon CloudWatch. In that post I talked about how Amazon CloudWatch helps you to build applications that are highly scalable and highly available, and noted that it gives you cost-effective real-time visibility into your
Kubernetes環境に特化したCI/CDツール「Jenkins X」を試してみる | さくらのナレッジ
広く使われている継続的インテグレーション（CI）/継続的デリバリ（CD）ツールの1つに「Jenkins」がある。このJenkinsの開発チームが、Kubernetesに特化したCI/CDツール「Jenkins X」を発表した。今回はこのJenkins Xの特徴やインストール、基本的な使い方を紹介する。 昨今ではソフトウェア開発を迅速に進めるために「継続的インテグレーション（CI）」と呼ばれる手法が広く採用されている。CIはバージョン管理システムなどと組み合わせて使われるのが一般的で、たとえばバージョン管理システムへのコミットをトリガーとして自動的にビルドやテスト、パッケージ作成を実行する仕組みなどを構築できる。また、最近では「継続的デリバリ（CD）」という手法も使われる。CDはCIと似ているが、運用環境へのデプロイまでも自動で行うという仕組みだ。 CIツールとして著名なものの1つに、以前紹
こんにちは、ティアフォーでSREを担当している宇津井です。 2019年9月にSite Reliability Engineering(SRE)として入社して以来行ってきたことをざっと振り返った上で、自動運転の社会実装においてWeb系のエンジニアには何が求められるのかという答えを探っていきたいと思います。スタートアップ企業でどのようにSREの文化を作っていくのかという面でも何かの参考になるのではないかと考え筆を取っています。 と言いつつも重要なことなので最初に書いておきますが、ティアフォーのSREは私が一人目で入社して以来専任としてはずーっと一人でその役割を担ってきました。ようやく一緒に働く方を募集できる状態になりました。そのような背景もあってこのエントリーを書いています。もしご興味がある方は以下のCareersページからご連絡をお待ちしております。 tier4.jp ※SRE編とタイトルに
この記事は GMOアドマーケティングAdvent Calendar 2021 25日目の記事です。 はじめに こんにちは、GMOアドマーケティングの星野です。 今年のアドベントカレンダーも本日で最後となりました。 アドベントカレンダーを書いていると今年も終わりということを感じます。 GMOアドマーケティングではいくつかのプロダクトをGCPへと移行をしています。 移行では障害を起こさないことが優先されますが、最終的には単に移行するだけではなく、システムをクラウドネイティブな設計に変えていくことで、クラウドの恩恵を最大限に受けれるように改善していきたいと思ってます。 既存のシステムをクラウドネイティブな設計に変えていくにはコンテナ化が必要になります。 コンテナ化を行う際の設計指針の一つにコンテナ・デザインパターンというものがあります。 今回は、書籍の分散システムデザインパターン からいくつかの
参考 おさらい runc architecture file main.go and command process runc create setupSpec startContainer linuxContainer LinuxFactory createContainer CreateLibcontainerConfig loadFactory factory.Create runner.run newProcess linuxContainer.Start newParentProcess parentProcess.start() runc init nsenter nsexec runc init(After nsexec) linuxStandardInit.Init runc start 低レベルコンテナランタイムruncの内部処理のまとめです。 参考 2021/05現在:
すぐに試せる日本語BERTのDocker Imageを作ってみた - 機械学習 Memo φ(・ω・ )
はじめに 学習済みBERTを試しに触ってみたいんだけど、日本語使えるBERTの環境整えるの面倒！っていう人向けに、お試しでBERTを使える Docker Image 作ってみました。 BERT はTransformers(旧pytorch-transformers、旧pytorch-pretrained-bert) を使用。 黒橋・河原研究室のWEBサイトに掲載されている、日本語pretrainedモデルのWhole Word Masking版を使ってます。 Transformers — transformers 2.2.0 documentation BERT日本語Pretrainedモデル - KUROHASHI-KAWAHARA LAB Docker Image ここに置いてあります。 https://hub.docker.com/r/ishizakiyuko/japanese_be
はじめに 2015年からAWSを本格的にさわりはじめ、7年たってようやく11冠達成したのでログとして情報を残しておきます。 マイ認定取得ヒストリー 資格取得のメリット 資格取得のデメリット 資格なんてという人に マイ勉強法 効率のよい取得の順番 スペシャリティ試験のポイント Security 概要 セキュリティに関するサービス全般をおさえたうえで、セキュリティ環境を実現する保護のメカニズム、ソリューション、トラブルシューティングの知識が求められる試験。 試験のポイント 頻出：IAM/S3/KMS/CloudTrail/Inspector/GuardDuty/Trusted Advisor など セキュリティはクラウドならではの非機能要件であること、SAPで求められる知識の範囲と重なっていてSAPでもセキュリティに関する問題はよく出題されることから、SAPより先に取っておく or SAPのす
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
spliceを使って高速・省メモリでGzipからZIPを作る - knqyf263's blog
クエリログを使ったAurora MySQLの負荷テスト - クックパッド開発者ブログ
EC2 インスタンスの障害調査依頼を受けた時に確認していること | DevelopersIO
AWS CloudWatchシリーズでアプリを監視する
【2024年】AWS全サービスまとめ | DevelopersIO
2023年のSREチームのAWSコスト削減を振り返る - Uzabase for Engineers
NestJS + Prisma + Cloud Run + Cloud SQLを試す
2015 年の Slack セキュリティインシデントにかかる新たな情報のご報告
fzfで快適なターミナルライフ - petitviolet_blog
Firefoxが提携する安全かつカスタマイズ可能なDNSサービス「NextDNS」設定方法まとめ
⭐️🎀 JavaScript Visualized: Promises & Async/Await
Logging in Python like a PRO 🐍🌴
自動運転を支えるWeb技術 - 信頼性への取り組み (SRE編) - TIER IV Tech Blog
クラウドネイティブな設計の1歩目〜コンテナ・デザインパターン〜
Low-level Container Runtime:Runc Internals - 鳩小屋
【11冠達成記念】AWS認定資格の勉強法について(スペシャリティ中心に) - Qiita