後悔先に立たずなマルチクラスタ運用の知見がてんこ盛り「最高のKubernetes on AWSを実現するために」 #AWSSummit | DevelopersIO
「Kubernetes、考えることがいっぱいあって楽しいですね。今日はそんなKubernetesのお話です」 こんな謎の問いかけから始まった、Kubernetesセッション、皆さんご覧になりましたか？ Kubernetesで実現するアプリケーションの未来まで見据えたとき、最初に検討しないと一生後悔する忘れがちだけど考えないといけない知見がてんこ盛りのセッションでした。このブログでは、そのセッション内容を余すことなく解説。 EKS/Kubernetesの運用に自信がない Kubernetesクラスタの長期運用を真剣に考えたい クラスターのアップデートができず不安 そんなあなたの未来を明るく照らす知見が、このセッションには詰まっています。ぜひ、Kubernetesクラスタ運用に迷いがあるかたはこのブログご覧になって、未来の負債をこの場で削ぎ落としましょう。 もう、アレコレ悩まなくても良いの…!
AWS CDKでクラウドアプリケーションを開発するためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ AWS CDKでクラウドアプリケーションを開発するためのベストプラクティス この記事では、AWS Cloud Development Kit (AWS CDK) を中心とした、大規模なチームで複雑なクラウドアプリケーションの開発を組織化するための戦略について説明します。AWS CDK では、開発者や管理者は、TypeScript、Python、Java、C#などの使い慣れたプログラミング言語を使ってクラウドアプリケーションを定義することができます。アプリケーションは、Stage、Stack、Constructに整理されており、ランタイムロジック (AWS Lambda コードやコンテナ化されたサービスなど) と、Amazon Simple Storage Service (Amazon S3) バケット、Amazon Relational D
AWS Black Belt Online Seminar 一覧リストを作成しました (2024.12.19現在) | DevelopersIO
AWS Black Belt Online Seminar の全リストを一つページにまとめてみました。 AWSの学習に活用してください。 AWSの学習に最もオススメのコンテンツがAWS Black Belt Online Seminar（以下、Black Belt と略します）です。10年以上前から AWS Japan のみなさんより提供されてきて、AWSを学ぶエンジニアにとってバイブルのような存在です。私を含め、クラスメソッドの多くのエンジニアも、Black Belt にお世話になってきました。 以前は Black Belt のコンテンツ数もそこまで多くなく、1つのページに全リストが表示できていました。しかし、現在は複数ページで絞り込みながら目的のコンテンツを探すスタイルに変更されています。 目的を持って探す場合は便利なのですが、私のように全体に目を通しながら興味のある物を見つけるような
Amazon EC2 におけるセキュリティ(脆弱性)事例 - blog of morioka12
1. 始めに こんにちは、morioka12 です。 本稿では、Amazon EC2 上で動く Web アプリケーションの脆弱性によって脆弱性攻撃が可能だった実際の事例について紹介します。 1. 始めに 2. Amazon EC2 におけるセキュリティリスク Amazon EBS 被害があった公開事例 3. Amazon EC2 で起こりうる脆弱性攻撃 SSRF が可能な脆弱性 SSRF における回避方法 4. Amazon EC2 の脆弱な報告事例 画像読み込み機能に潜む SSRF を悪用した EC2 のクレデンシャルの不正入手が可能 SAML アプリケーションに潜む SSRF を悪用した EC2 のクレデンシャルの不正入手が可能 Webhook 機能に潜む SSRF を悪用した EC2 のクレデンシャルの不正入手が可能 Webhook 機能に潜む SSRF を悪用した EC2 のクレデ
レガシーサーバーをコンテナで再構築した、その5年後の移行と解体 - KAYAC Engineers' Blog
面白法人グループアドベントカレンダー2024 2日目の記事です。SREの藤原です。 2024年も暮れようとしていますね。ところで今から5年前のこと、builderscon tokyo 2019 というイベントで「レガシーサーバーを現代の技術で再構築する」というタイトルで発表しました。 speakerdeck.com この発表は、当時 Amazon EC2 のシングル構成で動作していたサーバー(SVN, Redmineほか、社内の開発支援ためのサービスが動作していました)を、Amazon ECS をはじめとしたコンテナや AWS のマネージドサービスを用いてリプレイスした、という内容です。 2019年末にはこの発表で予定していた移行作業は全て完了し、以下の画像のように EC2 が空っぽになりました。 あれから5年 さて、早いもので2019年から5年が経過しました。このシステムで動いていたサー
歴史・年表でみるAWSサービス(Amazon S3編) －単なるストレージではない機能・役割と料金の変遷－ - NRIネットコムBlog
本記事はNRIネットコム Advent Calendar 2021 1日目の記事です。 🎄 0日目 ▶▶ 本記事 ▶▶ 2日目 🎅 小西秀和です。 現在、AWSでは年に一回のAWS re:Inventというイベントの真っ最中で多数の新サービスの発表やセッションがおこなわれています。 そんな状況ですが、今回は当ブログ初のアドベント企画ということで、最新情報とは真逆のアプローチで記事を書いてみました。 最新情報を追うことに疲れた方はこちらの記事で、自分の歴史と照らし合わせながらチルアウトしてみてはいかがでしょうか。 さて、今回のテーマはAmazon S3の年表を作って歴史やアップデートを振り返ろうというものです。このテーマにしたきっかけは2つあります。 まず、1つ目は2006年3月14日にサービス開始したAmazon S3が今年、2021年3月14日に15周年を迎えたことです。 そして2つ
tl;dr t4g.smallインスタンスは2024年も1台分無料で利用できそうです。 AWSでは無料で利用できる「AWS 無料利用枠」が提供されています。 EC2ではt2.microまたはt3.microインスタンスを月750時間分（つまり１台立ち上げっぱなし分）が12ヶ月無償になるという太っ腹な仕様で、個人で利用される方などで助かったという方は多いと思います。 で、この無料利用枠のページには書いていないのですが、EC2のGraviton（Armアーキテクチャ）インスタンスであるt4g.smallインスタンスも無料で利用できる、というのはご存知でしょうか？ 2021年2月のアナウンスにてT4gインスタンスの無料トライアルが発表されています。当時は2021年12月31日まで、ということでしたが、EC2についてのFAQのページ (https://aws.amazon.com/jp/ec2/f
利用終了したドメイン名の終活に向けて 〜観測環境を作った話〜 - NTT Communications Engineers' Blog
この記事は、 NTT Communications Advent Calendar 2024 17日目の記事です。 みなさんこんにちは、イノベーションセンターの平木です。 Network Analytics for Security1 (以下、NA4Sec)プロジェクトのメンバーとして活動しています。 この記事では、利用終了ドメイン名観測の環境構築の知見を共有していきます。 明日の記事では観測されたログの分析結果を紹介したいと思います。 利用終了ドメイン名観測分析施策の背景と目的 工夫した点 DNSクエリのみならずWebアクセスログも取得する パブリッククラウドとマネージドサービスを利用する 構成 大量アクセスを捌くコツ コスト まとめ 利用終了ドメイン名観測分析施策の背景と目的 昨今、廃止したドメイン名がドロップキャッチ2され被害にあうケースが多発しています。 NTTドコモグループでも、
おしらせ 2021/06/27 の Drecom SRE Sunday にて、 この記事にかかれている EKS 移行に関する情報共有を行います、ぜひご参加ください！ Drecom SRE Sunday (connpass) はじめに こんにちは！ enza SREチームのmendと申します！ 先日の安藤さんの記事「古き良きRailsアプリケーションをコンテナ化してKubernetes上で動かす」にもある通り、運用しているプロダクトをAmazon EC2からAmazon EKSに移行しました。 プロダクトをダウンタイムなしにEC2からEKSに移行しましたので、今回はダウンタイムなしを実現したインフラ側の構成について紹介させて頂きたいと思います。 背景 まず背景としましては、私の関わっているプロダクトはこれまでEC2で動作しておりました。 EC2上でdockerコンテナを起動しているのではなく
Amazon S3がこれまでの「結果整合性」から「強い一貫性」サポートへ。データを更新直後でも最新データの読込みが保証されるように
Amazon S3がこれまでの「結果整合性」から「強い一貫性」サポートへ。データを更新直後でも最新データの読込みが保証されるように Amazon Web Services（AWS）は、オブジェクトストレージサービスのAmazon S3で「Strong Consistency（強い一貫性）」をサポートすることを明らかにしました。 すでにAmazon S3で有効になっており、追加料金は発生せず、性能低下もないとのこと。AWS re:Invent 2020の基調講演では発表されておらず、ブログで発表されました。 これまでAmazon S3では、データ整合性がつねに保証されるものではない「結果整合性」のみをサポートしていました。そのため、データをAmazon S3へ保存した直後やデータの変更を行った直後に別のプロセスからそのデータにアクセスしようとすると、まだ保存されていない、あるいは変更されてい
歴史・年表でみるAWSサービス(AWS Systems Manager編) －機能一覧・概要・アップデートのまとめ・SSM入門－ - NRIネットコムBlog
小西秀和です。 前回は「歴史・年表でみるAWSサービス(Amazon S3編) －単なるストレージではない機能・役割と料金の変遷－」の記事でAmazon S3の歴史や料金の変遷などを紹介しました。 今回は数年の間に名称変更や様々な機能が統合されてきたAWS Systems Manager(SSM)について歴史年表を作成してみました。 ただ、前回とは異なり、今回は料金の変遷や細かいアップデートは省略してSSMの主要な機能だけに着目しています。 また、本記事執筆時点の「現在のAWS Systems Managerの機能一覧と概要」もまとめました。 今回の記事の内容は次のような構成になっています。 AWS Systems Manager歴史年表の作成経緯と方法 AWS Systems Manager歴史年表(2014年10月29日～2021年12月31日までのアップデート) AWS System
Github actions はとても便利だ。テストやビルドを自動化するのに活用している。 パブリックリポジトリだと無料で実行環境が利用できるのがありがたい。 その無料の実行環境 Github-hosted runner では重すぎる処理を実行したくて Github actions の Self-hosted runner 環境を作った話は前回のエントリで書いた。 hero.hatenablog.jp 環境構築の動機となった目的は果たしたものの、作った環境はコスト性能比的にも良い選択だったのだろうか？ と思ってちょっと調べてみた。 今回はそれについて記す。 レイヤ数の多い大きな Docker イメージのビルドをギリギリ Github-hosted runner で実行していたのだけど、マルチアーキテクチャビルドをしようとして遂に処理できなくなった。仕方がないので、Self-hosted r
こんにちは。サービス開発室の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2024年版です。 こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2024年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2023年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 247個 です。 まとめるにあ
顧客拠点から Amazon VPCへの接続パターンまとめ（Whitepaper参照） | Developers.IO
2020年最新のホワイトペーパーから「顧客拠点からVPCへの接続パターン図説」を、日本語訳で１ページに抜粋してまとめてみました。 どうも、ちゃだいん（@chazuke4649）です。 今回は日本語訳ページが提供されていない AWS Whitepapers を参考に、「顧客拠点から Amazon VPCへの接続パターン」というテーマで１ページにまとめてました。 動機としては、まず最近更新の Whitepaper がPDFではなく、最新のUIで閲覧できるようになっていることに感動し、かつ図も多く構成パターンを比較するのに有用だと感じたので、欲が出て「１ページにまとまっていて日本語の状態で欲しい」と思ったのでいったん作ってみました。 概要 参照したWhitepaper バージョン 日付： 2020年6月6日 変更内容： ホワイトペーパーの更新 説明: AWS Transit GatewayとAW
EKS環境下でコストが増大する事例とfreeeのアプローチ - freee Developers Hub
はじめまして。freee の SRE チームに所属している nkgw （Twitter） です。 普段はエンジニアリングマネージャーをしつつ、開発チームの新規プロダクトリリースサポートをやっています。 我々のチームは大部分のプロダクトのコンピューティングリソース (CPU / Memory など) を Amazon Elastic Kubernetes Service (EKS) で実行できるようにインフラ基盤移行 (EC2 → EKS) を進めてきました。 移行プロジェクトの大部分は 2021 年 7 月に無事終わったのですが、移行スケジュールを最優先としたため割り当てている各リソースはかなり保守的 & 過剰でした。 (移行後の性能劣化が怖かったため、EC2 時代と比較し、1.5 倍のバッファを積むなど... etc) コスト増大したグラフ その結果、 去年と比較して、コストが倍以上に跳
Amazon Web Services ブログ 詳解: Amazon ECS による CPU とメモリのリソース管理 この記事は How Amazon ECS manages CPU and memory resources (記事公開日: 2019 年 10 月 21 日) を翻訳したものです。 2019 年 8 月 19 日に、コンテナ単位で Linux 上で使用可能なスワップ領域の設定をサポートする Amazon Elastic Container Service (Amazon ECS) の新機能を発表しました。この機会を利用して、ECS のリソース管理がどのように機能するかについて (この新機能によって導入された動作も含めて) 、一歩下がってより全体的な説明をしたいと思います。具体的には、ECS によってさまざまな起動タイプ (すなわち、Amazon EC2 と AWS Farg
皆さん、IAM使ってますか〜？ 今日は、IAMのベストプラクティスの中に呪縛のように存在する、最小権限をテーマに悩みを語ってみようと思います。 IAMでのセキュリティのベストプラクティス まずは、IAMのベストプラクティスの確認です。2020年7月現在では、17個存在しています。一番最後のビデオで説明するの唐突感以外は、どれも納得感がある内容で実践・遵守すべきです。 docs.aws.amazon.com AWS アカウントのルートユーザー アクセスキーをロックする 個々の IAM ユーザーの作成 IAM ユーザーへのアクセス許可を割り当てるためにグループを使用する 最小権限を付与する AWS 管理ポリシーを使用したアクセス許可の使用開始 インラインポリシーではなくカスタマー管理ポリシーを使用する アクセスレベルを使用して、IAM 権限を確認する ユーザーの強力なパスワードポリシーを設定
米Amazon.com傘下のAmazon Web Servicesが提供するクラウドサービスの説明文を読んだことがあるだろうか。俗に「AWS」と呼ばれるサービス群で、多くの企業や組織が利用している。ただこのAWS、各サービスの公式ページ冒頭にある説明文が理解しにくい。例えばAWSのうち、仮想サーバの構築に使う「Amazon EC2」の概要は、公式だとこのように説明されている。 この説明を聞いて、Amazon EC2なるものが、一体どんなサービスなのか理解できる人が、どれほどいるだろうか。恐らく非IT業種、非ITエンジニアであれば「理解できない」と思う人が大半だろう。 というか、IT関係者でもAWSの説明文を分かりにくいと感じる人は多い。2022年には、AWS公式っぽくカップラーメンを説明してみた文章がSNSで話題に。その分かりにくさから「結局SIerのブログとか見に行くやつ」「もはやAWS
開発と運用の理想的な関係とはどんな姿か。すでに「DevOps」という言葉は浸透しているものの、理想的な形で実践できているかとなると、話は別だ。現場ではどんな障壁があり、DevとOpsが分断されているのか。打開していくにはどうしたらいいのか。DevOpsという言葉が生まれる前から、その本質を実践してきたAmazonのカルチャーにヒントがありそうだ。AWSジャパン 塚田朗弘氏に聞いた。 今回お話を伺った、アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクト 塚田朗弘氏 ペアで語られてしまいがちな「マイクロサービス」と「コンテナ」 Amazonには「DevOps」や「マイクロサービス」という言葉が生まれる前から、DevとOpsを統合し、システムはAPIでやりとりするという原則がある。それを長年追求するなかで、開発カルチャーを育んできた。そんなAmazonから開発と運用の理想の
「はてラボ」のサービスも利用しているEKSクラスタの構成と運用について - Hatena Developer Blog
プラットフォームチームでSREをしている id:masayosu です。 プラットフォームチームでは、はてなのサービスの基盤となるサービスを開発・運用しています。 さらに、はてラボ（はてなアンテナ、はてな匿名ダイアリーなど）も担当しています。 これらはAmazon EKS（Elastic Kubernetes Service）というマネージドコンテナサービス上で、マルチテナントなクラスタとして運用されています。 EKSは2年前から運用を始め、現在は30近いサービスがクラスタ上で動作しています。 この記事ではEKS周辺の構成と、EKSを維持する運用について紹介します。 EKSクラスタの全体構成 EKS全体の構成は、以下の図のようになっています。 図の登場人物について簡単に説明します。 AWS EKS AWSのAmazon EKSは、マネージドなKubernetesサービスです。 Kubern
技術記事『Amazon Builders' Library』にフォーカスを当てた勉強会「AWS Tech talk Night#5 クラウドネイティブ時代のエンジニアが押さえておきたい ソフトウェアの構築・運用で考慮すべき5つのポイント 〜AWSプリンシパルエンジニアの技術記事をソリューションアーキテクトが解説〜」。ここで、ソリューションアーキテクトの吉澤氏が登壇。まずはAmazonがダッシュボードを重要視している理由と、実際の活用のポイントについて話します。 吉澤氏の自己紹介吉澤巧氏（以下、吉澤）：それでは「Amazonにおけるダッシュボードのベストプラクティス」というタイトルで、アマゾンウェブサービスジャパン、ソリューションアーキテクトの吉澤からお話しします。 まずは簡単に自己紹介です。私は2022年に新卒で入社した吉澤といいます。現在はソリューションアーキテクトというポジションで働い
介護や医療、ヘルスケア、シニアライフの領域で高齢社会の情報インフラを構築している株式会社エス・エム・エス（以下、SMS）のエンジニアの神谷です。コードを書く以外にも、採用などの組織づくり、開発環境整備など幅広く仕事をしています。 自分がSMSに入社したタイミングでは、開発現場にはよくある、開発環境がアップデートされていない、デプロイのためのコストが高く一度のリリースが大きくなってしまうなど「技術的負債」がたまっており、どのように負債を解消していくかを模索していました。 今回は、技術的負債の解消にどう取り組んできたのかを振り返って紹介できればと思います。少しでも、技術的負債に悩む方々の参考になれば幸いです。 技術的負債の解消に立ちはだかる様々な壁 自分は、iOSのエンジニアからキャリアをスタートしました。スタートアップでエンジニアをはじめたので、基本的にはなんでもやる姿勢で開発と雑用に取り組
【保存版】Azure/AWS/Google Cloud(GCP)/OCI サービス比較 - NOBTAの気ままにITブログ
※ 2021年1月 更新 マルチクラウド化が進むにつれて、各種クラウドサービスを比較する機会が増えるのではないかと思います。 今回は、自分の整理も兼ねて、Azure (Microsoft 365)／AWS／Google Cloud (Google Workspace)／OCI のサービス比較表 を作成してみようと思います。 *1*2 Azure/AWS/Google Cloud (GCP)/OCI サービス比較 マーケットプレース データベース ID WEB コンピューティング ストレージ セキュリティ 仮想デスクトップ 統合 分析 まとめ 参考情報 Azure/AWS/Google Cloud (GCP)/OCI サービス比較 マーケットプレース Azure AWS Google Cloud OCI マーケットプレース Azure Marketplace AWS Marketplace
New – Real-User Monitoring for Amazon CloudWatch | Amazon Web Services
AWS News Blog New – Real-User Monitoring for Amazon CloudWatch Way back in 2009 I wrote a blog post titled New Features for Amazon EC2: Elastic Load Balancing, Auto Scaling, and Amazon CloudWatch. In that post I talked about how Amazon CloudWatch helps you to build applications that are highly scalable and highly available, and noted that it gives you cost-effective real-time visibility into your
関連キーワード Amazon Web Services | Oracle（オラクル） | 富士通 | IaaS IaaS（Infrastructure as a Service）に関するスキルを身に付けたいと思ったら、クラウドベンダーの無料サービスを利用するのも一つの手だ。クラウドサービスの認定試験や学習教材の無料提供開始、クラウドサービス導入事例など、クラウドに関する主要なニュースを6つ紹介する。 併せて読みたいお薦め記事 OCIについて詳しく Oracleが「1コア1時間1セント」のArmインスタンス提供開始 常に無料のOCI「Always Free」の基礎 何が使える？ AWS無料プランとの違いは？ AWSではなく「Azure」「GCP」「IBM Cloud」「OCI」を選びたくなる強みとは？ 福井銀行が顧客情報管理システムをクラウド移行 その理由とは オンプレミスインフラで稼働させ
AWS 認定 SAP on AWS - 専門知識(AWS Certified: SAP on AWS - Specialty)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 SAP on AWS - 専門知識(AWS Certified: SAP on AWS - Specialty)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL SAP DOP SCS ANS MLS SAA DVA SOA DEA MLA AIF CLF 「AWS 認定 SAP on AWS - 専門知識」とは 「AWS 認定 SAP on AWS - 専門知識(AWS Certified: SAP on AWS - Specialty)」は一言で言えばAWS
AWS の利用料最適化の知識と実践力をつけるなら『Amazon Web Services コスト最適化入門』がオススメ！ - 継続は力なり
タダです. AWS を使っていると利用料金を気にしながら使っていくと思います.コストを最適化していくためにどんなサービスやツールを使ってコストを最適化していくかを学びたいと思って「Amazon Web Services コスト最適化入門」を購入しました.本書ではコストに関する知識と実践を両軸で学べてとても勉強になったので学べることと所感と一緒に本書を紹介します. 技術書典応援祭のページ techbookfest.org Booth booth.pm 目次 本書で学べること 読了後の所感 まとめ 目次 本書の章立ては次の通りです.本編として145Pの内容です. 第１章 Amazon EC2 第２章 Amazon EBS/EFS 第３章 Amazon VPC/データ転送 第４章 Amazon S3 第５章 AWS Simple Monthly Calculator 第６章 AWS Prici
みなさんこんにちは、杉金です。 Amazon Linux 2の後継にあたるAmazon Linux 2022のプレビュー版がきましたね！ついに！！ 公式リンク集 Newsページ GitHub 製品ページ ユーザーガイド Amazon Linux 2022とは Amazon Linux 2022（AL2022）はAWSが独自に提供するLinuxサーバOSです。Amazon Linux 2の後継として今回発表されました。AL2022以降、Amazon Linuxの新しいメジャーバージョンは2年ごとにリリースされ、四半期ごとのマイナーリリースが含まれ、5年間の長期サポートが付属するようです。特徴として、デフォルトでパッケージリポジトリが特定のバージョンにロックでき、継続的デプロイのセットアップを容易にします。また、デフォルトでSELinuxが有効になっています。AL2022は、AWS公式のFAQ
![[速報]Amazon Linux 2022がやってきた！(プレビュー版) | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e03678dab7b09cb34c564b7250c4c7eac8677103/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-ec2.png)
年始に勉強したい AWS セキュリティのコンテンツまとめ - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは、臼田です。 みなさん、AWSセキュリティの勉強してますか ? (挨拶 今回はタイトルの通り、時間のあるときにしっかり確認していきたい AWS セキュリティのコンテンツをまとめて紹介します。 この記事では AWS セキュリティを学習するための参考になるコンテンツをまとめますが、AWS という膨大なプラットフォームとセキュリティという広大な領域について、すべての人の需要を満たすことが難しいのは自明の理であります。コンテンツの種類もたくさんあるので以下の 5 編にまとめ、レベル感は初級者から上級者までごちゃまぜでその都度解説していくので、まずは全部眺めてから自身にあったものを選択してください。 AWS とセキュリティの基礎編 詳細を理解しようユーザーガイド編 じっくり読む課題ホワイトペーパー編 積読しないで参考書編 オフェンシブに挑戦編 コンテンツだけをババっと紹介してもいいのですが
巨大テキストファイルをsortコマンドでソートしてみる
巨大なテキストファイルをソートする問題について、sortコマンドの挙動を中心にAmazon EC2インスタンス上で検証を行いました。その結果を記事にまとめたものです。 お題の説明 先日のTwitterでこんな話題がありました。論旨としては、非常に大きくメインメモリに収まらないサイズのテキストファイルをソートしたい場合にどうすればよいか、というものです。 解法はさまざまなものがありえると思いますが、この記事ではsortコマンドによるソートを試してみました。 一般論としての解法 stackoverflowなどを軽く眺める限りだと「普通のsortコマンドが最良ではないか」「GNUのsortは入力が大きい場合は外部ソートをしてくれる」などの回答が見つかります。 https://unix.stackexchange.com/questions/120096/how-to-sort-big-files
こんにちは、Enterprise Cloud部 ソリューションアーキテクト1課 宮形 です。 昨年 令和5年度はガバメントクラウド関連のプロジェクトに関わる機会をいただき、地方自治体様向けにAWSの役務費用・利用料金の見積をお手伝いする機会が多々ありました。そのなかでエンジニアとして感じた苦労ポイントを本BLOGでご紹介させていただきます。 このBLOGを書いているちょうど先日、3月29日に「令和6年度ガバメントクラウド早期移行団体検証事業（第一回）」の公募および採択結果がデジタル庁より公示されました。「第一回」とあることから、年度内に追加で公募が行われると予想されますので、第二回以後に申込を検討している地方自治体ご担当様の参考になれば幸いです。 www.digital.go.jp 役務費用 依頼する作業範囲（スコープ）が不明 マイナンバー系ネットワークとAWSネットワーク間の責任分界点
AWSのホワイトペーパーから学ぶ AWS Organizations における推奨 OU 構成 - サーバーワークスエンジニアブログ
CI部 佐竹です。 本日は、AWSのホワイトペーパー（白書）を読みながら、AWS Organizations の OU に関するベストプラクティスを学びたいと思います。 はじめに Organization (組織) SCP (サービスコントロールポリシー) エンティティ Root OU (organizational unit) アカウント 構成図 Organizations における悩み Organizations のホワイトペーパー Recommended OUs Security OU Log archive account 運用ログデータ 不変的なログデータ このアカウントへのアクセスの管理 Security tooling accounts AWSサービスの一般的な例 Detection Identity and Access Management Incident Respon
AWS の障害分離境界について学べるホワイトペーパー AWS Fault Isolation Boundaries を読んでみた | DevelopersIO
AWS の障害分離境界について学べるホワイトペーパー AWS Fault Isolation Boundaries を読んでみた コンバンハ、千葉（幸）です。 Jeff Barr 氏のツイートで、新たな AWS ホワイトペーパー AWS Fault Isolation Boundaries が紹介されていました。 New - #AWS Fault Isolation Boundaries - https://t.co/M9ulCD3KI9 (PDF or HTML) "Don't let the boring title fool you" -- @QuinnyPig pic.twitter.com/FKxpZxXISh — Jeff Barr ☁️ (@ ? ) ? (@jeffbarr) November 18, 2022 ▲溢れ出るインパクト。「つまらないタイトルに騙されるな」！ ナ
待望！Amazon ECSのコンテナにログインできるAmazon ECS Execを試してみた - SMARTCAMP Engineer Blog
スマートキャンプ、エンジニアの入山です。 前回のブログにも書きましたが、弊社では昨年末から既存のEC2からECS/Fargateへのインフラ移行作業を実施しています。 EC2からECSへ移行する上では、特に運用面が大きく変わります。利便性やメンバーへの教育コストを考慮すると、今までEC2でやっていた運用をECSでどう上手く代替するかが力の入れ所だと思います。 一ヶ月前に弊社インターンの関口が書いた以下の記事も、既存運用の置き換えやデバッグ時の利便性向上を目的とした手段の１つで、この記事を執筆した時点ではECS/Fargate上のコンテナに対するAWS公式のログイン手段はありませんでした。 tech.smartcamp.co.jp 弊社のECS移行も稼働直前の佳境を迎えている最中ですが、この度Amazon ECS Execがリリースされ、待ち望んでいたECS/Fargate上のコンテナに対す
はじめに こんにちは。ブランドソリューション開発本部 WEAR部 SREの和田（@wadason）です。普段は「ファッションコーディネートアプリ WEAR」のSREとしてクラウドの運用やリプレイスをおこなっています。 WEARはサービス開始から10年が経ち、クラウドやオンプレミスを含む大小様々なシステムが稼働しています。アプリケーションを動かすための基盤にはAmazon ECSのようなコンテナを前提としたものから、オンプレミスのAPIやBatchを動かすIISまで幅広く扱っています。そうした中で、約1年前にSREチームが結成され、技術負債の脱却やクラウドを中心としたインフラの運用を行なってきました。当初取り組んでいた大規模なリプレイス案件も落ち着き、チームメンバーが増えてきたので、現在では分散した技術スタックをKubernetesへ統一するリプレイスプロジェクトを開始しています。 本記事で
New – A Shared File System for Your Lambda Functions | Amazon Web Services
AWS News Blog New – A Shared File System for Your Lambda Functions July 1, 2020: Post updated to take care that Amazon EFS increased file system minimum throughput, when burst credits are exhausted, to 1 MiB/s. I am very happy to announce that AWS Lambda functions can now mount an Amazon Elastic File System (Amazon EFS), a scalable and elastic NFS file system storing data within and across multipl
ECSを運用していくにあたり、気をつけておいたほうがよいことや改善ポイントがギュッと濃縮されたウェビナーでした。これからAWS上でコンテナワークロードを展開することを考えている全ての人にオススメな内容です。 みなさん、AWS INNOVATE視聴しましたか？ AWS Innovate オンラインカンファレンス | 2020 年 3 月 10 日 (火) 〜 4 月 17 日 (金) 開催 AWSの中の人が、幅広い分野で最新のクラウド事情を解説してくれるオンラインカンファレンスです。コロナウィルスの影響でなかなかリアルなイベントに参加する機会が難しくなりましたが、こういったオンラインで参加できるように設計されたカンファレンスはこの時期非常にありがたいですね。 いろんな分野がセッションあるのですが、自分は「実践的 AWS コンテナ運用ガイド -モニタリング、ロギング、デプロイ、スケーリングの実
[アップデート] 実行中のコンテナに乗り込んでコマンドを実行できる「ECS Exec」が公開されました | DevelopersIO
もう、コンテナ調査のためにEC2に乗り込む必要は無い！ もう、Fargateだからコンテナの状況が見れないと悩むこともない！ ECS開発者待望の機能がリリースされました！ みなさん、こんにちは！ AWS事業本部の青柳＠福岡オフィスです。 Amazon Elastic Container Service (ECS) において、実行中のコンテナに乗り込んでコマンドを実行できる機能「ECS Exec」が公開されました。 Amazon ECS now allows you to execute commands in a container running on Amazon EC2 or AWS Fargate どんなものなのか、早速使ってみたいと思います。 これまでの方法 デバッグやトラブルシューティングを行うために、実行中のコンテナに乗り込んでコマンドを実行したいという時があると思います。
![[アップデート] 実行中のコンテナに乗り込んでコマンドを実行できる「ECS Exec」が公開されました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f10e4b6d55aa4fe987e9584f7b2febd50e43f158/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-elastic-container-service.png)
AWS Backupの新機能、Amazon RDSのデータベースを任意の時点に戻せる「継続的バックアップ」と「Point-in-timeリカバリ」が登場
AWS Backupの新機能、Amazon RDSのデータベースを任意の時点に戻せる「継続的バックアップ」と「Point-in-timeリカバリ」が登場 AWSは、Amazon Relational Database Service（Amazon RDS）のデータベースをいつでも任意の時点の状態にもどせる、継続的バックアップ（continuous backup）機能とPoint-in-timeリカバリ機能をAWS Backupサービスでサポートしたことを発表しました。 New Storage post by Kelly Griffin: Point-in-time recovery and continuous backup for Amazon RDS with AWS Backuphttps://t.co/LvyqRxuomE — AWS Blogs (@AWSBlogs) March
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
7年間運用したソーシャルゲームを Amazon EC2構成からAmazon ECS構成へと 乗り換えた話
AWSのt4g.smallインスタンスを無料で使おう | SIOS Tech. Lab
ダウンタイムなしでEC2からEKSへ移行しました！ - Tech Inside Drecom
Github actions のコスパについて考えた - たゆたふ。
【2024年】AWS全サービスまとめ | DevelopersIO
詳解: Amazon ECS による CPU とメモリのリソース管理 | Amazon Web Services
AWS IAMの最小権限追求の旅 - プログラマでありたい
読める、読めるぞ！ 難解な「AWS公式のサービス説明」、ChatGPTの説明なら分かりやすかった
マイクロサービスの失敗は技術だけの問題か――Amazonに学ぶ開発・運用組織の理想形とは
「ダッシュボード」は「設計」「構築」などと同じくらい重要である Amazonのダッシュボード活用のポイント2つ | ログミーBusiness
モダンな開発環境を追求するSMSの技術負債解消の軌跡 - エス・エム・エス エンジニア テックブログ
NTTドコモが実践、「Amazon EC2」の料金を“半額”にする方法
[速報]Amazon Linux 2022がやってきた！(プレビュー版) | DevelopersIO
ガバメントクラウドのAWS見積で苦労したポイント10選 - サーバーワークスエンジニアブログ
WEARにおけるKubernetes導入と改善の歩み - ZOZO TECH BLOG
ECSの実践的コンテナ運用基礎を凝縮された30分ウェビナーで学ぶ | DevelopersIO