6年ぶりぐらいにクラウド使った結果、Kubernetes以外のマネージドサービスとか基本要らなくない？となった話 - データエンジニアの酩酊日記
ここ半年ぐらい、かなり久々にクラウド使ってアプリやバッチの基盤作ったりしてきて、色々と思ったことを書き捨てる。 「ちょっと検証してみた」程度のものも含めれば、AWSとGCPは一通り主要なマネージドサービスを触ったし、実際に複数のアプリやらバッチやらをマネージドサービス上で本番稼働させて今も運用してるけど、結局DB以外は基本全部Kubernetesに乗せるのが一番楽だと強く思うようになった。 Kubernetesは学習コストや運用コストがそれなりに高く付くから安易に採用するのはどうなのか、みたいな論調もあるし、つい半年前までは自分もそう思ってた。サーバレスなマネージドサービスが色々出てきているのに、なんでわざわざKubernetesクラスタなんていう設計、運用に手間のかかるクラスタリングサーバーを立てて管理しないとならんのかと。 だけど、実際にいくつかのマネージドサービス使ってアプリやバッチ
AWSの膨大で複雑なサービス群をすべて「たった1行」で説明していくとこうなる
AmazonのクラウドサービスであるAWSは、コンピューティングやデータベース、ストレージなど、膨大で複雑なサービスで構成されています。こうした豊富なサービス群をうまく組み合わせて利用する「ビルディングブロック」がAWSのメリットでもありますが、サービス数が多すぎてなかなか全体像を把握できないのも事実。フリーランスのエンジニアでありコンサルタントでもあるジョシュア・テイセン氏が自身のブログで、AWSのすべてのサービスを「たった1行」で説明しています。 Amazon Web Services https://adayinthelifeof.nl/2020/05/20/aws.html テイセン氏によると、Amazon Dashboardから利用可能なAWSのサービスは記事作成時点で163あるとのこと。そのすべてを正確に理解する必要はありませんが、基本を押さえておくことはいいことであり、問題の
普通のプログラマーがAWSをゼロから勉強するためにやったことと現在の勉強方法 ｜ Developers.IO
大阪オフィスのYui(@MayForBlue)です。 クラスメソッドでAWSエンジニアというロールで働き始めて２ヶ月が経ちました。 元々プログラマだった私がAWSを勉強するために何をしたか、いま現在どのようにAWSを勉強しているかを備忘録として残しておきたいと思います。 特にこれからAWSを勉強したいと思ってる方の参考になると嬉しいです。 ポエムです。 目次 AWSを勉強するために最初にやったこと 現在の勉強方法 最後に AWS学習のおすすめ記事 AWSを勉強するために最初にやったこと 当時のスペック 当時(約10ヶ月前)はプログラマ歴1年ちょっとでインフラ、クラウドは実務経験も知識もない状態でした。 仕事では主に業務アプリのプログラマをやっていました。 なぜAWSを勉強しようと思ったか そもそもプログラマなのになぜAWSを勉強しようと思ったかですが、初めはAWSではなく"インフラ"を勉強
入社約半年の文系出身が、AWSアソシエイト3種類を取得できたので体験談共有します | 株式会社サーバーワークス's Blog
こんにちは。株式会社サーバーワークスの新人、孔（こん）です。今月5日にAWS Developerのアソシエイトを取得し、アソシ3種類取得に成功しました。今回は、試験に向けてどのように勉強したか、そして試験の内容はどうだったかの感想を共有したいと思います。 AWSの資格取得に興味を持っている方々にとって試験資格に役立つ情報を提供できればと思っています。少し長いですが、絶対参考になるところがあると思いますので、ご一読いただけますと幸いです。 それでは、始めましょう！ 状況共有まず、私がAWS資格の勉強を始めた5月の状況を共有したいと思います。 文系学部卒、IT関連知識はゼロの状態IT知識は皆無だったが、会社の技術研修で基礎的な内容を勉強していたAWSところか、インフラもよくわからない状況前提条件としてはこの上ないまっさらな状態ですね。もしIT知識、特にインフラの知識がある程度ある方であれば、も
AWS ElasticCacheのRedisをDefault設定で使ったときのConnection Leakの解決方法 - Akatsuki Hackers Lab | 株式会社アカツキ（Akatsuki Inc.)
現在、弊社にて提供しているサービスのほぼ全てにおいてAWS(Amazon Web Service)を利用しており、その中でも頻繁にアクセスが必要なデータについてはElasticCacheのRedis/Memcachedを利用しています。今回は、そのElasticCacheでRedisを利用する場合において、弊社の運用で発生してしまったトラブルと対応方法について紹介させていただきたいと思います。 TL;DR AWS ElasticCacheのRedis ServerのDefaultのパラメータ設定では、Connection Timeoutの設定がされていないので、そのまま放置するとConnection数が溜まり続けて危険ですので、ConnectionのTimeout設定を行いましょうというお話になります。 今回発生した問題 Blue-Green Deploymentを多用して何度もデプロイを
【未経験でも挫折しない】40時間でAWS認定ソリューションアーキテクトアソシエイトを取得する方法 - Qiita
クラウドって何？ 「クラウド触りたいけど、どうやったらいいのか分からない」 「色んなサービスあるけど、何が良いの？何ができるの？？」 「いや、学習時間ないし・・・」 そういう方にやってみて頂きたい！！ そういう想いで書いていますが、クラウドを解説しているわけではありません。 この教材で、こんな気持ちで、このやり方でやれば、資格とれるくらいの知識と経験が積めますよというものです。 方向性が決まってるのでそれなりの気持ちで挑めば、挫折することなく走り切れると思います。 (知識と経験から、自宅・業務の環境改善にも繋がればいいなくらいの軽い気持ちが◎) AWSとは Amazonが提供しているクラウドサービスです。(そのまま) サーバー等はAmazonが管理するので、そのサーバー上で提供しているサービスを自由に使ってね。みたいなイメージです。 もちろんサービスなのでお金はかかりますが、無料利用枠とい
AWSアカウントとVPC、分ける？ 分けない？: 分割パターンのメリット・デメリット | DevelopersIO
分割の基準を2つに絞っても、9パターンもありました。各構成を1つずつ見ていきましょう。 1. 単一のAWSアカウントを使う この構成パターンは、一見単純です。しかし、すべてのシステムを1つのAWSアカウントの中に構築するため、アカウント内の環境はかなり複雑になります。 1-1. 単一のAWSアカウント、単一のVPC default VPC以外のVPCを1つ明示的に作り、その中に複数のシステム、複数の環境を混在させる構成です 1-2. システムの種類と環境の用途でVPCを分割 システムの種類でVPCを分け、さらに本番用と開発用など環境の用途によってもVPCを分ける構成です 1-3. システムの種類でVPCを分割 システムの種類によってVPCを分けますが、開発環境や本番環境を1つのVPC内に構築する構成です 1-4. 環境の用途でVPCを分割 環境の用途によってVPCを分けますが、複数の異なる
【図解/AWS】インターネットGWとNAT-GWの違い〜各メリット、パブリックサブネットとは〜
インターネットゲートウェイとはインターネット GW は Static NAT を行います。つまり、パブリック IP を割り当てられた EC2 インスタンス等は、プライベート IP とパブリック IP が 1 対 1 で変換されます。 Static NAT の場合、NAT テーブルには通信前から「プライベート IP とパブリック IP の変換ルール」が定義されていますので、EC2 から始まる通信であっても、インターネットのクライアントから始まる通信であっても、IP は変換され、通信が可能です。 なのでインターネット GW の使い道は主に「インターネットからのアクセス」と「インターネットへのアクセス」の両方を実現することです。 インターネット GW は VPC に配置します。そしてインターネット GW を使いたい EC2 インスタンスは、「デフォルトルート 0.0.0.0/0 のターゲット」と
例: プライベートサブネットにサーバーがある VPC および NAT - Amazon Virtual Private Cloud
この例は、本番環境のサーバーに使用できる VPC を作成する方法について説明しています。回復性を高めるには、Auto Scaling グループと Application Load Balancer を使用してサーバーを 2 つのアベイラビリティーゾーンにデプロイします。セキュリティを強化するために、サーバーをプライベートサブネットにデプロイします。サーバーはロードバランサーを介してリクエストを受信します。サーバーは、NAT ゲートウェイを使用してインターネットに接続できます。回復性を高めるには、NAT ゲートウェイを両方のアベイラビリティーゾーンにデプロイします。 概要 次の図は、この例に含まれるリソースの概要を示しています。VPC には、2 つのアベイラビリティーゾーンにパブリックサブネットとプライベートサブネットがあります。各パブリックサブネットには、NAT ゲートウェイとロードバラン
【AWS】パブリックサブネットとプライベートサブネットを作成し所属するそれぞれのEC2インスタンスがインターネットに出ていける設定
AWS ネットワーク構成図 AWSの場合は絵がないと本当に理解するのが大変なので、まずは構成図を作成しました。 構成図を基にどのような構成で何をしたいのかを説明していきます。 VPCは1つです。 VPCに2つのサブネット（「パブリックサブネット」と「プライベートサブネット」）作ります。 イメージとしては パブリックサブネット ← Webサーバ プライベートサブネット ← DBサーバ（RDSでもよい） が配置されるような構成です。 決して複雑な構成ではないのですが、AWS のルール（規則）や、ルーティングなどを把握していないと、単純にサブネットを作成しても会社や自宅からインターネット経由でログインできない、ログインできても「yum update」や「Windows Update」すらできないことがあります。 1つ1つ手順を確認しつつ上記の構成を構築していきます。 事前準備 NAT ゲートウェ
AWSにおける可用性の考え方 | DevelopersIO
よく訓練されたアップル信者、都元です。今回はコードや操作手順などなく。 オンプレミス環境等と比較すると、AWS上で稼働させるシステムには、サーバアーキテクチャはもちろん、アプリケーションのアーキテクチャにも色々考えるべきポイントが多々あります。AWSで仕事をしていると当たり前過ぎてなかなか記事として言及する機会がないのですが、これらのアーキテクチャを組み上げる基礎知識となる、AWSにおける可用性の考え方をまとめてみました。 サーバは落ちるもの、データセンタは止まるもの AWSにおいては、単体のEC2インスタンスは「突如として落ちるかもしれない」という前提があります。さらに、何らかの障害や災害等で「AZ(availability-zone)も丸ごと落ちるかもしれない」という前提があります。突然落ちるというのは大げさ（でもないのですが…）にしても、時にEC2インスタンスはAWSから強制的に「再
Tips：RDSでのIOクレジットバランスの考え方（汎用SSDボリューム） | DevelopersIO
ベルリンの半瀬です。 はじめに RDSのI/Oクレジットバランス周りで調べ物をしたときのメモです。 ボリュームタイプとI/Oクレジットバランス（I/Oクレジット）の基本 RDSは、データベースとログのストレージとして EBSボリュームを使用している。 ボリュームタイプに汎用SSDを利用している場合、サイズに比例するI/Oのベースラインパフォーマンスが決まっている ベースラインパフォーマンスを超えたI/Oリクエストを受けることは可能 ベースラインパフォーマンスを超えたI/Oリクエストを受けている場合、超過分のI/Oクレジットが消費される（バースト） ボリュームの初期作成時に、5,400,000 I/Oクレジットが割り当てられる I/Oリクエストがベースラインを下回った（バーストが終わった）場合、I/Oクレジットは補充されていく I/Oクレジットの補充速度はボリュームサイズに比例して速くなる
[SolutionArchitect Pro] AWS RDS マルチAZ & リードレプリカ – STAY KOBE
DB インスタンスのレプリカは、マルチ AZ & リードレプリカの2つの方法で作成できます。 マルチAZ デプロイ マルチ AZ デプロイにより、高可用性とフェイルオーバーのサポートを実現する。 RDS は、別の AZ (物理的に別の場所にある独立したインフラストラクチャ) で同期スタンバイレプリカを自動的にプロビジョニングおよび管理します。 RDS は自動的にスタンバイ状態にフェイルオーバーするため、データベース操作が管理者の介入なしに迅速に再開できるようになります。 計画データベースの保守 ソフトウェアのパッチ プライマリ・インスタンスの再起動 プライマリ DB インスタンスの接続またはホストの障害、または アベイラビリティーゾーンの障害 リードレプリカ RDS は、PostgreSQL、MySQL、および MariaDB DB エンジンの組み込みレプリケーション機能を使用して、ソース
![[SolutionArchitect Pro] AWS RDS マルチAZ & リードレプリカ – STAY KOBE](https://cdn-ak-scissors.b.st-hatena.com/image/square/c38e2660eac0664ee18c29c4c705bda793d79cbb/height=288;version=1;width=512/https%3A%2F%2Fstay-ko.be%2Fwp-content%2Fuploads%2F2017%2F10%2F07123335%2Faws_new_logo.png){kind=logo}
Amazon VPC IPアドレス設計レシピ | DevelopersIO
はじめに AWSにはEC2やRDS、RedshiftなどVPCに対応したサービスが数多くあります。 これらのサービスを利用する場合、まずはVPCやサブネットを作成します。 VPCの作成ではIPアドレス(=CIDR)に何を指定するか迷う方が多いのではないでしょうか。 私がVPCとサブネットのCIDRを決める際に考慮しているポイントは、ざっと以下の通りです。 プライベートIPアドレス範囲から指定する VPNやDirect Connect利用時はオンプレミスとの重複に注意する VPCピア利用時はVPC間で重複できない 将来の拡張に対応可能なCIDRを選択する 最低でも/28以上が必要 CIDRブロックのうち、5IPは利用できない ELBを配置するサブネットは/27以上のCIDRかつ、少なくとも8個の空きIPを用意する それぞれの詳細をご紹介し、最後に優先順位をまとめます。 プライベートIPアドレ
運用担当者のためのAWS改善マップ | DevelopersIO
Trusted Advisor AWS Trusted Advisorは、コスト、パフォーマンス、セキュリティ、耐障害性、サービスの制限について、アドバイスしてくれるサービスです。 サポートプランによって、チェック項目が異なります。 セキュリティについては、セキュリティグループの無制限アクセス、S3バケット許可などをチェックしてくれます。 セキュリティについては、赤の指摘項目は0にしましょう。 insightwatch insightwatchは、弊社が提供するサービスです。 AWSアカウントが、ガイドラインに沿ったセキュリティのベストプラクティスで運用されているかチェックします。 複数アカウントをチェックしやすいため、たくさんのアカウントを運用されているかたに特にお勧めします。 どなたでも無料でご利用いただけます。 IAMの見直し、定義 IAM のベストプラクティスに基づいた見直しを行い
AWS CodeDeployを使ってEC2インスタンスのデプロイを行う｜新卒エンジニアの開発日記
はじめに AWSのサービスのひとつにCodeDeployというサービスがあります。 今回はこのCodeDeployを使う機会があったのでそれについて調べたことをまとめていこうと思います。 CodeDeployではデプロイする元のソースはS3かGitHubができますが今回はGitHubで行います。 CodeDeployとは CodeDeployとは、EC2インスタンスへのデプロイを自動化出来るサービスです。 デプロイをする際にはダウンタイムを最小限におさえるために多くの工程があるかとおもいますが、それを自動化し作業の効率化につながります。加えて、複数のEC2インスタンスで冗長化等している場合にも、一元管理をしてくれて簡単にデプロイをすることができます。 今回はEC2インスタンスへの設定となりますがオンプレミス環境でもCodeDeployを使用することが出来るみたいです。 CodeDeploy
AWSを学び直した際の備忘録 - コンユウメモ @kon_yu
Udemyのセールで購入した下記の講座が大変良かったので、紹介するとともに学び直した内容の備忘録を残しておくことにした。なのでこの記事で特定のAWSの機能の設定の仕方などは書いてはいない。Linuxの基本的なことはわかっている人がAWSを体系的にどうやって学んだのか、どういう理解の仕方をしたのかを知ることができるという内容だ。 手を動かしながら2週間で学ぶ AWS 基本から応用まで 作者の方の紹介ページ www.ketancho.net こちらの副読本とした。 比較的新しい本であり上記の作者の方も作者に名を連ねているところから、用語の説明の仕方などにUdemyの講座とブレが少なく理解しやすそうなのでこちらを選んだ Amazon Web Services パターン別構築・運用ガイド 改訂第2版 (Informatics&IDEA) 作者: NRIネットコム株式会社,佐々木拓郎,林晋一郎,小西
手を動かしながら2週間で学ぶ AWS 基本から応用まで | Udemy
Udemyは、学びたい人、教えたい人のためのオンラインのマーケットプレイスです。プログラミング、マーケティング、データサイエンスなど、220000以上のコースを7,000万人の受講生が学んでいます。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon VPCのネットワークACLについて | DevelopersIO
AWSのリザーブドインスタンスで大失敗した件（後半） | NoveLel ~のべれる~