dbtでCIを実現するために、Github ActionsでAWSのVPC越えしたい。 - KAYAC engineers' blog
この記事はTech KAYAC Advent Calendar 2023の8日目の記事です。 こんにちわ。その他事業部SREチームの@mashiikeです。 最近、風変わりな記事を連投しているのですが、今回も風変わりです。 ひとことで要約すると、 私は！Github Actionsから！Redshiftにアクセスしたいんだ！！！ です。 TL;DR dbtのCIを実現したい。ローカルのunit-testはできてるんだが、Github ActionsからRedshiftへのアクセスに難がある。 Github ActionsからRedshiftにアクセスするために頑張ってみた。 kayac/ecspressoで踏み台となるECS Taskを立ち上げる。 fujiwara/ecstaでportforwardingする。 mashiike/redshift-credentials で一時認証情報を
Amazon VPC設計時に気をつけたい基本の5のこと | DevelopersIO
EC2やECS、RDSなどといったサービス利用時にAmazon VPC（以下よりVPC）が合わせて必要になります。 VPCの設計はCIDRとテナンシーの選択のみとシンプルですが、案外迷ってしまいます。 私が設計時に気をつけている5点をまとめてみました。 RFC1918準拠のIPアドレス範囲から指定する IPアドレスの範囲はrfc1918に準拠した範囲を指定することを推奨します。 少し難しく聞こえますが、下記のIPアドレス範囲から指定するということです。 10.0.0.0 - 10.255.255.255 (10/8 プレフィックス) 172.16.0.0 - 172.31.255.255 (172.16/12 プレフィックス) 192.168.0.0 - 192.168.255.255 (192.168/16 プレフィックス) よく見るプライベートIPアドレス範囲ですね。 16ビット以上で
AWS導入前に知っておきたかった「VPC設計」 - Qiita
1.はじめに 以前、「AWSアカウント設計」について記事を出しました。 今回は、このアカウントを作った後避けては通れない「VPC設計」について書いていきます。 VPCは設計をせずに作成することも可能ですが、 「どこのVPCにEC2を構築すれば良いのか？」とか「管理が大変！」等の壁にぶつかり、 後々後悔することがあるので、事前に設計することをおすすめします。 今回は、アカウントを複数作成することを考慮した上で 『環境ごとにアカウントを分けたパターン』 『システム・環境ごとにアカウントを分けたパターン』 の2パターンで考えていこうと思います！！ 私個人的におすすめな構成ですので、参考になれば幸いです。 2.VPC設計 2-1.環境ごとにアカウントを分けたパターン このパターンのアカウントの分け方は以下の図のようになっています。 図.2.1.1.環境ごとにアカウント分割パターン そして以下の図の
俺が考える最強のネットワーク構成 〜AWS試験の9冠はVPCをこう考える〜/akiba-aws-vpc
2018年6月7日に開催したAKIBA.AWS 第8回の資料です。
AWSのマネージドサービスとVPCを設計するときの要件まとめ | DevelopersIO
2018/02/05 表の記載に誤りがあったたため、訂正(RDSとRedshiftのPublic/Private併用は可能でした) ども、大瀧です。 AWSでシステムを設計するときに欠かせないポイントとして、ユーザー専用のネットワークを提供するVPCの適用があります。VPCは柔軟なネットワークが構成できる一方でAWSのマネージドサービスごとにサポート状況や制約がまちまちで、設計フェーズで要件を確認するのは結構大変だったりします。そこで今回は、AWSマネージドサービスとVPCを設計するときの要件をまとめてみました。 クライアント→AWSマネージドサービスのVPC対応 マネージドサービスで作成したサーバーリソースに対してクライアントからアクセスするときのVPCの対応について、表でまとめてみました。 サービス名 インターネットからのアクセス(Public) VPC内からのアクセス(Private
AWSアカウントとVPC、分ける？ 分けない？: 分割パターンのメリット・デメリット | DevelopersIO
分割の基準を2つに絞っても、9パターンもありました。各構成を1つずつ見ていきましょう。 1. 単一のAWSアカウントを使う この構成パターンは、一見単純です。しかし、すべてのシステムを1つのAWSアカウントの中に構築するため、アカウント内の環境はかなり複雑になります。 1-1. 単一のAWSアカウント、単一のVPC default VPC以外のVPCを1つ明示的に作り、その中に複数のシステム、複数の環境を混在させる構成です 1-2. システムの種類と環境の用途でVPCを分割 システムの種類でVPCを分け、さらに本番用と開発用など環境の用途によってもVPCを分ける構成です 1-3. システムの種類でVPCを分割 システムの種類によってVPCを分けますが、開発環境や本番環境を1つのVPC内に構築する構成です 1-4. 環境の用途でVPCを分割 環境の用途によってVPCを分けますが、複数の異なる
AWS Lambda with VPCでのトラブルシュート事始め - Qiita
はじめに AWS Lambdaが2016年2月11日に待望のVPCアクセスをサポートしてから1ヶ月とちょっと経ったわけですが、その特性や気をつける点については以前こちらで簡単にまとめました。今回は実際にVPCアクセスを利用しようとして上手く行っていない場合にチェックすべきポイントについて簡単にまとめます。 といっても基本的にはAWS Lambda固有の話ではなく、VPC周りの確認が主になります。 なお、VPCの件以外にもAWS Lambdaの挙動などハマりがちなポイント、確認すべきポイントについて先日のJAWS DAYS 2016で登壇した際にまとめたのでこちらも合わせて参照ください。 本投稿は個人によるものであり、所属する企業や団体に関係するものでも代表するものでもありません AWS Lambdaにおけるネットワーク的な制限 まず、AWS LambdaでVPCアクセスを有効にしたにも関わ
安全なVPC設計
安全なVPC設計 Tweet VPCの構築はAWS を使って Web サービスを構築する上で避けて通れないものですが、デフォルトで作成済みの VPC はセキュアとは言い難いものです。 しかしながら、正しい VPC を構築するためにはネットワークに関する知識に加えて AWS 特有の事情も関わってくるため、Web アプリケーション開発者にとって容易なものではない場合が多いでしょう。 この記事では、私のおすすめする VPC の設定の紹介と、なぜそのような設定がよいのか、他の設定と比較します。 public と private サブネット public サブネットとは、インターネットにアクセス可能なサブネット、つまり、そのサブネットのルートテーブルに Internet Gateway が設定されているサブネットのことです。 一方で private サブネットとは、直接のインターネットアクセスのでき
運用的関心事を実験的にAWS Lambda on VPCにお任せしてみたので所感 - tehepero note(・ω<)
2016 - 02 - 25 運用的関心事を実験的にAWS Lambda on VPCにお任せしてみたので所感 AWS Lambda Slack リリースした時はきれいだったコードも、運用に曝されることで汚くなっていったりしますよね。 ChatOpsな今のプロジェクトでは、「 とあるイベントが発生した際に、運用担当者が迅速に反応できるようSlackに通知してほしい 」という要望が出てきたりしています。以前であれば、メール通知してたところでしょうかね。 運用的関心事は移ろいやすい かつて Java で AOP が流行りだした頃に、ロギングだったり権限チェックだったりの処理を メソッド にweavingしたInterceptorに追いやるという、所謂「横断的関心事」を ビジネスロジック の本質から除外するという手法がありましたね。 自分が運用的関心事と言っているのは何のことかというと、 アプリ
AWS LambdaのVPCアクセスに関して少しだけ解説 - Qiita
AWS LambdaのVPC内リソースへのアクセスが可能になるアップデートが行われました。これは昨年のre:Inventで発表のみされていたものの、その時点ではまだ使えず非常に多くの人がそのリリースを待ち望んでいた機能です。基本的な内容はこちらのブログ記事を参照頂くとして、ここではいくつかキーとなるポイントを簡単に紹介したいと思います。 概要 ブログを読んでもらえばわかるのですが簡単に説明すると、これまでAWS LambdaのファンクションはVirtual Private Cloud(VPC)内にあってパブリックなIPを持っていないAWSリソースにはアクセスできませんでした。従ってAWS Lambdaからデータベースにアクセスしようとした場合にはデータベースサーバのIPアドレスやポートをパブリックにした上でアクセスを許可する必要がありました。一方でAmazon ElastiCacheのよう
AWSのネットワーク設計をサボらないでちゃんとやる
新規事業の立ち上げにAWSを選択する こういう状況はままあるでしょう。最安というわけではないけれど、将来どんな開発が必要になるか全く想像できない新規事業立ち上げフェーズにおいて、多種多様なPaaSを提供してくれるAWSはとても魅力的。 さて、いざ、EC2インスタンスを立ち上げてアプリケーションをデプロイするわけだが、みなさん、ちゃんとネットワーク設計していますか？まさかデフォルトVPCでサービス運営なんてしてないですよね？ というわけでネットワーク設計をして、VPCを設定していくわけだが、何を作ればよいか決まっている事業フェーズならともかく、新規事業立ち上げフェーズでは「将来どんな機能が必要になるかわからない」という前提でネットワーク設計をしておかなければいけない。そこで、「例えばこんな設計はどうでしょう」という提案をしてみる。 IPレンジ設計 まずはVPCとサブネットを使ってIPレンジを
物理サーバを選定する際のポイント – Eureka Engineering – Medium
Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.
AWSの侵入テストを同一VPCで完結したい場合の申請方法 - Qiita
AWSで脆弱性診断を行うときには「ちゃんと意図してやってますよ、sourceもdestinationも特定してますよ」ということを申請する必要があります。 今回同一VPCで完結した侵入テストを行う申請をしましたが、外部からの侵入テストとはすこし違う申請方法が必要でしたのでまとめます。 注意点はsource IPとdestination IPはプライベートアドレスで届け出をすることです。 同一VPC(更に今回は同一subnet)で完結する場合、プライベートアドレスで届け出をする必要があります。 申請後しばらく時間が経過して、許可された場合以下のようなフォーマットでメールが届きます。 Hello, Thank you for contacting us. We have received your request for authorization for penetration testin
VPC にプライベートサブネットを作るのはエンジニアの思考停止か？ | はったりエンジニアの備忘録
タイトルは若干釣りです ;-) 一般的な Web サービスにおいて、VPC にプライベートサブネットは必要ですか？という話です。 VPC の設計でよくあるのが、パブリックサブネットとプライベートサブネットを持つ 2 層レイヤの VPC です。公式ドキュメントにも例があります。 シナリオ 2: パブリックサブネットとプライベートサブネットを持つ VPC パブリックサブネットがいわゆる DMZ セグメントで Web / App サーバが配置されます。プライベートサブネットはインターネットから隔離されたセグメントで DB サーバが配置されます。 このプライベートサブネットは AWS の良さを殺してしまうだけで意味がないと思っています（AWS を前提に書いていますが、オンプレミスにも同じことが当てはまると思います）。 プライベートサブネットが不要だと思うワケ Web / App サーバの設定ファイ
AWS Summit Tokyo 2015 で、「freeeの急成長とAWS」というタイトルで発表しました - futoase
AWS Summit Tokyo 2015 www.awssummit.tokyo アマゾンデータサービスジャパン様 主催のAWS Summit Tokyo 2015 で、 freeeの急成長とAWS というタイトルで発表しました。 発表させていただいたプレゼンテーションの内容は、 「創業期から現在に至るまでのインフラの変化、AWSさんの各種クラウドサービスを利用しつつ、会社の急成長と共にどのような形に変わっていったのか」 となっています。 AWS Summit Tokyo 2015 freee // Speaker Deck プレゼンテーション資料の作成には、弊社CTO 横路を始め、 インフラチームによるレビュー、及び 弊社マーケティングチームによるヘルプなどがあり、 作成することができました。 無事、発表が時間内に収まる形でできたのでとても良かったです。 私が入社したのは2014年6月
Amazon VPC環境にメンテナンス用の踏み台サーバを構築する | DevelopersIO
よく訓練されたアップル信者、都元です。前回は「Amazon VPCを使ったミニマム構成のサーバ環境を構築する」と題して、Amazon VPCに小さなサーバ環境を構築しました。この環境は、アプリケーションサーバ（Webサーバ）がユーザからのHTTPを受け付けつつ、管理者によるメンテナンスのためのSSHの受け付けも兼ねている状態です。セキュリティの観点からは、あまり好ましい状態とは言えませんね。 そこで今回は、メンテナンスのための踏み台(bastion)サーバを構築し、よりセキュアな構成にしてみましょう。環境の構成図は右の通りです。まず、アプリケーションサーバはHTTPのみを受け付けるようにSecurity Groupを調整します。また、public subnetの中にもう一つサーバを起動し、踏み台として使います。こちらはSSHのみを受け付けるように調整します。踏み台サーバは常時起動しておく必
AWSで最低限セキュアな構成を組む - Qiita
最低限セキュアな構成とは 「最低限セキュアな構成」を次のように定義する。 Webサーバーやデータベースサーバーが直接、インターネットに公開されていない。 公開・非公開に関わらず、特定のポートのみインバウンドを受け付けている。 非公開のサブネットは特定のサブネットからのみインバウンドを受け付けている。 踏み台サーバーは必要な時のみ存在している。 この定義を満たす構成は次のようになる。 構築手順 ざっくりと以下の手順を踏む。 VPCの構築 パブリックSubnetの構築 Subnetの構築 Internet Gatewayの構築 Route tableの構築 プライベートSubnetの構築 Subnetの構築 パブリックSubnetにNATインスタンスを構築 Elastic IPのアロケートとNATインスタンスへの結び付け Route tableの構築 Auto Scaling Groupのため
AWS NATインスタンス構築とSerfによる冗長化 | Weboo! Returns.
2015.12.17追記：マネージドNATゲートウェイというサービスがリリースされました。 AWS VPCでプライベートサブネット内に起動したインスタンスは、インターネットと通信することができません。外部リポジトリやAmazon S3等の各種サービスも利用するためには、NATインスタンスを用意して外部との通信を中継する必要があります。 このためにAWSではNATインスタンス用のオフィシャルなAMIが提供されているのですが、わざわざ専用のインスタンスを稼働させるのは勿体ないので、ヴェッテルでは管理用サーバにNATインスタンス機能を持たせて併用しています。またNATインスタンスがSPOFにならないように障害が発生したら、自動的にフェイルオーバーするような冗長化も行っています。 ここでは、オフィシャルなAMIを利用せずに独自でNATインスタンスを構築する方法と Serf による冗長化の方法を紹介
Amazon VPCを使ったミニマム構成のサーバ環境を構築する | DevelopersIO
よく訓練されたアップル信者、都元です。AWSにおいては、ネットワーク環境をあまり気にせず、数クリックで簡単にサーバを構築できるのは一つのメリットだと言えます。しかし、本格的に運用するシステムに関しては、ネットワーク環境をコントロールする需要も出てきます。AWS Virtual Private Cloud (VPC)を使えば、AWS上に仮想ネットワークを定義し、その上に各種サーバを配置することができます。 深く考えずに非VPC環境に構築してしまったAWSサーバ環境は、簡単にはVPC環境に移行することはできません。従って弊社では、小さなシステムであっても、最初からVPC環境にシステムを構築することを推奨しています。「非VPCが許されるのは小学生までだよねー」とボスが申しておりました。かといって、ネットワークの構成をゼロから考えて構築するのもひと苦労であるため、本エントリーでは、システムの初期段
シンプルなVPC設計を考える - Around the World
この記事はAWS Advent Calendar 2014の24日目の記事です。メリークリスマス！ 今日は、最近イチから構成を考える機会があったVPCの設計について、その一部を晒してみたいと思います。 前提 以前からAWSは運用していましたが、今後複数アカウントが乱立したり、利用する人がより増えることが想定されたため、以下のような要件を前提に見直しました。 Web/Appサーバとデータベースで構成されるWebサービスがメイン 複数アカウントで汎用的に利用できること なるべくNWレベルの意識をしなくても良いこと 運用の発生する部分を減らすこと シンプルでわかりやすいこと 基本構成 Functional Firewallパターンをベースにしました。Functional Firewallパターンは、各レイヤーのセキュリティルールをグループ化して適用することで煩雑になりにくく、シンプルに管理するこ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
