皆さんは、日々の運用の中で発生するログについてどのように管理していますでしょうか。 ログを周期的に圧縮してサーバ内に保存し、かつ一番古いログを削除（ログローテーション）する ログを定期的にクラウド内の外部ストレージに転送して管理する（CloudWatchエージェント / Fluentd / etc.....） など、考えれば考えるほど様々な案が上がります。 今回はログ転送において、私が実際に業務の中でぶつかった問題について紹介します。 本記事の概要としては、下記になります。 AWS Network Load Balancer + syslogを用いた負荷分散を構成する際には、意図した負荷分散が正しく行えているか確認するべきである。 送信元サーバで定期的にAWS Network Load Balancerへ再接続する設定を加えることで、送信先サーバの偏りの緩和や、耐障害性の向上ができる。 今
Datomic Cloud を半年運用した感想｜hden
こんにちは、株式会社トレタで Clojure を書いている鄧（でん）です。 2021 年 7 月より新規事業をして飲食店向けのセルフオーダーシステムを開発しており、そのバックエンドに Datomic Cloud と Clojure を採用しました。 採用理由は幾つかありますが、主に履歴、監査ログ、変更通知周りの機能要件がマッチしていると考えており、現状 Datomic と親和性が最も高い Clojure も共に採用しました。 良かったところ、気に入ったところ直感的なデータモデリングができる データモデリングをする際には意外とデータベース自体の制限や思想に影響されることがあると思います。例えば MySQL や PostgreSQL などのリレーショナルデータベース（RDB）に慣れている人であればリレーショナルな情報を表現するときに 1:1、1:n、n:1、n:n の関係性をテーブル構造として
GoのHTTPクライアントがAWS NLB配下にあるコンポーネントと通信するときに5-tupleが分散しないので特定のインスタンスにしか負荷分散されないという話題 - その手の平は尻もつかめるさ
Microservicesのようなものを考えた際、Goで書かれたコンポーネントがHTTP(S)を使って他のコンポーネントと通信するという場合があると思います。 その「他のコンポーネント」がAWS NLBの配下にある時、GoのHTTPクライアントがTCPコネクションを使い回す場合があり、その状況においては特定のNLB配下のインスタンスにしかリクエストを割り振らない挙動をするという話題です。 NLB プロトコル、ソースIP、ソースポート、宛先IP、宛先ポート、そしてTCPシーケンス番号に基いてフローハッシュアルゴリズムを用いて割り振り先のインスタンスを選択するようになっています。 ref: For TCP traffic, the load balancer selects a target using a flow hash algorithm based on the protocol,
私がこれを書く動機 私はKaigi on Railsのオーガナイザーのひとりです。Kaigi on Rails 2023は物理会場にて開催されることが公開されました。そうなるともちろん、会場でのインターネットについてはどうなる、どうする、という問題が出てきます。それに備えて、先輩イベントであるRubyKaigiを参考にしようというわけで、自分の理解のために書くことにしました。 おことわり 私はRubyKaigi 2022のネットワークをお手伝いしましたが、ケーブルの巻き直し、APの設営、撤収時の諸々を手伝ったのみです。よってこれから言及する内容については、一般参加者に毛が生えた程度の事前知識しかありません。 またこれから読み解くコードにおいて、コメントする内容の正確性は一切ないものと思って読んでください。 RubyKaigiのネットワークについて RubyKaigiのネットワークにおけるL
Security-JAWS 第17回レポート #secjaws #secjaws17 #jawsug | DevelopersIO
Security JAWS 第17回のレポートです。AWSを使うときに最初にやる初心者向けの話もあり、ガッツリ深い話もありな回でした！ こんにちは、臼田です。 Security JAWS 第17回が開催されましたのでレポート致します。 Security-JAWS 【第17回】 勉強会 2020年5月29日(金) - Security-JAWS | Doorkeeper レポート Session0: アマゾン ウェブ サービス ジャパン株式会社 沼口 繁さん「本日のライブ配信環境ざっくりと」 JAWSといえばオフラインだった 最初はセミナールームで 第2形態としてセミナールームを使ってAmazon Chimeを利用して配信 第3形態では人数制限を超えるためにTwitchを使った 2019年1月からはAWSJのエキスパートのオンライン配信をやっていた 第4形態OBS Studio + Twit
[レポート] あなたの知らないAmazon API Gateway #SVS212 #reinvent | DevelopersIO
こんにちは！DA事業本部の大高です！無事、ラスベガスから日本に帰国しました。 本記事はAWS re:Invent 2019のセッションレポートとなります。 概要 This session is an introduction to Amazon API Gateway and the problems it is solving. We walk through the moving parts of API Gateway, giving examples of possible use cases both common and not so common. You come away with a solid understanding of why you should use API Gateway and what it can do. このセッションは、Amazon API
![[レポート] あなたの知らないAmazon API Gateway #SVS212 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9419c6cf4ac1d0e1323fa1560dfc995d191622f5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
Bottlerocket、Calico、eBPF で EKS ネットワークをターボチャージする | Amazon Web Services
Amazon Web Services ブログ Bottlerocket、Calico、eBPF で EKS ネットワークをターボチャージする この投稿は、Tigera, Inc. の共同創設者兼 CTO である Alex Pollitt によって共同執筆されました。 先日、Amazon は Amazon Elastic Kubernetes Service (Amazon EKS) 上での Bottlerocket のサポートを発表しました。Bottlerocket は、セキュリティ、運用、および管理性を重視した、コンテナを大規模に実行するために Amazon が構築したオープンソースの Linux ディストリビューションです。Bottlerocket の詳細については、このアナウンスブログをご覧下さい。 Amazon EKS には、Amazon VPC CNI Plugin によって、
【初心者向け】VPCエンドポイントとAWS PrivateLinkの違いを実際に構築して理解してみた | DevelopersIO
もう2度とググりたくない こんにちは！AWS事業本部のおつまみです。 皆さん「VPCエンドポイントとAWS PrivateLinkの違い」を自分の言葉で説明できますか？私は時折、記憶喪失になり違いを忘れてしまいます。 もう2度とググりたくないという思いがあり、今回は違いをまとめました。 実際にハンズオンできるよう初心者向けの内容となっているため、VPCエンドポイントやPrivateLinkの知識が全くない方のお役に立てればと思います！ 結論 VPCエンドポイント VPCと他サービス間でプライベートな接続を提供するコンポーネント サービス利用側のVPC内で作成 AWS PrivateLink プライベート接続を介したサービスを提供するためのサービス 以下の2つがセットとなり、AWS PrivateLinkが提供されている。 - VPCエンドポイント（サービス利用側のVPC内で作成） - VP
[アップデート] AWS Transfer for SFTP で EIP およびセキュリティグループがサポートされました！ | DevelopersIO
本日のアップデートで AWS Transfer for SFTP にセキュリティグループと EIP を設定できるようになりました！ AWS Transfer for SFTP supports VPC Security Groups and Elastic IP addresses なにが嬉しいのか 今回のアップデートによって以下のようなことが簡単に設定できるようになりました。 パブリックアクセスで特定 IP のみ許可したい AWS Transfer for SFTP の IP を固定化したい 過去に「特定 IP の許可」や、「接続先 IP アドレスの固定化」について、NLB や NACL を利用して実装する方法をご紹介しました。 今回、EIP および、セキュリティグループのサポートによって以下のように、よりシンプルに実装できるようになります。 さっそく試してみる 事前準備 今回は事前に以
![[アップデート] AWS Transfer for SFTP で EIP およびセキュリティグループがサポートされました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c43a3bf384d36ca8cabc6aae6f59bacff0988c82/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Faws-transfer-for-sftp.png)
Network Load Balancers (NLB) now supports security groups, enabling you to filter the traffic that your NLB accepts and forwards to your application. Using security groups, you can configure rules to help ensure that your NLB only accepts traffic from trusted IP addresses, and centrally enforce access control policies. This improves your application's security posture and simplifies operations. NL
「ハイトラフィック運用 〜スループットの向上を目指して〜」という話をしました #devio2020 | DevelopersIO
こんにちは(U・ω・U) AWS事業部の深澤です。 さて弊社では昨日よりDevelopersIO2020 〜connect〜というイベントが開かれています。 セッションもりもりだよ！ あつまれー！https://t.co/viwYQqiKG7#devio2020_connect — 深澤俊 (@shun_quartet) June 3, 2020 その中で僕は「ハイトラフィック運用 〜スループットの向上を目指して〜」という話でセッションさせていただいたので本ブログではその発表した内容を資料と共にご紹介します！ 動画 資料 セッション内容 今回扱うこと、扱わないこと 今回は観点をメインに紹介します。 それぞれのエンジン等による細かい違いやチューニング方法には触れません。 例：MySQLとPostgras等 メトリクスはCloudWatchのものをご紹介します。 今回はあくまで概要と基本です。
概要 gRPCでは１つのHTTP/2コネクション上でstreamを多重化します。 しかしidleなコネクションは、LBなど間に介在するネットワーク機器によって気づいたら切断されているケースがあります。 そうならないよう、定期的にパケット（PINGフレーム）を流して「idleではないよ」とコネクションを維持しようとするのがいわゆるkeepaliveという仕組みです。 gRPCではデフォルトの設定では無効になっている＆地味に設定が細かいので１つ１つ説明します。 gRPCのkeepaliveの役割 大きく２つあります。 １つ目は先に述べたようにidleコネクションを維持するためです。 ２つ目は死んだコネクション（TCPハーフオープン）があったら切断し、再接続するためです。 例えばNLBでは350秒以上idleなコネクションが切断される仕組みがあり、これによって普段あんまりトラフィックの無いサービ
（小ネタ）NLBへ疎通確認する時はレイヤ4（トランスポート層）のコマンドを使用してほしい | DevelopersIO
この状態で再度ping,tracepathコマンドを実行しましたが、結果は変わりませんでした。。 どうやらNLBの仕様として、設定済みのリスナーに一致しないネットワークトラフィックは意図しないトラフィックとしてターゲットに転送せずにドロップするようです。 設定済みのリスナーに送信されるすべてのネットワークトラフィックが、意図されたトラフィックとして分類されます。設定済みのリスナーに一致しないネットワークトラフィックが、意図しないトラフィックとして分類されます。Type 3 以外の ICMP リクエストも、意図しないトラフィックとみなされます。Network Load Balancer は、意図しないトラフィックをターゲットに転送せずにドロップします。 出典：Network Load Balancer のリスナー - Elastic Load Balancing Pingで使われれるのはIC
[アップデート] AWS App Meshが「仮想ゲートウェイ」を使ったメッシュ外部からのIngressアクセスをサポートしました | DevelopersIO
[アップデート] AWS App Meshが「仮想ゲートウェイ」を使ったメッシュ外部からのIngressアクセスをサポートしました みなさん、こんにちは！ AWS事業本部の青柳＠福岡オフィスです。 AWSが提供するメッシュサービス AWS App Mesh において、新しい機能「仮想ゲートウェイ」(Virtual Gateway) がリリースされました。 AWS App Mesh launches ingress support with virtual gateways これは「App Meshの使い方が大きく広がるんじゃないか？」と思える、結構ビッグなアップデートではないかと思います。 AWSブログでハンズオンも公開されていますので、こちらに沿って試してみたいと思います。 Introducing Ingress support in AWS App Mesh | Containers
![[アップデート] AWS App Meshが「仮想ゲートウェイ」を使ったメッシュ外部からのIngressアクセスをサポートしました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/950f0828f59e64659a874591d7cc4b13b4c54280/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F07%2Faws-app-mesh-2.png)
AWS のFargate でめちゃくちゃハマった 結論からいうと動かない原因は、ロードバランサーのターゲットの種類はipである必要があった。 これは公式ドキュメントにも当然書いてある https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/developerguide/AWS_Fargate.html awsvpc ネットワークモードを使用するタスクを含むサービス (例: 起動タイプが Fargate のサービス) では ... ターゲットタイプとして instance ではなく、ip を選択する必要があります。 この問題にハマるポイントは２つあって、 ターゲットの種類のデフォルトは instance なので、特に何も考えずに設定すると instance になってしまう サービスを Fargate で構築する時、ターゲットグループが insta
こんにちは IT推進室 畠山です。 今回、AWSで運用していたEC2のインスタンスをスケールダウンした際に発生した事象をご紹介します。 AWSの利用は、定期的に適切なインスタンスのキャパシティで運用する事で、コストを最適化しながら運用できることが大事なことです。 そんな中で、私が直面した事象をご紹介して、皆様の適切なインスタンスタイプの選択の助けになれば、幸いです。 c4.largeで動いていたEC2とロードバランサー 当初、c4.largeのEC2で、とあるパッケージソフトを運用しておりました。 その環境のほとんどのサービスをクラウドサービスに移行したためEC2のインスタンスをスケールダウンする事になりました。 ロードバランサーの使用に関しては把握していたものの、影響が出る部分とは認識していませんでした。 行なった作業 行なった作業は単純で、EC2インスタンスを停止して、インスタンスタイ
[マルチAZ構成]AWS PrivateLink + Transfer Family for FTP経由でファイル転送してみた | DevelopersIO
[マルチAZ構成]AWS PrivateLink + Transfer Family for FTP経由でファイル転送してみた はじめに 以前、AWS PrivateLink を利用してTransfer Family for FTP経由でのファイル転送をシングルAZ構成で構築しました。 今回は、上記の構築をもとに、マルチAZ構成を構築します。 前提 下記の記事通り、以下の構成を構築済み。（Transfer FamilyのVPCエンドポイントはシングルでも可能です） 今回のゴールであるマルチAZ構成は下記の通りです。 今回、FTPクライアントは、lftpを利用しました。シングルAZやマルチAZ構成に限らず、FTPクライアントによって、NLB経由ではTransfer Familyに接続できないケースやTransfer Family のPassiveIpパラメータを変更しなければならないケースが
![[マルチAZ構成]AWS PrivateLink + Transfer Family for FTP経由でファイル転送してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/631acab3086ee0e51e5f6065e51d8702d53efc20/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Faws-transfer-family.png)
ECSサービスに複数のターゲットグループを登録できるようになり、複数のポートを外部公開するのがより簡単になっています。運用上のデメリットも併せて解説します。 「なんか同じタスク定義から別々のECSサービス作成されてるけど、これなんなん？」 「しゃーないやん、ターゲットグループ1つしか登録できへんねんから」 待望のアップデートです！ Amazon ECS（EC2とFargate両方）において、ECSサービスに複数のターゲットグループをアタッチできるようになりました！ Amazon ECS サービスで複数のロードバランサーターゲットグループのサポートを開始 従来、ECSサービスに対してターゲットグループが1つしか登録できないために複数のロードバランサーを紐付けできなかったのが、複数登録できるようになりました。 ECSサービスを1つにまとめることで運用面でもランニング費用面でもメリットがあります
すべての AWS サービス（ただし名前空間を基準とする）をコマンド一発で一覧出力するワンライナーが完成した | DevelopersIO
コンバンハ、千葉（幸）です。 「結局 AWS サービスって何個あるの……？」「似た名前のものがあり過ぎない？」「よく名前を聞くあれはサービスの一つなの？機能なの？」 そんな疑問が思い浮かぶ場面は皆さん多々あるのではないでしょうか。 それらにバチッと応えてくれる唯一の手法、それはコマンドによる一覧出力を置いて他に存在しないですよね。そしてコマンドを実行するからには何回も打鍵したくない、一発で行いたいというのが便利さに慣れきった現代人が辿り着く至高の思考であり嗜好ですよね。 そんな要求に応えるため、私は調査に明け暮れました。そして苦節 74 分、ついにワンライナーでの出力に成功しました。今回はその内容をご紹介します。 （なお、動作確認ができているのはzshとbashのみです。） （ Windows は早々に諦めましたが詳しい方がいたら教えてください。 あっという間に社内のメンバーが作成してくれ
2021年09月くらいのAWS最新情報ブログとかをキャッチアップする – AWSトレンドチェック勉強会用資料 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopersIOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 今回もバラエティ豊かなラインナップです。 ちなみにAWSの最新情報をキャッチアップするだけなら週間AWSがおすすめですが、DevelopersIOのブログを読むとAWSさん公式とはまた違った知見や解説、面白さがありますの
こんにちは！インフラを担当しております上平と申します。 このエントリーでは弊社が運営するサービスB/43のインフラをどのように構築してきたかを紹介します！ スタートアップ企業でイチから構築する大変さや面白さをお伝えできればと思います！ 今回は前回の選定編の後の構築編となります。 長くなりそうなので、2部構成に分けて選定後に構築してきた内容をご紹介します。 構築 と言ってもサービスインフラ構築だけではなく、オフィスインフラ構築も実施しており、 両方に関して紹介予定です。 今回は サービスインフラ構築 に関して紹介していきます。 サービスインフラ構築 AWSアカウント 選定編でも書きましたが、開発スピードの低下を回避するため、PCI DSS非準拠アカウントと準拠アカウントの2アカウントに分離しました。 セキュリティレベルは2アカウントとも同様の基準で構築しております。 環境 弊社ではDevel
前回のブログ では プロキシサーバー シングル構成の検証環境を構築しました。 今回は 高可用性(HA)を目的としたプロキシサーバー冗長化 を検証してみます。 想定する本番環境は下記の通り。 ※ そもそもプロキシサーバーを使用している理由 などは前回のブログを参照ください 目次 環境構築 NLB セキュリティグループ プロキシサーバーのAMI Auto Scaling Group 検証 接続・ステータス確認 インスタンスを止めてみる おわりに 環境構築 検証環境は以下のとおりです。 2つの Availability Zone(AZ) にそれぞれサブネットを作成 プロキシサーバーを 2サブネットに配置する Auto Scaling Group を作成 Network Load Balancer (NLB) を使って ターゲットを分散 APPサーバーから NLB → Proxyサーバー経由で S
“共有型”AWS DirectConnectでも使えるAWS Transit Gateway | Amazon Web Services
Amazon Web Services ブログ “共有型”AWS DirectConnectでも使えるAWS Transit Gateway AWS Transit Gateway (TGW)は徹底的に進化することにより、クラウドネットワーキングを簡素化しました。本記事では、複数Amazon Virtual Private Cloud(VPC)とオンプレミスの接続パターンを紹介します。 AWSでは、オンプレミスのネットワークとの接続にはAWS Direct Connect(DX)を使います。DX接続は様々な形態がありますが、日本のお客様に多い“共有型”DX接続ではTGWを直接使うことができません。TGWを使うことができることが“専有型”DX接続の優位点の一つですが、本記事では”共有型”DX接続でTGWを使った接続実現する方法を含めて、いくつかの接続パターンを解説します。 TGWのメリット
NLBにElastic IP(EIP)をアタッチしてもそのIPが使われない場合がある | DevelopersIO
インターネット向けのNLB(Network Load Balancer)を作成する場合は、必要に応じてサブネットごとにElastic IPアドレス(以下EIP)を指定することができます。 ですが状況によってはこのEIPが使われないケースがあることを学びましたので、レポートします。 もう少し厳密に書くと、NLB作成時に指定したサブネットが一部使われないケースがあります。従ってそのサブネットのEIPが使われなくなります。 結論から先に 2サブネットにまたがるインターネット向けNLBを作成したとします。 アベイラビリティーゾーン(以下AZ)毎に1サブネットのみ選択可能なため、これは2AZにまたがるNLBとも言えます。 それぞれのAZ毎にEIPを指定します。つまり2つのEIPがこのNLBには紐付いています。 この時、NLBエンドポイント(DNS名)に対するdigコマンド結果は以下になります。 He
AWSのELB(Elastic Load Balancing)にある3つのLBの使い分けについてまとめました。 ALB (Application Load Balancer) NLB (Network Load Balancer) CLB (Classic Load Balancer) CLBが最初(2009年)にリリースされたELBで、当時はCLBという名称はなくELBといえばいまのCLBでした。2016年と2017年にALBとNLBがリリースされました。後発のALBとNLBのほうがCLBよりも高機能で高性能です。 3つのLBの選択方法 CLBの機能のほとんどはALBとNLBでカバーされていますので、基本的には後発のALB, NLBの2つを使い分けます。CLBでしか実現できない要件がどうしても外せない場合にのみCLBを使います。CLBだけの機能はわずかです。 以下は、要件に応じてどれを使
【週刊 Ask An Expert #19】AWS で動画配信プラットフォームを作るには？先週の #AWSLoft で受けた質問10選 | Amazon Web Services
AWS Startup ブログ 【週刊 Ask An Expert #19】AWS で動画配信プラットフォームを作るには？先週の #AWSLoft で受けた質問10選 こんにちは、スタートアップソリューションアーキテクトの針原 (Twitter: @_hariby) です。このブログ記事では週刊 Ask An Expert 第19回目をお届けします。「参考になった」「いい内容だ」と思っていただけたら、ぜひハッシュタグ #AWSLoft を付けてシェアしてください。もちろん、改善点・ご要望もお待ちしております。 Ask An Expert ? 皆さん AWS Loft Tokyo はご存知でしょうか？ 目黒セントラルスクエア17Fにある、AWS を利用中のスタートアップとデベロッパーのためのコワーキングおよびイベントスペースです。その一角に AWS のエキスパート – Solutions A
ProxySQL を利用した Aurora MySQL の課題解決 [DeNA インフラ SRE] | BLOG - DeNA Engineering
2022.11.01 技術記事 ProxySQL を利用した Aurora MySQL の課題解決 [DeNA インフラ SRE] by yayohei #infrastructure #sre #database #aws #aurora #mysql #proxysql #stabilization #livestreaming-infrastructure #infra-quality こんにちは、 IT 本部 IT 基盤部第一グループの山本です。 今回は ProxySQL を利用した Aurora MySQL の新規接続の遅延問題の解消方法について紹介したいと思います。 Aurora MySQL のメリット Aurora MySQL のメリットとしては本稿で詳しく語るまでもないですが、Writer の 自動 Failover、Snapshot の取得の容易さ、Storage 故障の
![ProxySQL を利用した Aurora MySQL の課題解決 [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/86065d7b8409d04e7be80a93878f716de9247a45/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2022%2F11%2Finfra-proxysql%2Fcover.png)
欲がある弱者女性もいると思う
https://anond.hatelabo.jp/20240625135549 自称弱者男性の一番キツイとこって、欲があるとこじゃん？ 性欲とか自己顕示欲とか物欲とかさ。貧乏かつ欲があると一番大変だと思う。 国際ロマンス詐欺に騙されている女性もいるから、欲がある高齢弱者女性もいるんじゃないかな。 https://www3.nhk.or.jp/news/special/international_news_navi/articles/feature/2024/03/22/38517.html https://www.secom.co.jp/anshinnavi/net_security/backnumber400.html NHKの記事は男性が女性になりすまして男性から金を詐取しているケースだったけど、「日本でも被害額は去年1年間で177億円を超えた」とある。 https://www.yo
Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する | フューチャー技術ブログ
Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する はじめにAWS StepFunctionsとLambdaを活用してバッチ処理を行う記事です。サーバレス連載企画の6回目です。 2020年はServerlessアーキテクチャが当たり前のように採用される時代になってきていると実感します。フロントエンドからアクセスされるBackendのAPIはAWS環境だと、AppsyncやAPI Gateway+Lambaの利用、IoTなどイベントドリブンなメッセージに対してはAWS IoT、その後続はKinesisを使い、さらにその後続でLambdaやKinesis AnalyticsでETL処理を行い、データストアとしてDynamoDBやS3に格納するといった一連の流れ全てフルマネージドなサービスに寄せて構築することも当たり前で
保険 API サービスを支える justInCase のマイクロサービスアーキテクチャ【 Startup Architecture Of The Year 2019 ファイナリストによる寄稿シリーズ 】 | Amazon Web Services
AWS Startup ブログ 保険 API サービスを支える justInCase のマイクロサービスアーキテクチャ【 Startup Architecture Of The Year 2019 ファイナリストによる寄稿シリーズ 】 皆さんこんにちは、スタートアップマーケティングの石渡です。 AWS Summit Tokyo で開催した Startup Architecture Of The Year 2019 では、7社のファイナリストによる熱いピッチコンテストが繰り広げられました。 このイベントは時間の関係もあり、各社5分という限られた時間でのピッチをお願いしました。当日は私も舞台袖から皆さんのピッチを聞いていましたが、ご登壇頂いた皆様の内容は、知恵と経験の詰まったもので、当日イベントに参加されなかった方にも是非お伝えしたいと思いました。そこで、ファイナリストの皆様に寄稿をお願いして
Static IP for Lambda: ingress, egress and bypassing the dreaded NAT Gateway | theburningmonk.com
Static IP for Lambda: ingress, egress and bypassing the dreaded NAT Gateway Many vendors require you to have a static IP address for your application. Such that all requests to their API must originate from an allow-list of IP addresses. In some cases, they even mandate that you use a static IP address for ingress traffic too. So they can communicate with your system through a trusted IP address.
[レポート] ARC326 : マルチリージョンでActive-Active構成アプリの設計パターン #reinvent | DevelopersIO
AWS re:Invent 2018 AR209 - Architecture Patterns for Multi-Region Active-Active Applications のセッションレポートです。 以下、公式の概要です。 Do you need your applications to extend across multiple regions? Whether for disaster recovery, data sovereignty, data locality, or extremely high availability, many AWS customers choose to deploy services across regions. Join us as we explore how to design and succeed with active
![[レポート] ARC326 : マルチリージョンでActive-Active構成アプリの設計パターン #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/69d5e5df38c6d27d133baa3f894a2379a68db070/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Feyecatch_reinvent-2018-city_1200x630.jpeg)
いい加減に12冠にならないとなぁということで、スキマ時間にちょっとづつ勉強しています。隙間時間だと、前回勉強したところの続きに戻るまでに隙間時間が過ぎてしまう辛みがありますが、皆さんいかがお過ごしでしょうか？ 私にとっての最鬼門のAWS認定アドバンスドネットワーク専門知識の試験範囲の確認のために公式トレーニングの試験対策を見ています。AWSの試験で一番わからないのが、どのサービスが対象範囲なのかという点だと思います。これを受けることにより、ここを勉強すればよいのだというのがはっきりするのでお勧めです。 Exam Readiness: AWS Certified Advanced Networking - Specialty (Digital) その中で、AWSのロードバランサであるELB（CLB, ALB, NLB）のまとめ表があったので紹介しておきます。 ３種類のELBの違いを１枚の図で
AWS のリソースを Terraform ファイルに変換する『aws2tf』を使ってみる - 継続は力なり
タダです. AWS のリポジトリを見ていたら aws2tf というツールを見つけました. Terrafrom を使ってのリソース管理をし始めたのでどんな動きをするかを知りたくてこのツールを使ってみることにしました.この記事で aws2tf のツールをさらっていければと思います. aws2tf って？ 使用上の前提条件 サポートされているリソース aws2tf の実行 所感 まとめ aws2tf って？ このツールは AWS のアカウントの設定を読み込んで tf ファイルを生成するものです.ツールの中では terraform impot と terraform plan を実行して tf ファイルを作っているようです.記事を書いている時点では開発中のステータスです. Work in progress - please report any issues you find github.com
Azure仮想ネットワークのIPv6対応およびAzureスポットVMの一般提供開始：Microsoft Azure最新機能フォローアップ（105） 2019年4月からパブリックプレビューとして提供されていた、「Azure仮想ネットワーク」におけるIPv4／IPv6デュアルスタック対応が、全てのAzureパブリックリージョンで正式版になりました。また、2019年12月からパブリックプレビューとして提供されてきた「AzureスポットVM」の一般提供も開始されました。 Microsoft Azure最新機能フォローアップ Azure仮想ネットワークが正式にIPv4／IPv6デュアルスタック対応に 「Azure仮想ネットワーク（Azure Virtual Network、Azure VNet）」は、Azure仮想マシン（Azure VM）にプライベートなIPサブネットとインターネットへの接続性、イ
Amazon Web Services ブログ AWS Network Firewallのデプロイモデル この記事は Deployment models for AWS Network Firewall (記事公開日: 2020 年 11 月 17 日) を翻訳したものです。一部更新・加筆しています。 前書き AWSのサービスと機能は、セキュリティを最優先事項として構築されています。Amazon Virtual Private Cloud（VPC）を使用する際、お客様はネットワークアクセスコントロールリスト （NACL）とセキュリティグループ（SG）を使用してネットワークセキュリティを制御できます。しかし、多くのお客様はディープパケットインスペクション（DPI）やアプリケーションプロトコル検出、ドメイン名フィルタリング、侵入防止システム（IPS）など、それらの範囲を超える要件が求められます
AWS 認定 SysOps アドミニストレーター – アソシエイト(AWS Certified SysOps Administrator – Associate)の学習方法(新試験SOA-C02対策追記) - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 SysOps アドミニストレーター – アソシエイト(AWS Certified SysOps Administrator – Associate)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 SysO
Amazon BedrockのClaudeとAmazon Kendra、AWS Lambdaを利用し、RAGを実装してみた | DevelopersIO
はじめに Amazon BedrockとAmazon Kendra、AWS Lambdaで、Retrieval Augmented Generation（RAG）を実装してみました。 最近、社内の業務効率化などの目的で、AIの言語モデル（以降、LLM）を用いて社内情報を活用するための手法として、RAGがよく話題になっています。 RAGとは具体的には、ユーザーからの問い合わせ（プロンプト）に基づいて外部データから関連するドキュメントを検索し、その結果をもとにLLMが質問への回答を生成するという手法です。 以前の記事で、検索（Retrieval）のフェーズのみをKendraを使い、試してみました。 構成 構成としては、下記の通りです。 Kendraのインデックスには、Network Load Balancer（NLB）のAWSドキュメントをウェブクローラーでインポートします。 Kendraのデ
はじめに 最近、AWSのシステム構成図を見ることが多くなり、AWS上で動いているシステムのシステム構成図を理解できるようになるために個人的に知っておきたいと思ったAWSの用語・サービスをまとめてみました。 私自身も勉強がてら作成したので、わかりづらい部分も多くあると思いますが、AWSのサービス全くわからん→なんとなく雰囲気把握した、となっていただけたらと思います。 2018年10月に新しくなったAWSアーキテクチャアイコンを使用しています。 サーバ・クライアントなどの説明についてはここではしていませんが、以下の記事でとてもわかりやすくまとめてくださっています！ 超絶初心者のためのサーバとクライアントの話 知っておきたい用語 リージョン AWSがサービスを提供している拠点（国と地域） リージョン同士はそれぞれ地理的に離れている（例えば日本とオレゴンとか） 日本はap-northeast-1（
AWS 認定 ソリューションアーキテクト – アソシエイト(AWS Certified Solutions Architect – Associate)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 ソリューションアーキテクト – アソシエイト(AWS Certified Solutions Architect – Associate)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 ソリューションアー
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Network Load Balancer + syslog転送における注意点
RubyKaigi 2022の会場ネットワークリポジトリを読み解く | うなすけとあれこれ
Network Load Balancer now supports security groups
gRPCのkeepaliveで気をつけること - Carpe Diem
AWS の Fargate のロードバランサーの設定でめちゃくちゃハマった - おろログ
インスタンスタイプをm3にしたらNLBが動かなくなった件 | DevelopersIO
ECSサービスに複数のターゲットグループを登録できるようになりました！ | DevelopersIO
FinTechスタートアップ企業のインフラができるまで(構築編) - inSmartBank
HA構成プロキシ環境を NLBを使って構築してみる | DevelopersIO
AWSの3種類のLBの比較と使い分け (ALB, NLB, CLB) - Qiita
AWSのロードバランサ、CLB, ALB, NLBの機能差まとめ - プログラマでありたい
Azure仮想ネットワークのIPv6対応およびAzureスポットVMの一般提供開始
AWS Network Firewallのデプロイモデル | Amazon Web Services
基本的なシステム構成図を理解するためのAWS基礎をまとめてみた - Qiita