Amazon AthenaでALBアクセスログ分析が出来ない？特定日付以降の実行結果がNULLになった時の話 | iret.media
はじめに こんにちわ、Mitsuoです。 7月に入り暑くなってきましたね。 タイトルの通り、AthenaにてALBのアクセスログの分析を行っていたのですが、その際に出くわした事象について解説します。 事象 AthenaにてALBのアクセスログに対してSELECTクエリを実行すると特定の日付の行データがNULLで返ってくる。 実施内容 作成したテーブル(DDL) 日付単位でDBのテーブルをパーティショニングしています。 CREATE EXTERNAL TABLE IF NOT EXISTS alb_logs ( type string, time string, elb string, client_ip string, client_port int, target_ip string, target_port int, request_processing_time double, ta
Route 53 + ACM + CloudFront + S3 をアカウント移行したいとき | iret.media
はじめに こんにちは、MSP の田所です。 みなさんは Route 53, ACM, CloudFront, S3 をごそっとアカウント移行したいと思った経験はありませんか？ えっ？ないですか？ それではこの中で移行時にダウンタイムが発生するのはどれでしょうか？ えっ？興味ないですか？ そんなこと言わずにお付き合いくださいmm やりたいこと アカウント A からアカウント B に移行 静的ウェブサイトホスティングをしている想定です。 移行してみる 0. NS レコードの TTL 調整 Route 53 で現役の NS レコードの TTL を下げておきます。 ネームサーバーをスムーズに切り替えるための準備です。 Route 53 レジストラでネームサーバーを更新するための前提条件は何ですか? 1. リソース作成 [アカウントB] 証明書の作成 ACM でドメイン証明書を取得します。 Clou
大規模クラウドインフラ設計・構築案件の歩き方(AWS-28)がインフラエンジニアに刺さりまくりな内容だった | iret.media
AWS Summit Japan 2024 Day1の「大規模クラウドインフラ設計・構築案件の歩き方」のセッションについてレポートです。 控えめに言っても満足度の高いセッションでした。 大規模なクラウドインフラの設計構築運用に関わる方なら首がもげるくらい頷きが多い内容であり、アーカイブが公開された際はもう一度見たいと思うほど…。 セッションの内容には「設計書の一覧サンプル」や、「アプリ/インフラチームの責任分界」といった界隈でも関心が高い内容に触れられています。 考え方のひとつとして参考にしていきたい内容がモリモリでしたので、シェアさせていただきます。 セッション概要 大規模クラウドインフラ設計・構築案件の歩き方 Level 300: 中級者向け スピーカー: アマゾン ウェブ サービス ジャパン合同会社 仲谷 岳志 様 クラウド技術のコモディティ化により、エンタープライズ分野では近年、A
Dive deep on Amazon S3 セッションレポート | iret.media
AWS Summit Japan 2024 Day1の「Dive deep on Amazon S3」というセッションに参加したのでレポートします！ S3の裏側の仕組み を3層にわけて解説し、高いスケーラビリティ・耐久性・セキュリティ・パフォーマンスをどのようにAWSが実現しているか。 それらの効果を更に上げるため「利用者側でやるべきこと(=ベストプラクティス)」とは何か。 また後半では「超低レイテンシーなストレージクラスであるS3 Express One Zone」「S3の削除保護の方法４つ」の紹介がありました。 このレポートではセッションで語られた内容の概要と、それに関連する公式ドキュメントのリンクをいくつかメモしています。 実際のセッションではスライド投影される内容やドキュメントに書かれていることだけでなく、それに沿った細かい例や考え方、「なぜそうなのか」がスピーカーの言葉により強く
LangChain 学習記①〜全体像を理解する〜 | iret.media
概要 最近、生成 AI 周りのサービスに興味を持っており、中でも LangChain について興味があるので、色々触れてみて学習してみようとの思いから本記事を執筆しました。 第一弾である今回は、ひとまず全体像を掴むことが大事かなと思い、「LangChain ってそもそも何なんだ」という部分や LangChain で使用することのできる機能についてまとめてみました。 LangChainとは LangChain is a framework for developing applications powered by large language models (LLMs). （LangChain公式の文章を引用） LangChain 公式によれば、LangChain は大規模言語モデル(LLM)を利用したアプリケーションを開発するためのフレームワークとのことです。 LangChain の他に
【AWS re:Inforce 2024】SLSA でサーバーレスのソフトウェアサプライチェーンのセキュリティを強化！ | iret.media
CI事業部セキュリティセクションの村上です。re:Inforce 2024 参加のため、米国フィラデルフィアに来ています。 早いもので、本日でイベント3日目にして最終日になります！ サーバーレスのソフトウェアサプライチェーンのセキュリティに関する Builders’ Session （1時間のハンズオンワークショップ）に参加してきました。 セッションタイトル：APS353 | Elevate serverless software supply chain security with SLSA スピーカー：Niaz Khan, Ying Ting Ng, Guy Gutman, Purnaresa Yuliartanto サプライチェーンにおけるセキュリティ上の課題 ソフトウェアサプライチェーンにおけるセキュリティ上の課題としては、 開発者不足、データプライバシー、OSS の適切な利用、コ
Cloud Run から VPC 内リソースへの接続方式：Serverless VPC Access connector vs Direct VPC Egress | iret.media
Cloud Run から VPC 内リソースへの接続方式：Serverless VPC Access connector vs Direct VPC Egress はじめに Google Cloud の Cloud Runは、サーバーレス環境でコンテナを簡単に実行できるプラットフォームとして人気が高まっています。 しかし、Cloud Run はデフォルトでは VPC ネットワーク内に存在するリソースと直接通信できません。 そこで、Serverless VPC Access connector と 2024年に GA された Direct VPC Egress という2つの選択肢が用意されています。 本記事では、この2つの方法を徹底比較し、それぞれのメリットとデメリット、そして具体的な使い分けをわかりやすく解説します。 以下は構成例で Cloud Run から Cloud SQL 、Memo
AWSサービスのアーキテクチャ設計をする上で忘れがちだけど大事なことまとめ（SAP試験に役立つかも） | iret.media
記事の内容 AWS 試験にでがちな内容かつ理解が曖昧だった内容を爆速でポイントまとめをしたもの もしかしたら SAP などに使えるかも 対象者 SAP を受けてみようかと思う人 かつ SAP に出るサービスがざっくりどんなものか知りたい人 で どのくらい自分のサービス知識が足りてるか ざっくり把握したい人 注意 爆速ポイント書き兼結構な文章量 かつアップデートが激しい業界なので、 現時点との違いや誤記が気になった場合はある程度許容し、 それぞれで調査をお願いします。 正確、最新な情報（2024年2月記載）の保証はないので、 あくまで理解が甘いところを発見し、自分で詳細を確認する前提の記事 以下本文開始 Amazon EC2関連 RI マスターアカウントが共有をオフにすることができる リザーブド インスタンス (RI) 共有をプライベートに設定することはできない スポットインスタンス関連 d
Platform Engineering がなぜ脚光を浴びているのか？またその始め方を考えてみる | iret.media
はじめに 昨今、様々なところで耳にする Platform Engineering。 一過性の流行り言葉で消えていくようなものではなく、今後の組織のあり方にも関わってきそうな様相が見えてきています。 そんな Platform Engineering について、登場の歴史的な背景を調べつつ、目指すべきゴールとその道筋を考察してみたいと思います。 登場の背景 増える開発エンジニアに求められる仕事 コンテナなどクラウドネイティブの浸透により、開発、インフラ、運用の垣根が曖昧になってきています。謂わゆる DevOps です。 昔はプログラムコードをインフラ担当者に引き渡すことで手離れできていたことも、今では基盤となるインフラレイヤーも、プログラムコードとどうようにコードで制御することも増えてきています。 そのようなモダナイズに伴って、CI/CD パイプラインの構築、インフラレイヤの進化への追従、セキ
Amazon SESのサプレッションリスト有効化時におけるメトリクス監視について | iret.media
1. はじめに こんにちは、クラウドインテグレーション事業部のMitsuoです。 皆さん、Amazon SESのメトリクスは何を監視していますか？ 担当案件で監視設計を行った時に学びになった点を記事にしてみます。 2. 対象読者 Amazon SESを触ったことがある人 ソフトバウンス、ハードバウンス、苦情メールなどメール配信に関する用語を理解している人 3. サプレッションリストについて 本題に入る前に簡単な概要説明です。 一言で言うと「Amazon SESにおける配信停止のメールアドレス一覧」です。 デフォルトで有効化されており、バウンス、苦情メールの発生時にリストへと追加されます。 SES は、アカウントレベルのサプレッションリストのアドレスに送信したメッセージを、アカウントのバウンス率または苦情率に対してカウントしません。 参考：Amazon SES アカウントレベルのサプレッショ
[ECS] タスク定義ファイル(taskdef.json)の運用について考える | iret.media
この記事について みなさん、ECS利用していますか！？ AWSでコンテナを使うのなら、ECSですよね！?(kubernetesわからない勢) ECSはタスクという単位で、アプリケーションを実行させます。 そして、タスクの中にコンテナが１つ以上稼働します。 タスクはタスク定義から作成されます。タスク定義はタスクの金型的な存在です。 また、タスク定義はJSONファイル（以後taskdef.json)として運用することが一般的です。 このtaskdef.jsonを実運用する際に迷うポイントがあります。 それは以下のどちらの方法にするかです。 – 方法① : 各環境ごとにtaskdef.jsonを用意する – 方法② : 各環境でtaskdef.jsonを共用する ①,②について、それぞれの詳細/メリット・デメリットについて洗い出しをして、どちらを採用すべきかについての見解を述べていきます。 あく
![[ECS] タスク定義ファイル(taskdef.json)の運用について考える | iret.media](https://cdn-ak-scissors.b.st-hatena.com/image/square/44fc1474c22e3382588fd4b15ee70ff7f704163b/height=288;version=1;width=512/https%3A%2F%2Firet.media%2Fwp-content%2Fuploads%2F2021%2F07%2Fimg-eyecatch-aws-02-1200x630.png)
【AWS re:Invent 2023】Amazon ElastiCache Serverless for Redis and Memcached is now available | iret.media
【AWS re:Invent 2023】Amazon ElastiCache Serverless for Redis and Memcached is now available ElastiCache Serverless for Redis and Memcachedがリリースされましたので、ドキュメントページの翻訳と合わせて紹介となります！ 本日、ElastiCache Serverlessが発表されました。 これは、顧客が 1 分以内にキャッシュを作成し、アプリケーションのトラフィック パターンに基づいて容量を即座に拡張できる新しいサーバーレス オプションです。 ElastiCache Serverless は、2 つの一般的なオープンソース キャッシュ ソリューション、Redis および Memcached と互換性があります。 ElastiCache Serverless を
Amazon Aurora PostgreSQL のServerless v2 移行ガイド | iret.media
概要 Aurora Serverless v2 のメリット Aurora Serverless v2 は、データベースのリソースを自動的にスケーリングします。その結果、負荷の変動があるワークロードにおいて、コストメリットがあります。自動スケーリングは、ACU(Aurora capacity unit) に指定した最小容量と最大容量に基づいて行われます。 ただし、ユースケースによっては、Aurora Serverless v2 の移行でコストが節約されるとは限りません。負荷が安定していれば、逆にコストが増えることも考えられます。 Aurora Serverless v2 の詳細は、こちらのドキュメントを参照ください。 プロビジョニングインスタンスとServerless v2 の相違点 プロビジョニングインスタンスと、Serverless v2 の一番大きい違いは、コストです。Serverle
Nodeのバージョン管理できていますか？ | iret.media
はじめに この記事ではNodeのバージョン管理にVoltaをお勧めする記事です。 私は普段フロントエンド開発が多く、特にNuxtを業務で扱うことが多いです。 Nuxt2系プロジェクトや古いプロジェクトを触るときに、「何も触ってないのに急にアプリが立ち上がらなくなった！」ということがよくあります。また、Github Actions上でCIでも急にエラーになるということもたまにあります。 この原因で一番多いのがNodeのバージョン違いによるビルドエラーで、ここのマネジメントを行なってビルドエラーによるロスタイムを減らそうという記事です。 具体的に何が問題なのか 執筆現在、Node.jsのLTSは18.17.1です。対して最新版は20.6.1です。 リリース状況をみると、メジャーアップデートが半年に一度あり、メジャーバージョンが偶数のものがLTSとなっています。LTSの期間は約2年で、バージョン
特定条件下におけるNetwork Load Balancerで均等なバランシングが行われない現象について | iret.media
はじめに cloudpackサポートの畠山です。 Amazon Elastic Load Balancingにて提供されている、Network Load Balancer（以下「NLB」という）において、2つのアベイラビリティゾーン（以下「AZ」という）に配置したAmazon EC2（以下「EC2」という）のインスタンスへ均等にバランシングされない事象に遭遇したため、その内容と解決策をまとめました。 前提 Amazon Elastic Load Balancingでは主に負荷分散機能を備えたサービスであることが有名だと思いますが、お問い合わせ頂いたお客様環境ではNLBをマルチAZ（ap-northeast-1a及びap-northeast-1c）で配置しクロスゾーン負荷分散を有効化していたことから、インターネットトラフィックはそれぞれのAZへ均等にバランシングできる想定でした。 事象 弊社
AWS CDK Advanced Workshop（S3 クロスリージョンレプリケーション設定）をやって気になったこと | iret.media
はじめに ご覧いただき、ありがとうございます。 AWS CDK で S3 クロスリージョンレプリケーションを設定する AWS CDK Advanced Workshop をやってみました。 設定自体はこのワークショップに沿って簡単にできましたが その過程で気になったことを書き残したいと思います。 気になったところ S3 バケット暗号化用 KMS キーを作成する必要がある レプリケーション元からレプリケーション先の KMS キーを参照する方法 S3 バケット暗号化用 KMS キーを作成する必要がある 2023 年 1 月 5 日 から全ての S3 バケットの暗号化が必須になっています。 単にバケットを使用するだけであれば、デフォルトでキーの作成や設定は自動的にやってくれるため、特に問題はありません。 しかしながら、レプリケーションを設定する際は、レプリケーション先の S3 バケットで使用する
AWS Cloud Control API に触れてみる | iret.media
発表されてからだいぶ経ちますが、複数サービスのリソース情報を横断的に取得する社内ツールで活用できないかと思いAWS Cloud Control APIについて簡単に調べてみました。 基本的な操作に関する実際のコードなどは下記AWS News Blogにあるので割愛しています。 AWS Cloud Control API, a Uniform API to Access AWS & Third-Party Services サービス概要 サードパーティ含め、さまざまなサービスのリソースのCRUD-L操作に対して統一されたAPIを提供するサービス。 CRUD-L：Create（作成）, Read（読み取り）, Update（更新）, Delete（削除）, and List（一覧表示） 実行時は各操作にパラメーターとしてCloudFormationで見慣れたリソースタイプと属性（JSON）or
【Amazon EKS】eksctl create clusterで何が作られているのか | iret.media
はじめに Amazon EKSでKubernetesクラスターを作成および管理するためのシンプルなコマンドラインツールである eksctl。これを使うと簡単にAmazon EKSクラスターを作成することができます。 今回は、Kubernetes初心者がeksctlを使ってAmazon EKSでKubernetesクラスターを作成してみて、実際どのようなリソースが作られているのか確認してみました。 eksctlでEKSクラスターを作成してみる Amazon EKS クラスターは、主要な2つのコンポーネント「Amazon EKS コントロールプレーン」と「コントロールプレーンに登録された Amazon EKS ノード」で構成されており、具体的に必要なリソースは以下です。 EKS動作用のVPCネットワーク(サブネット、NatGateway、InternetGateway、ENI、Elastic
[技術検証]EC2 Instance Connect エンドポイントの検証 | iret.media
サービス概要 EC2 Instance Connect Endpoint (以下、EIC エンドポイント) は、パブリック IP アドレスを使用せずに EC2 インスタンスに SSH および RDP 接続できるようになるサービス EIC エンドポイントの使用に追加料金はかかりません。標準のデータ転送料金が適用されます。なので検証が終わってもエンドポイントは削除しなくても大丈夫です。 Amazon EC2 Instance Connect supports SSH and RDP connectivity without public IP address 目的・やりたいこと EIC エンドポイントを使用して、本当に踏み台ホストを作成する必要なくプライベート IP アドレスを持つインスタンスに SSH / RDP 接続をトンネリングできるのか検証する。 対象者 お客様環境に踏み台なしでメンテ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
第118回 雲勉【AWS・Google Cloud 生成 AI 特集】 | iret.media
