タグ

関連タグで絞り込む (227)

タグの絞り込みを解除

*infraに関するsh19910711のブックマーク (2,126)

  • [新機能] S3 Access Grantsの仕組みと従来のS3アクセス管理との比較 - Qiita

    はじめに 2023 AWS re:inventにてS3のアクセス管理に関する新機能"S3 Access Grants"が発表されました! これまでS3のアクセス管理方法として、S3バケットやIAMによるポリシー管理やAccess Points管理などがありましたが、新しい管理方法が登場したようです。 記事ではS3 Access Grantsが従来のアクセス管理方法とどういった点で異なるのかについて解説をしていきたいと思います。 S3 Access Grants 特徴 IAMプリンシパル(ロールやユーザー)に対してS3 内のデータセットにマッピングすることが可能 またAWS Identity Centerとも連携が可能で、外部プロバイダのユーザーにも対応が可能 一時的なセッションとして認証/認可を行い、きめ細やかなアクセス管理が可能 アクセスはCloudtrailで監査が可能 構成 Acc

    [新機能] S3 Access Grantsの仕組みと従来のS3アクセス管理との比較 - Qiita
    sh19910711
    sh19910711 2024/01/25
    re:Invent 2023 / "S3 Access Grants: IAMプリンシパル(ロールやユーザー)に対してS3 内のデータセットにマッピング + AWS Identity Centerとも連携が可能で、外部プロバイダのユーザーにも対応 + 一時的なセッション"
  • [アップデート]IAM Access Analyzerにて自動推論によるカスタムポリシーチェックが追加されました。#AWSreInvent | DevelopersIO

    [アップデート]IAM Access Analyzerにて自動推論によるカスタムポリシーチェックが追加されました。#AWSreInvent はじめに こんにちはAWS事業コンサルティング部のみなみです。 re:Inventが日から始まり、アップデートも盛り沢山です! 今回紹介するアップデートですが、IAM Access Analyzerにて自動推論によるカスタムポリシーチェックが追加されました。 これによってポリシーの変更内容を検知し、意図しない権限の付与を防ぐことが出来ます。 https://aws.amazon.com/jp/about-aws/whats-new/2023/11/iam-access-analyzer-custom-policy-check/ 忙しい人の為のまとめ IAM Access Analyzerに新たなAPI、CheckNoNewAccessとCheck

    [アップデート]IAM Access Analyzerにて自動推論によるカスタムポリシーチェックが追加されました。#AWSreInvent | DevelopersIO
    sh19910711
    sh19910711 2024/01/22
    どちらも革命的に便利だった / "CheckNoNewAccess: 既存のポリシーと比較して、新しい権限が付与されたかどうかを検知 / CheckAccessNotGranted: 特定の権限(アクション)が付与されているかを確認" / 2023
  • re:Invent 2023で感じたセキュリティの民主化と生成AI活用の未来 / The future of security democratization and generative AI as I felt at re:Invent 2023

    AWS目黒で実施された「AWS re:Invent 2023 re:cap LT 大会」で発表した資料

    re:Invent 2023で感じたセキュリティの民主化と生成AI活用の未来 / The future of security democratization and generative AI as I felt at re:Invent 2023
    sh19910711
    sh19910711 2024/01/20
    "Amazon Inspector: EC2のエージェントレス診断に対応 + SSMエージェントがインストールされていなくてもEC2のスキャンができる + EBSスナップショットをスキャンする仕組み / Amazon CloudWatch: 自然言語によるクエリ生成"
  • DynamoDBとOpenSearch Serverlessのzero-ETL統合をTerraformで自動構築する - Qiita

    はじめに 2023年のre:Inventで発表されたDynamoDBとOpenSearch Serviceのzero-ETL統合は、複雑なETLを作り込むことなくお手軽にOpenSearch ServiceにDynamoDBの情報を取り込むことができる優れモノだ。 が、お手軽と言いつつ、IAMのアクセス権の設定やOpenSearch ServiceのYAML定義にはハマりどころが多く、マニュアルも散らばっていてお手軽感が薄かったのでもっとお手軽にするためにIaCで冪等性を高めて動作するようにした。また、今回はOpenSearchはServerlessで動作をさせる。 基は最初に貼ったAWS公式のブログの流れで作っていくことにする。 DynamoDBの準備 DynamoDBの準備は特に難しいところはない。 AWS公式のブログに記載の通り、DynamoDB StreamsとPoint-in-

    DynamoDBとOpenSearch Serverlessのzero-ETL統合をTerraformで自動構築する - Qiita
    sh19910711
    sh19910711 2024/01/20
    ここも繋がってたのか / "DynamoDBとOpenSearch Serviceのzero-ETL統合 / 2023年のre:Inventで発表 / お手軽にOpenSearch ServiceにDynamoDBの情報を取り込むことができる / hashicorp/terraform-provider-awscc"
  • Pinecone を使って、Amazon Bedrock Knowledge base と Agent で番組情報を扱えるようにしてみた - Qiita

    Pinecone を使って、Amazon Bedrock Knowledge base と Agent で番組情報を扱えるようにしてみたAWSbedrock Amazon Bedrock Knowledge base と Agent 自社で開発・運用している動画配信サービス「hod」のデータを使って、番組情報を教えてもらうチャットボットを構築してみます Amazon Bedrock の新機能としてGAした Knowledge Base と Agent を使っていきます。 使用する追加データとしては、HTBが開発・運用している動画配信サービス「hod」の番組マスタデータの一部をcsvにしたものを使ってみたいと思います。 (Bedrock の周辺機能をアーキテクチャ図に落とし込むときどうもしっくりこない。。笑) Vector Store として Pinecone を採用して、Knowledge

    Pinecone を使って、Amazon Bedrock Knowledge base と Agent で番組情報を扱えるようにしてみた - Qiita
    sh19910711
    sh19910711 2024/01/20
    "Knowledge Base: Amazon Bedrock の新機能 + S3 にあるデータを Vector Store に格納して RAG(Retrieval-Augmented Generation)を簡単に実現するサービス / デフォルトで OpenSearch あたりが使われますがが、外部サービスを指定することも可能" / 2023
  • Terraform 1.7 から import ブロックで for_each が使えるようになった

    Terraform 1.7 がリリースされました 🎉 Terraform 1.7 also includes an enhancement for config-driven import: the ability to expand import blocks using for_each loops. import ブロックで for_each が使えるようになったとのことなので試してみます。

    Terraform 1.7 から import ブロックで for_each が使えるようになった
    sh19910711
    sh19910711 2024/01/18
    おお、モックも気になる / "Terraform 1.7 がリリースされました / ちなみに他にも Terraform 1.7 ではテストでモックが使えるようになったり removed ブロックが追加されたりと、様々な機能追加や改善が含まれています"
  • Cloud Run と Cloud Storage FUSE (GCS FUSE) の基本

    2023年は「Cloud Run を触って覚える」をテーマとした ひとりアドベントカレンダー を開催しており、Cloud Run のさまざまな機能や Cloud Run でよく使う構成などをご紹介しています。 20日目は Cloud Run と Cloud Storage FUSE の基的な使い方についてご紹介します。 Cloud Run の概要は「gihyo.jp」で解説していますので、こちらもぜひご覧ください。 Cloud Storage FUSE (GCS FUSE) とは オープンソースの FUSE アダプタを使用した、Cloud Storage バケットをファイルシステムとしてマウントする方法です。Cloud Run からも利用することができ、Cloud Storage を複数のコンテナ間、サービス間、ジョブ間の共有ストレージとして利用することができます。 Cloud Stor

    Cloud Run と Cloud Storage FUSE (GCS FUSE) の基本
    sh19910711
    sh19910711 2024/01/18
    "Cloud Run: 第2世代ではネットワーク ファイル システムをディレクトリにマウントする機能をサポート / Cloud Storage FUSE を使うことで Cloud Storage バケットをディレクトリのように扱う" / 2023
  • BigQuery Remote Functionsによる形態素解析 - DMM inside

    |DMM inside

    BigQuery Remote Functionsによる形態素解析 - DMM inside
    sh19910711
    sh19910711 2024/01/12
    "分析基盤がAWSからGCPへ + DWHとしてBigQueryを利用 / user_defined_context にユーザー辞書に登録したい単語リストを設定 / Cloud Runの最小インスタンス数は0に設定 > コールドスタートを考慮しても高速に処理できている" / 2023
  • Cloud Storageへのデータ転送で課金爆死してしまった件 - G-gen Tech Blog

    G-genの田中です。当記事では、Cloud Storage を利用する中で、意図していない高額の請求が発生してしまった事例について解説していきます。 はじめに 背景 Cloud Storage とは Cloud Storage の料金 Storage Transfer Service とは 事件のあらまし 背景 落とし穴 莫大な課金の発生 後日譚 はじめに 背景 今回、G-gen でサポートさせて頂いているお客様が Storage Transfer Service を利用して Cloud Storage へデータ移行を行ったところ、3日間で数十万円の課金が発生してしまったという事件があり、注意喚起のために記事化させて頂くことになりました。 記事は、お客様名の許諾を得た上で、実際に起きた内容を少し改変して記事化しました。お客様の社内事情のため数値等を事実とは違うものにして記載していますが

    Cloud Storageへのデータ転送で課金爆死してしまった件 - G-gen Tech Blog
    sh19910711
    sh19910711 2023/11/21
    "Storage Transfer Service を利用して Cloud Storage へデータ移行 / Google Drive 内の約 6TB のファイルを Cloud Storage にバックアップしたい / 今回の件では Google Drive の中に1ファイルあたり数バイトのログファイルが約8億個ありました"
  • Infrastructure from Code (IfC) ツールまとめ - maybe daily dev notes

    昨今Infrastructure from Code (IfC)という概念をよく耳にします。先日もAWSのGregor Hohpeが関連する記事を書いていました。 architectelevator.com この記事では、Infrastructure from Codeとはなにか簡単に紹介し、具体的にどのようなツールがあるか網羅的にまとめます。 Infrastructure from Codeとはなにか Infrastructure from Code (IfC) とは、その名の通り、Infrastructure as Code (IaC) に関連する概念です。IaCとの根的な違いは、IaCは開発者がインフラを明示的に意識して構成を記述するのに対し、IfCでは開発者がインフラをできるだけ意識しないよう抽象化を試みていることです。これにより、差別化に繋がらない重労働ができる限り排除された高

    Infrastructure from Code (IfC) ツールまとめ - maybe daily dev notes
    sh19910711
    sh19910711 2023/11/08
    "インフラはアプリのコードから生成される、というのがfrom Codeの意味するところ / 抽象化により失われるものは往々にして柔軟性 / IaCを取って代わるというよりは、これもまた適材適所で使い分けるツールとなるでしょう"
  • CDKTFでconfig-driven importを試してみる | DevelopersIO

    CDKTF 0.19でconfig-driven importがサポートされたので、試してみました。 CDKTF 0.19 adds support for config-driven import and refactoring config-driven importとは Terraform 1.5で追加された機能です。 従来からTerraformでは、terraform importコマンドで既存リソースをTerraformの構成管理下に置くことができました。 しかし、このコマンドはリソースを1つずつインポートする必要がある・結果をプレビューすることができない等制限もありました。 config-driven importでは、importブロックを利用することで上記の制限をなくし、インポート操作をコードで定義できるようになりました。 import { # ID of the clou

    CDKTFでconfig-driven importを試してみる | DevelopersIO
    sh19910711
    sh19910711 2023/10/23
    "config-driven importでは、importブロックを利用することで上記の制限をなくし、インポート操作をコードで定義できるように / 今回のアップデートでCDKTFでもconfig-driven importがサポートされました (CDKTF 0.19)"
  • Amazon BedrockのEmbeddingsを試しました。(良さげです) - Qiita

    Amazon BedrockのEmbeddingsを試しました。 環境 Ubuntu 22.04 (.devcontainer) Python 3.10 VSCode + Python拡張 + Jupyter拡張 ライブラリーのインストール %pip install -q -U \ boto3==1.28.57 \ langchain==0.0.303 \ unstructured \ qdrant-client

    Amazon BedrockのEmbeddingsを試しました。(良さげです) - Qiita
    sh19910711
    sh19910711 2023/10/23
    langchain.embeddings / "Bedrock Embeddingsを作成。使用するモデルはAmazon Titan Embeddings / Qdrantというベクトルデータベースを使用 + 実態はSQLiteのようです"
  • terraform importしてplan差分がない=環境が再現できているといつから錯覚していた? - Qiita

    はじめに 先日、Terraform v1.5.0がリリースされました v1.5の目玉はなんと言っても import ブロックと terraform plan -generate-config-out によるtfファイルの生成ですよね〜。これで既存のリソースもimportし放題だと巷で話題です。 ところで、Terraformの特徴として、「インフラをコード化することで環境が再現できる」などと一般的に謳われています。また、Terraformには「既存リソースをimportする機能」があります。別にそれぞれ単独では間違ってはないのですが、これらを組み合わせて、「既存リソースをimportしてplan差分が出なければ元の環境を再現できる」と言えるのでしょうか? 残念ながら現実にはそうとも言い切れません。なんとなく経験上わかってる人もいるとは思いますが、意外と気づいてない人も多そうな気がしたので、ち

    terraform importしてplan差分がない=環境が再現できているといつから錯覚していた? - Qiita
    sh19910711
    sh19910711 2023/08/25
    "手で作ってしまったリソースは可能な限りimportしてカバレッジを上げたほうがよい / ただimportしてplan差分がないことを確認しただけでは、環境が完全に再現できるわけではないという限界も認識しておくべき"
  • Google Cloud のマネージド Terraform、 Infrastructure Manager 登場!

    こんにちは。クラウドエースの阿部です。 今回はひっそりと一般提供されていた Infrastructure Manager について紹介したいと思います。 Infrastructure Manager とは Infrastructure Manager (以降、Infra Manager と表記) は、 Google Cloud におけるリソースのデプロイや管理を IaC で自動化するためのマネージドサービスです。 内部では Terraform と Cloud Build を使用してリソースの管理を行っています。 Infra Manager の特徴 特徴としては以下の通りです。 GitHub 等と連携した CD (継続的デリバリ) の構築を簡単に実装できます。Cloud Build で同じ事をやる場合は、 cloudbuild.yaml で CI/CD パイプライン設定が必要です。また、ロー

    Google Cloud のマネージド Terraform、 Infrastructure Manager 登場!
    sh19910711
    sh19910711 2023/08/25
    "GitHub 等と連携した CD (継続的デリバリ) の構築を簡単に実装できます / state の保存先は利用者から見えない場所 + 実行ログを参照すると、自動的に http backend 設定を生成して、 state を保存しているようです"
  • Aurora Cluster Cloneを使ったDataLake連携 - Qiita

    Aurora ClusterからのDatalake連携で、Cluster Cloneという仕組みを活用すると非常に便利だったので紹介します。 この記事では、Aurora Clusterをbatch連携でDataLakeに流し込む設計の話を扱います。他にもDMSを用いてstream連携する方法などがありますが、ここではscope outします。 そもそも「DataLake連携」とは? チームや書籍によって少しずつ定義が異なると思いますが、ここでは「データ分析環境を構築するためにDBからデータを抽出してくる仕組み」を指します。 データ分析では複雑なSQLpython scriptを用いてデータを処理していくことが多いですが、これをDBに直接実行してしまうと負荷が大きくサービス運用に支障が出ます。 そこで、AWSではS3 bucketにデータを吐き出すことでそこにAthenaを通してア

    Aurora Cluster Cloneを使ったDataLake連携 - Qiita
    sh19910711
    sh19910711 2023/08/18
    "CloneではReplicationと異なり「Storageをコピーしない」ことで「Storageコストの削減」「立ち上がりの高速化」を実現しています / 実行するAPIはrestoreDBClusterToPointInTime / RestoreTypeにcopy-on-writeを指定することでCluster Cloneになります"
  • Amazon Connectで月4ドルで電話発信する仕組みを構築する | DevelopersIO

    今までAmazon Connectは受信専用のコールセンターのイメージだったのですが、発信専用として使うと、非常に安価に電話発信機能をAWSに組み込むことができます。 「システム障害アラート、やっぱり電話で発信したいよね…」 システム運用の要である障害アラート。異常発生に即対応するためのアラート運用は重要です。アラートの通知先としては代表的なものにメールがありますし、最近ではSlackなどのチャットツールを併用している現場も多いと思います。 しかし、やっぱり昔から一番緊急度が高いアラートとして利用されているのは、「電話」じゃないでしょうか。そう、聞きたくないんだけれど聞かないといけないアレです。 ただ、電話によるアラートをシステムに組み込むのって敷居が高そうじゃありませんか?サードパーティーのサービスを契約したり初期費用がかかったり時間も手間もかかったり… そこでAmazon Connec

    Amazon Connectで月4ドルで電話発信する仕組みを構築する | DevelopersIO
    sh19910711
    sh19910711 2023/08/12
    便利そう / "Amazon Connect: 導入するにも敷居が高いものだと思ってました + 発信専用として使うと、非常に安価 / 月4USD程度のランニングコストと1時間程度の手間で、手軽にSNS経由で電話発信する仕組みを作る" / 2019
  • Terraform 1.6 で追加されそうな terraform test コマンドを試してみる

    最近 Terraform 1.6 のアルファ版がリリースされています。 リリースノートを読んでみると terraform test なるコマンドが含まれているではありませんか! これは試してみるっきゃないと思い、ちょっとだけ触ってみました。 サンプルコード 今回紹介するサンプルコードは以下のリポジトリで管理しています。 terraform test コマンドを試してみる シンプルなテスト terraform_data リソースを使ってさっくりとシンプルなテストを書いてみます。 テストファイルの拡張子は *.tftest.hcl にする必要があります。

    Terraform 1.6 で追加されそうな terraform test コマンドを試してみる
    sh19910711
    sh19910711 2023/08/04
    terraform_data リソースも知らなかったな / "Terraform 1.6 のアルファ版がリリース / リリースノートを読んでみると terraform test なるコマンドが / 1.5 の HCL 生成に引き続き、 1.6 もアツいことになりそう"
  • 【AWS IAM Identity Center】Google Workspaceの代わりにCloud Identityを使ってGoogleアカウントからのシングルサインオン環境を作る - サーバーワークスエンジニアブログ

    エンタープライズクラウド部の松田です。こんにちは。 タイトル長いですが短くするのは諦めました。 Cloud Identity(Google WorkspaceのIdP機能だけを抜き出したようなもの。無償で使えます。)とAWS IAM Identity Center(旧: AWS Single Sign-On)を使ったシングルサインオンのセットアップを行う機会がありましたのでブログにまとめてみます。初めて触れるサービスでしたので(そもそもシングルサインオン自体馴染みがありませんでしたが)、そもそものサービス概要についても掘り下げていきます。 AWS IAM Identity Centerとは 何ができるのか 外部IdP連携パターンもざっくり説明 Cloud Identity(Google Workspace代替)との連携 作業の流れ 1. ドメイン取得 2. Cloud Identityの登

    【AWS IAM Identity Center】Google Workspaceの代わりにCloud Identityを使ってGoogleアカウントからのシングルサインオン環境を作る - サーバーワークスエンジニアブログ
    sh19910711
    sh19910711 2023/07/30
    "Cloud IdentityとAWS IAM Identity Centerを使ったシングルサインオン / Cloud Identity Free Edition: Google WorkspaceのIdP機能だけを抜き出したようなもの。無償で使えます + 事前にドメインの取得は必要"
  • AWS IAM Identity Center において一時的なアクセス許可を与える仕組みを提供する Temporary Elevated Access Management (TEAM) ソリューションを試してみた | DevelopersIO

    AWS IAM Identity Center において一時的なアクセス許可を与える仕組みを提供する Temporary Elevated Access Management (TEAM) ソリューションを試してみた AWS IAM Identity Center で一時的なアクセス許可を与える仕組みを提供するソリューション Temporary Elevated Access Management (TEAM) が aws-samples で公開されました。例えば、特定の AWS アカウントへの AdministratorAccess 権限のアクセスを利用者が申請し、上長が承認する、といった運用を実現できます。 AWS のブログでも TEAM の使い方が紹介されています。 ブログでは TEAM ソリューションをデプロイし、AWS アカウントへの一時的なアクセスの申請と承認を試してみます。

    AWS IAM Identity Center において一時的なアクセス許可を与える仕組みを提供する Temporary Elevated Access Management (TEAM) ソリューションを試してみた | DevelopersIO
    sh19910711
    sh19910711 2023/07/30
    便利そう / "AWS IAM Identity Center で一時的なアクセス許可を与える仕組みを提供するソリューションが aws-samples で公開 / AWS IAM Identity Center において Just in time アクセスを提供"
  • カスタマイズで広がるAWS Copilotの実践力 - KAYAC engineers' blog

    SREチームの橋です。SRE連載の7月号になります。 カヤック社内では弊社藤原のecspressoAmazon ECSのデプロイツールとして活用していますが、AWS公式のデプロイツールAWS Copilot(現在v1.29)もそのオールインワン的な性質から、開発・運営リソースが限られるプロジェクトでは選択肢に入るようになってきました。 今回はそのAWS Copilot活用のため、背後にあるAWS CloudFormationテンプレートをカスタマイズする手法を紹介します。 AWS CopilotとCloudFormation AWS CopilotはECSなどのデプロイを簡単にするCLIツールですが、実態としてはManifestと呼ばれるYAMLの設定ファイルからCloudFormationテンプレートを生成し、各種リソースを作成・管理するものです。 AWS Copilotは内部的にC

    カスタマイズで広がるAWS Copilotの実践力 - KAYAC engineers' blog
    sh19910711
    sh19910711 2023/07/29
    "AWS Copilot: YAMLの設定ファイルからCloudFormationテンプレートを生成し、各種リソースを作成・管理 / 最近のアップデートによって大きくカスタマイズ性が向上し実用性が高まりつつある"