サービスアカウントの IAM ロール - Amazon EKS
Pod のコンテナ内のアプリケーションは AWS SDK または AWS CLI で、AWS のサービス (IAM) アクセス許可を使用した AWS Identity and Access Management への API リクエストを行うことができます。アプリケーションは AWS 認証情報で AWS API リクエストに署名する必要があります。サービスアカウントの IAM ロールには、Amazon EC2 インスタンスプロファイルから Amazon EC2 インスタンスに認証情報を提供する場合と同じような方法で、アプリケーションの認証情報を管理する機能があります。AWS 認証情報を作成してコンテナに配布したり、Amazon EC2 インスタンスのロールを使用したりする必要はありません。IAM ロールを Kubernetes サービスアカウントと関連付けて、サービスアカウントを使用するよ
Cloud Run で Workforce Identity と IAP を利用して Microsoft Entra アカウントで認証する
はじめに こんにちは！クラウドエースの SRE 部に所属している小田です。 今回は、Microsoft Entra テナント（旧 Azure AD）を外部 Identify Provider（以下、IdP）として Workforce Identity 連携を行い、Microsoft Entra アカウントで Cloud Run のアプリケーションに Identity-Aware Proxy（以下、IAP）認証を行う方法についてのご紹介です。 2024 年 5 月 6 日にプレビューとなったばかりの機能で、私自身とても気になっていたので試してみました。 対象読者 Microsoft Entra アカウントで IAP 認証を行いたい人 Workforce Identity で Microsoft Entra テナントと連携したい人 何が嬉しいのか 従来、IAP で外部の IdP ユーザーで認証
Workforce Identity Federation を利用する
はじめに アプリケーションモダナイゼーションスペシャリストの関本と申します。 今回は、Google Cloud Japan Advent Calendar の 8 日目の投稿として、アプリケーションモダナイゼーションとあまり関係がない、Workforce Identity Federation についてご紹介します。 TL;DR Workforce Identity Federation を利用すると Cloud Identity を利用せずに他の IdP(Microsoft Entra ID などの外部 ID プロバイダー) の ID で Google Cloud を利用できます。 Workforce Identity Federation とは？ Google Cloud の外部(他のクラウドや Kubernetes など)で実行されているアプリケーションが、Service Accou
グチャグチャになった「Ubuntu on WSL2」のやり直し方 - Qiita
人生のやり直し…もとい… グチャグチャに遊びこんだ「WSL2用Ubuntu」を最初からやり直したくなりました… インストールした「Ubuntu」をリセットすることにより、アンインストールせずに簡単にやり直すことができます。以下、手順をまとめておきます。 ➊ Ubuntuのリセット方法 [スタート] → [設定] → [アプリ]にて、「アプリと機能」へ移動。 検索窓から「Ubuntu」を検索。 「Ubuntuアプリ」が見つかったら、それの「詳細オプション」をクリック。 リセットセクションの「リセット」ボタンをクリックする。 これできれいサッパリUbuntuがクリアされます。 ➋ Ubuntu新規作成方法 windowsの検索窓から、「ubuntu」を検索する。 「Ubuntu」アプリをクリック これで最初からやり直すことができます。 一応ではありますが、「PowerShell」からも「Ubu
OktaとAWSの連携方法ってAWS IAM Identity Center方式とAWS Account Federation方式どっちがいいのか？
こんにちは！たつみんです！ AWSマネジメントコンソールへのSSOをOktaで実施しようとBrowse App CatalogからAWSと検索するとSAMLに対応したAWS IAM Identity CenterとAWS Account Federationの2つが確認できます。 この記事ではそれぞれの設定方法に触れながら最終的にどちらがおすすめか考えてみました。 3行まとめ AWS Account Federation方式は煩雑な印象だよ 公式CLIツール AWS CLI v2が使えるのはAWS IAM Identity Center方式だよ 特別な理由がない限りAWS IAM Identity Center方式がおすすめだよ AWS IAM Identity Center方式 特徴 OktaではSSOとユーザーとグループのProvisioningを行う AWS側でProvisionin
Apache Iceberg とは何か - 流沙河鎮
はじめに 概要 Apache Iceberg(アイスバーグ)とは [重要] Icebergの本質はTable Specである Table Spec バージョン Icebergハンズオン Icebergの特徴 同時書き込み時の整合性担保 読み取り一貫性、Time Travelクエリ、Rollback Schema Evolution Hidden Partitioning Hidden Partitioningの種類 時間 truncate[W] bucket[N] Partition Evolution Sort Order Evolution クエリ性能の最適化 ユースケース Icebergのアーキテクチャ Iceberg Catalog Iceberg Catalogの選択肢 metadata layer metadata files manifest lists manifest f
DataformのサードパーティーGitリポジトリ接続機能を試してみた | DevelopersIO
データアナリティクス事業本部の鈴木です。 Dataformでは以下のドキュメントに記載のように、GitHubのようなサードパーティーのGitリポジトリと連携する機能があります。今回はこの機能を使ってみたのでご紹介します。 前提 今回はGitHubのプライベートリポジトリに接続してみました。 また、Dataform側のリポジトリは、以下のブログで既に作成してあるものを使ってみました。この記事ではDataformにリポジトリを作成し、QuickStartに紹介されている定義を作成・実行し、リポジトリにもcommitしていました。 つまり、既にいくつかのcommitがあるワークスペースを含むリポジトリをGitHubに新しく接続設定するとどうなるのかを中心に確認しました。 参考にしたドキュメント 冒頭でも掲載した、以下のConnect to a third-party Git repository
Workload Identity Federationを図で理解する - Carpe Diem
概要 GCPのWorkload Identity連携はサービスアカウントで秘密鍵を作らずともGCPリソースへのアクセス権を他の環境（オンプレ、別パブリッククラウド）に付与することができます。 これにより AWSからGCPリソースにアクセスする GitHub ActionsからGCRにDocker imageをpushする CircleCIでGKEのデプロイを行う といった連携が鍵なしで実現できます。 ただ実装だけだとイメージしづらいので今回は図示してみました。 Workload Identity Federation Workload Identity連携における登場人物は以下です。 左のWorkloadsがGCPリソースにアクセスしたいアプリケーションに当たります。 準備 Workload Identity Poolの作成とサービスアカウントの作成 まずはWorkload Identit
サービスアカウントの権限を借用して Terraform を実行する方法 - G-gen Tech Blog
G-gen の武井です。 Infrastructure as Code (IaC) を実現する Terraform を Google Cloud (旧称 GCP) で実行する際、ユーザーアカウントの権限ではなく、サービスアカウントの権限を借用して実行する方法を紹介します 。 Terraform Terraform が依存する IAM 権限 概要 IAM 権限の付与 サービスアカウントを利用した Terraform の実行 図説 権限借用のイメージ 権限借用のメリット 設定方法 概要 環境 事前準備 プロジェクトの作成 プロジェクトの請求先アカウントの紐づけ tfstate ファイル格納バケットの作成 Terraform 用サービスアカウントの作成 Terraform 用サービスアカウントに IAM ロールを付与 手順 roles/iam.serviceAccountTokenCreator
Amazon Aurora の KMS キーをシュッと差し替える - カミナシ エンジニアブログ
こんにちは。ソフトウェアエンジニアの坂井 (@manabusakai) です。 カミナシでは RDB に Amazon Aurora MySQL を使っています（以下 Aurora と略します）。また、データ保護の追加レイヤーとして KMS を使って DB クラスターを暗号化しています。 docs.aws.amazon.com ここまでは良いのですが、KMS キーに AWS マネージドキーが設定されていました。普段から AWS を使っている方であれば「あちゃ〜」と思われるでしょう。 なぜ Aurora の KMS キーに AWS マネージドキーを使うのが「あちゃ〜」なのか KMS キーには、AWS マネージドキーとカスタマーマネージドキーの 2 種類があります。 AWS マネージドキーはユーザーに代わって作成されるキーで、RDS の場合は aws/rds というエイリアス名が付いています。
タグを利用したBigQueryのアクセス制御 | フューチャー技術ブログ
はじめにBigQueryは完全マネージドな、ペタバイトスケールかつコスパのよいデータウェアハウスとして知られております。そのため、ほぼリアルタイムで膨大な量のデータを解析することを可能としております。 便利なツールである一方、BigQueryで取り扱うデータには個人情報が含まれていることもあり、適切なアクセス制御が望まれます。 本記事では、Resource Managerのタグ機能を利用して、Terraformによるアクセス制御の実装を紹介したいと思います。 Resource ManagerのタグとはGoogle Cloudのリソースに対して、Key-Valueペアでタグを付与してIAMの条件に含めることができる機能です。 例えばBigQueryのデータセットであれば、Key:environmentに対してValue:dev, stg, prdを用意したり、Key:dataset_type
【2023年02月版】AWS EC2 AmazonLinux で WireGuard による VPN 環境構築 - Qiita
はじめに AWS上でAmazonLinux2を利用してWireGuardによるVPN環境を構築します。 サーバはAmazonLinux2 クライアントはMac/Windows/iOS/Android等WireGuardのクライアントソフトがある環境 クライアントがWireGuardのVPNを経由してVPC内の別のインスタンス（AmazonLinux2）へ接続できる # uname -a Linux #####.ap-northeast-1.compute.internal 5.10.157-139.675.amzn2.x86_64 #1 SMP Thu Dec 8 01:29:11 UTC 2022 x86_64 x86_64 x86_64 GNU/Linux # cat /etc/os-release NAME="Amazon Linux" VERSION="2" ID="amzn" I
BigQueryのデータ転送のエラー原因特定で軽く躓いた話 - Yappli Tech Blog
こんにちは。サーバーサイドエンジニアの柴田です。 皆さんはBigQueryにCSVファイルをインポートしたくなったことはありますか？ 私はあります。そしてエラーの原因特定ができず軽く躓いたことがあるので、簡単にですが備忘録的にその時の対処法を残しておこうと思います。 データ転送を使ってBigQueryにCSVファイルをインポートしようとした際のエラー箇所の特定方法 Cloud Storageに配置したCSVファイルをBigQueryの「データ転送」機能を使って転送を実行した際に、以下のようなエラーとなりデータ転送に失敗しました。 Error while reading data, error message: CSV table references column position XX, but line starting at position:XXXXXXXX contains on
POSIX shの変数展開による文字列置換の限界を探る - Qiita
シェルスクリプト中で文字列置換をしたくなったら普通はsedやawkを呼び出すのが正解でしょう。ただ、世の中にはプロセスのforkが異常に遅い環境というのがあるので（CygwinとかMSYSとか）、シェルスクリプト内で頑張りたくなることがあります。 そんなときに使えるのがシェルの変数展開の機能です。特に下記の4つの書き方はPOSIX shがサポートしているのでポータビリティの観点でも安心して使うことができます。 表現 説明
キーを使用せずに AWS から Google Cloud にアクセスする方法 - G-gen Tech Blog
G-gen の藤岡です。当記事では、 Workload Identity 連携を使う ことで Amazon Web Services（以下 AWS）の EC2 から Google Cloud（旧称 GCP）の Cloud Storage（以下 GCS）への操作を サービスアカウントキーを発行せず に実現する方法を紹介します。 なお、Google Cloud 側の設定は Terraform を使用します。 概要 Workload Identity 連携とは サービスアカウントキーと Workload Identity の認証情報 実施内容 構成図 Terraform テンプレート全体像 事前準備 tfstate ファイル用 GCS バケットの作成 Google Cloud の設定（Terraform 解説） Terraform の初期設定 API の有効化 サービスアカウントの作成 / 権限
AWS Aurora MySQL Parallel Query の基礎研究 | 外道父の匠
AWS Aurora MySQLには、高性能を期待できる Parallel Query という機能があります。 実際、良いモノっぽいのですが、非常に情報が少ないので私めがいつものように掘り下げて、お役に立てればという徳を積む行為であります。 目次 Parallel Query とは リンク集 速度比較 費用の仕組み 設定による有効・無効 有効にできない条件 Parallel判定されるクエリ 結合クエリ innodb_buffer_pool_size との関係 その他 実践では Parallel Query とは 詳しくは下記リンクを見たほうがいいのですが、頑張って要約してみます。 通常のDB処理は、データを可能な限りメモリ上に置いておいて処理しようとしますが、オンメモリじゃないデータはストレージから取得する必要があり、データ取得後はDB本体における１スレッドがクエリ処理を行います。 Aur
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LocalでApplication Default Credentialsを利用している時にG Suite APIやFirebase APIを実行するとgoogleapi: Error 403: Request had insufficient authentication scopes. になる · Issue #124 · gcpug/nouhau
自分のIPを確認するサービス
https://github.com/C-FO/insight-glue/pull/461
Elasticsearch のサーバー上でクエリログを出力する方法 - Yukii's Blog