はてなブックマーク

【資料公開】AWS re:Invent 2024 関西組 事前勉強会に「re:Invent 2023への渡航中に鞄を紛失! 落ち着いて行動するための体験談」というタイトルでLT登壇しました #reinventkansai こんにちは、AWS事業本部 コンサルティング部の荒平(@0Air)です。 AWS re:Invent 2024 関西組 事前勉強会に参加し、「 re:Invent 2023への渡航中に鞄を紛失! 落ち着いて行動するための体験談 」というタイトルで登壇させていただきました。 企画・運営の方にはこの場をお借りして御礼いたします。 登壇資料 登壇内容 今回の登壇で伝えたいことの8割は以下スライドに書いてあります。 re:Invent、もといラスベガス渡航に限った話ではないですが、私みたいに「初海外、初re:Invent」な方も一定数いると思われるので、今回は失敗談を元にお伝えす

Amazon Aurora Limitless Databaseの3種類のテーブルの違い ~ Standard/Sharded/Reference ~ AWSの提供する分散データベースAmazon Aurora Limitless Databaseには3種類のテーブルタイプが存在します。 Standard : 特定のシャードに保存されるデフォルトのテーブルタイプ Sharded : 複数のシャードに分散されるタイプ Reference : すべてのシャードにレプリケートされるタイプ 複数の Sharded テーブルを同じシャードキーで管理すると、 Collocatedタイプとなります。これらの違いを確認します。 サンプルスキーマ 検証のために、ECサイトを想定したAWSが提供する次のLimitless Database用のスキーマを活用します。 このサンプルでは、一度Standardテーブ

はじめに 本記事では、AWS Lambdaから別アカウントのAmazon Bedrockを呼び出す方法について解説します。 既存のシステムとは別のAWSアカウントでAmazon Bedrockを利用する必要がある場合に、この方法が有用です。 アカウント構成とそれぞれのアカウントで作成するリソースは以下の通りです。 アカウントA：呼び出し元（Lambda側アカウント） Lambda：Amazon Bedrockを呼び出す IAMロール：Lambda実行用のロール（AssumeRole権限を含む） アカウントB：呼び出し先（Bedrock側アカウント） Amazon Bedrock：利用可能にする IAMロール：Amazon Bedrockへのアクセス権限を持つロール 処理の流れは以下の通りです。 LambdaがAWS Security Token Service（STS）を使用してBedro

HashiConf 2024でTerraform Stacksがパブリックベータになりました。 Terraform Stacksによって新しい構成要素がいくつか追加されたので、できるだけ図を使って説明していきます。 Terraform Stacksとは Stacks are a powerful configuration layer in HCP Terraform that simplifies managing your infrastructure modules and then repeating that infrastructure. スタックは、インフラストラクチャ モジュールの管理とそのインフラストラクチャの繰り返しを簡素化する、HCP Terraform の強力な構成レイヤーです。 Stacks Overview | Terraform | HashiCorp Dev

いわさです。 今朝の AWS API のアップデートみましたか。これ。 セキュリティグループを VPC に関連付け出来るようになったらしいのです。 どういうことだろう。VPC 内で共通で適用されるセキュリティグループが登場したのか？と思ったのですが、どうやら別の VPC 内でセキュリティグループを使えるようにするアップデートのようです。 What's New アナウンスも出ていました！ これは驚きですね。 これまではセキュリティグループは VPC に関連付けして作成し、その VPC 内の EC2 や ENI にアタッチする形でした。 異なる VPC 間のセキュリティグループで ID の参照は出来ましたが、インスタンスやネットワークインターフェースへのアタッチは出来ませんでした。 そのため、同じセキュリティグループを別の VPC で使いたい場合は、例えば次のような方法でコピーする必要がありま

はじめに AWS Organizations のマルチアカウント環境において、リージョン制限を解除して作業を行うため、一時的にSCP（サービスコントロールポリシー）をデタッチし、作業完了後に再度アタッチする必要が生じることがありました。 このような操作を行う際は、作業前後で同一のSCPが正確に適用されていることを確認することが重要です。 本記事では、組織単位（OU）および各アカウントに直接アタッチされているSCPの一覧を取得し、デタッチ前後で設定内容が一致していることを確認する方法について解説します。 OU階層を出力するコマンド AWS Organizations管理アカウントからコマンドを実行します。 まず、AWS Organizations管理アカウントからOU階層を確認します。 この手順は必須ではありませんが、OUとアカウント構成を把握するのに役立ちます。 以下のコマンドをAWS C

ClaudeでCSVを読み込ませた後、JavaScriptで動作するグラフが作成できるアップデートの紹介です。まずはCSVファイル読み込んでやってみてください。これはすげぇよ。 「ClaudeのコンソールでJavaScriptが実行されてなんかヌルヌル動くグラフがでてきた」 先日のClaudeのアップデートで、CSVファイルの分析ツールがリリースされました。私はBIツール的なものには完全に疎いのですが、CSVファイルをアップロードするだけで、あとは自然言語を元にデータの分析とグラフ表示をリアルタイムで実現できる体験が非常に素晴らしかったので、その様子をお届けします。 Claude.aiのアップデート内容 Claude.aiの新しい組み込みでの分析ツール。JavaScriptの実行がClaude.aiの中で対応したため、インタラクティブでリアルタイムなデータ分析ができるようになったということ

[アップデート] AWS Lambda コンソールのコードエディタが Visual Studio Code ベースでリニューアルされました いわさです。 先日のアップデートで AWS Lambda コンソール上で使えるコードエディタが新しくなりました。 前回 Lambda コンソール上の CloudWatch Logs Live Tail 機能が実装された時にそんな予兆を感じており、その時点ではオレゴンリージョンでのみ今回の新しいエディタが使える状態でした。 re:Invent も近いですし、近々 Lambda のコードエディタアップデートされるのかもしれませんね。ちょっと楽しみですね。 今回のアナウンスで Lambda が使える全リージョンに展開されたそうです。 Code-OSS (VS Code open source) のコードエディタ 以下に AWS Lambda コンソールコード

Notionに新機能「Form」が追加されました。予想よりも高機能で、入力された内容のデータ管理や連携がノーコーディングにて色々と可能です。 Notion新機能のフォームがプライベートアカウントのワークスペースにて有効になっていたので試してみました。 埋め込み方 /formとタイプしましょう。 新規データベースの1viewとしてフォームエディタが表示されます。 フォームの使い方 入力してほしい人へ専用のURLを渡します。アクセス自体も制限でき、匿名によるポスト受付も可能です。入力されたデータはデータベースに記録されます。 このURLのポイントはアクセス時には完全に独立したものとなっているところです。アクセスしてみると、いずれかのページの子階層とはなっていないことがわかります。 ちなみに、/embedで埋め込むと以下の様にリンクとなり、一度アクセス遷移が必要です。 フォームの独自機能 1つの

[調査報告] Amazon Athena 従来のS3ファイルレイアウトとIcebergテーブルフォーマットのデータ容量比較 AWS事業本部コンサルティング部の石川です。大規模データ管理では、S3上のデータ容量のサイズを事前に把握し、コスト試算をすることが欠かせません。今日は、Amazon Athenaのデータ管理に使用される2つの主要なフォーマット、従来のS3ファイルレイアウトと Apache Icebergのテーブルフォーマットの特長やデータ容量比較について解説します。 データレイクフォーマットの概要 データレイクフォーマットは、従来のS3ファイルレイアウトとApache Icebergのテーブルフォーマットの2種類があります。 補足: Amazon Athenaは、将来的に、Apache Icebergの他にApache HudiやLinux Foundation Delta Lake

さがらです。 MotherDuck社の公式ブログのチュートリアル「DuckDB Tutorial For Beginners」をやってみたので、本記事でその内容をまとめてみます。 検証環境 OS：Ubuntu 24.04 LTS（WSL2） 事前準備 下記のリポジトリのフォルダからサンプルデータのファイルをダウンロードしておきます。（今回は作業ディレクトリの中にdataフォルダを作り、その中に格納します。） インストール 以下のコマンドを実行して、インストールします。（最新のインストール用のコマンドはこちらのドキュメントも併せてご覧ください。） # 最新バージョンをダウンロード wget https://github.com/duckdb/duckdb/releases/download/v1.1.0/duckdb_cli-linux-amd64.zip # 解凍 unzip duckdb

Goの開発現場では、ビルドやテストをビルドツールのMake(Makefile)で実行することがよくあります（例: $ make test）。たとえば、Mobyプロジェクト(Dockerの主要コンポーネント)やTerraformもそうです。 TerraformのMakefile MobyのMakefile Makefileは一度書いてしまえば変更の頻度は少ないとはいえ、最近では configure; make; make install といった手順でMakefileと触れる機会も減少しています。また、JSONやYAMLに慣れた人には、1970年代から存在するMakeの書式をとっつきにくく感じることもあり、保守性に課題が生じる場合もあります。 そこで登場するのがTaskです。Taskは、Makeの主要なユースケースをシンプルかつ簡単にYAML形式で記述できるツールです。 本記事では、Goプロ

こんにちは、製造ビジネステクノロジー部の若槻です。 AWS CDK の最近のリリースである v2.162.0 で、下記のアップデートが追加されていました。 cli: cdk rollback (#31684) (3e40edc), closes #31407 端的に言うと cdk rollback コマンドが利用可能になったというものです。AWS CDK のドキュメントにもコマンドのページが追加されていました。 用途としては、デプロイ失敗時にデバッグのためにデプロイされたリソースを保持したい場合に、cdk deploy --no-rollback コマンドによりデプロイ失敗時の自動ロールバックを停止させることが今までもできていました。この停止したロールバックを CLI で再開させることができるのが今回のコマンドになります。 試してみた cdk rollback 次のようなデプロイが失敗する

危機管理室の吉本です。 デジタルIDの認証に関するガイドラインであるNIST SP800-63-4のSecond Public Draft（第2次公開草案）が更新されていたので、変更箇所をまとめてみました。全体で467ページと相当なボリュームがあるので今回調べたのは、主に話題になっているSP800-63B-4のパスワード要件についてです。初期公開草案からなにが変更されているか知りたかったので調べたことをまとめます。 NIST SP800-63-4とは NIST SP 800-63-4は、アメリカ国立標準技術研究所（NIST）が提供する、認証やID管理に関する「デジタルアイデンティティガイドライン」の第4版を指します。 全体概要の文書と3つの関連文書に分かれており、下記のタイトル毎に策定されています。 SP 800-63-4：Digital Identity Guidelines（デジタルア

はじめに こんにちは、アノテーションのなかたです。 今回は、VSCodeのPython拡張機能でテストカバレッジ表示機能が追加されたので、検証してみました。 以前までは、Coverage Gutters 等の拡張機能を追加でインストールする必要がありましたが、Python拡張機能が対応したことで導入がしやすくなったと思います。 やってみる 今回は、Pytest と pytest-cov によるテスト環境でカバレッジ表示機能を試しています。 また手順 1, 2, 3 については、VSCode で Pytest によるテストカバレッジ環境を用意する手順になりますので、用意できている方は手順4から読み進めていただければと思います。 1. テスト環境の準備 Python拡張機能をインストールします。 また、Pythonやライブラリをインストールします。 Python仮想環境の作成やPytestのイ

はじめに 以前、Security HubのアラートをMicrosoft Teamsにメンション付きで通知する仕組みをCloudFormationテンプレート化した記事を執筆しました。このテンプレートでは、メンション先のユーザー名やメールアドレスをパラメータとして指定することで、通知をカスタマイズできるようにしています。 今回の記事では、この仕組みをさらに拡張し、複数のAWSアカウントに適用する方法を紹介します。具体的には、CloudFormation StackSetsを活用して、各メンバーアカウントごとに、異なるパラメータ（メンション先のユーザー名やユーザーのメールアドレス）を個別に設定する方法を紹介します。これにより、アカウントごとに異なる通知設定を行うことが可能になります。 AWS CloudFormation StackSetsは、複数のAWSアカウントやリージョンにわたってスタッ

しばたです。 先日AWSより「 Streamline automation of policy management workflows with service reference information 」というタイトルの更新がアナウンスされました。 こちらを日本語にすると「 サービス参照情報を使用してポリシー管理ワークフローの自動化を合理化する 」といったところですが、初見ではちょっとわかりにくかったので本記事で解説したいと思います。 どういうことか？ はじめに何が起きたかを説明すると、今回、AWSから各サービスの一覧とサービス毎で利用可能なアクションの一覧がJSONの形で公開されたというのが更新内容となります。 この公開されたJSONをIAMポリシー管理などの自動化のために使って欲しい意図だそうです。 AWSの更新としてはあくまでもJSONの公開(と今後のメンテナンス)だけであり、

さがらです。 dbt ver1.9の新機能であるmicrobatch incremental modelsを試してみたので、本記事でその内容をまとめてみます。 microbatch incremental modelsとは まず、incremental modelsについてですが、dbtで前回更新時からの差分更新を行うことができるmodelとなっています。 その上で、このincremental modelsではappend、merge、delete+insert、insert_overwriteという4つの増分更新方法がこれまで提供されていました。 この増分更新方法の新しいオプションとして追加されたのが、microbatchとなります。 microbatchでの更新時の挙動ですが、指定したカラムの値を元に日別に分けて、複数の更新処理が走るイメージとなります。（下図は上記のリンク先ドキュメン

まえがき Node、TypeScript を触っていますが、 AI 関連やデータ分析関連で Python を使うこと多いため、Python も勉強しはじめました。 今回は Python の環境構築していこうと思います。 なるべくローカル PC 汚さずプロジェクトごとに環境を構築するのが無難だと思います。 Docker などつかって別環境自体をつくっちゃうのもあるけど、 最初の一歩として、シンプルにプロジェクト単位でパッケージ管理が分離できれば OK とします。 Python 環境、ライブラリーなど管理のパッケージマネージャは pip、venv、pyenv、Conda、Poetry、Pipenv、Rye、uv などがあるみたいですね。 Rust 製の Python パッケージ管理ツール「uv」を使ってみよう | gihyo.jp 歴史的な背景は、ちょっと弱いので、その辺は他の方にお任せすると

まえがき 前回は uv で Python のプロジェクト管理をしました。 Pythonのパッケージマネージャuvで環境構築してみた | DevelopersIO Fastapi を Docker で起動するための Dockerfile を作成します。 uv を使う方法と Python のデフォルトのパッケージ管理 pip を使った方法を作成します。 uv をつかった Dockerfile Dockerfile 作成 前提として docker コマンドはインストール済みとします。 uv のドキュメントの FastAPI での使用例を参考に、Dockerfileを作成します。 FastAPI | uv FROM python:3.12-slim # Install uv. COPY --from=ghcr.io/astral-sh/uv:latest /uv /bin/uv # Copy th

AWSマネジメントコンソールで実際にデータベースを作成すると、Console-to-Codeの画面でもcreateDBInstanceという操作が表示されます。 これでCLIコマンドやCloudFormation YAMLの生成準備は完了です。 それでは実際にCloudFormation YAMLの生成をしてみます。 CLIコマンドやCloudFormation YAMLを生成したい操作を選択後、「CFN YAMLを生成」ボタンを押下します。 ボタンを押下すると、操作に応じたCLIコマンドやCloudFormation YAMLが生成されます。 それでは生成されたものを見ていきます。 CLIコマンド aws rds create-db-instance --engine "postgres" --engine-version "16.3" --engine-lifecycle-suppor

AWS事業本部コンサルティング部の石川です。昨年のre:Invent2023 で発表された クエリのパフォーマンスを最適化する多次元データレイアウトを発表 (プレビュー)について、データベース研究分野における最も重要な国際会議の1つである SIGMOD/PODS 2024 で、論文が発表されました。まだプレビュー中の新機能について論文をベースに解説します。 SIGMOD’24について、Ippokratis PandisさんもXに投稿しています！ Automated multidimensional data layouts in Amazon Redshift 分析データシステムでは、データのスキャンとフィルタリングのパフォーマンスを向上させるためにデータレイアウト技術が使用されています。この論文では、同じようなフィルター条件が頻繁に使用されるデータベース操作に対して既存の技術を上回る新し

はじめに 本記事では、Amazon Inspectorの検出結果をAWS Security Hubを経由してメール通知する方法を解説します。 この設定を行うことで、重要なセキュリティアラートをリアルタイムで把握し、迅速に対応することが可能になります。 前提条件 AWS Security Hubが有効化されていること メール通知用のAmazon SNSトピックが作成済みであること 参考記事 Inspectorを有効化 AWSマネジメントコンソールからInspectorサービスページに移動し、「Inspectorをアクティブ化」をクリックします。 設定画面で、EC2、ECR、Lambdaのスキャンが有効になっていることを確認します。 Security Hub統合 次に、InspectorがSecurity Hubと統合されているか確認します。 Security Hubサービスページに遷移し、以

はじめに クラスメソッドメンバーズのAWSアカウントをご利用の場合、セキュリティ強化とメンバーズサービス提供のため、複数のAWSサービスが自動的に有効化され、関連リソースが作成されます。 その一環として、cm-access-analyzerという名前のAWS IAM Access Analyzerが自動的に全リージョンで作成されます。このAnalyzerの信頼ゾーンは、アカウント単位で設定されています。 以下の記事で解説されているように、マルチアカウント構成においては、通常、管理アカウントのみにAnalyzerを作成し、メンバーアカウントにはAnalyzerを作成しないケースが多いです。 このため、各メンバーアカウントの全リージョンに存在するcm-access-analyzerを一括で削除する必要があります。本記事では、その効率的な方法をご紹介します。 実施手順の概要は以下の通りです。 管