はてなブックマーク

いわさです。 今朝の AWS API のアップデートみましたか。これ。 セキュリティグループを VPC に関連付け出来るようになったらしいのです。 どういうことだろう。VPC 内で共通で適用されるセキュリティグループが登場したのか？と思ったのですが、どうやら別の VPC 内でセキュリティグループを使えるようにするアップデートのようです。 What's New アナウンスも出ていました！ これは驚きですね。 これまではセキュリティグループは VPC に関連付けして作成し、その VPC 内の EC2 や ENI にアタッチする形でした。 異なる VPC 間のセキュリティグループで ID の参照は出来ましたが、インスタンスやネットワークインターフェースへのアタッチは出来ませんでした。 そのため、同じセキュリティグループを別の VPC で使いたい場合は、例えば次のような方法でコピーする必要がありま

はじめに AWS Organizations のマルチアカウント環境において、リージョン制限を解除して作業を行うため、一時的にSCP（サービスコントロールポリシー）をデタッチし、作業完了後に再度アタッチする必要が生じることがありました。 このような操作を行う際は、作業前後で同一のSCPが正確に適用されていることを確認することが重要です。 本記事では、組織単位（OU）および各アカウントに直接アタッチされているSCPの一覧を取得し、デタッチ前後で設定内容が一致していることを確認する方法について解説します。 OU階層を出力するコマンド AWS Organizations管理アカウントからコマンドを実行します。 まず、AWS Organizations管理アカウントからOU階層を確認します。 この手順は必須ではありませんが、OUとアカウント構成を把握するのに役立ちます。 以下のコマンドをAWS C

ClaudeでCSVを読み込ませた後、JavaScriptで動作するグラフが作成できるアップデートの紹介です。まずはCSVファイル読み込んでやってみてください。これはすげぇよ。 「ClaudeのコンソールでJavaScriptが実行されてなんかヌルヌル動くグラフがでてきた」 先日のClaudeのアップデートで、CSVファイルの分析ツールがリリースされました。私はBIツール的なものには完全に疎いのですが、CSVファイルをアップロードするだけで、あとは自然言語を元にデータの分析とグラフ表示をリアルタイムで実現できる体験が非常に素晴らしかったので、その様子をお届けします。 Claude.aiのアップデート内容 Claude.aiの新しい組み込みでの分析ツール。JavaScriptの実行がClaude.aiの中で対応したため、インタラクティブでリアルタイムなデータ分析ができるようになったということ

[アップデート] AWS Lambda コンソールのコードエディタが Visual Studio Code ベースでリニューアルされました いわさです。 先日のアップデートで AWS Lambda コンソール上で使えるコードエディタが新しくなりました。 前回 Lambda コンソール上の CloudWatch Logs Live Tail 機能が実装された時にそんな予兆を感じており、その時点ではオレゴンリージョンでのみ今回の新しいエディタが使える状態でした。 re:Invent も近いですし、近々 Lambda のコードエディタアップデートされるのかもしれませんね。ちょっと楽しみですね。 今回のアナウンスで Lambda が使える全リージョンに展開されたそうです。 Code-OSS (VS Code open source) のコードエディタ 以下に AWS Lambda コンソールコード

Notionに新機能「Form」が追加されました。予想よりも高機能で、入力された内容のデータ管理や連携がノーコーディングにて色々と可能です。 Notion新機能のフォームがプライベートアカウントのワークスペースにて有効になっていたので試してみました。 埋め込み方 /formとタイプしましょう。 新規データベースの1viewとしてフォームエディタが表示されます。 フォームの使い方 入力してほしい人へ専用のURLを渡します。アクセス自体も制限でき、匿名によるポスト受付も可能です。入力されたデータはデータベースに記録されます。 このURLのポイントはアクセス時には完全に独立したものとなっているところです。アクセスしてみると、いずれかのページの子階層とはなっていないことがわかります。 ちなみに、/embedで埋め込むと以下の様にリンクとなり、一度アクセス遷移が必要です。 フォームの独自機能 1つの

[調査報告] Amazon Athena 従来のS3ファイルレイアウトとIcebergテーブルフォーマットのデータ容量比較 AWS事業本部コンサルティング部の石川です。大規模データ管理では、S3上のデータ容量のサイズを事前に把握し、コスト試算をすることが欠かせません。今日は、Amazon Athenaのデータ管理に使用される2つの主要なフォーマット、従来のS3ファイルレイアウトと Apache Icebergのテーブルフォーマットの特長やデータ容量比較について解説します。 データレイクフォーマットの概要 データレイクフォーマットは、従来のS3ファイルレイアウトとApache Icebergのテーブルフォーマットの2種類があります。 補足: Amazon Athenaは、将来的に、Apache Icebergの他にApache HudiやLinux Foundation Delta Lake

さがらです。 MotherDuck社の公式ブログのチュートリアル「DuckDB Tutorial For Beginners」をやってみたので、本記事でその内容をまとめてみます。 検証環境 OS：Ubuntu 24.04 LTS（WSL2） 事前準備 下記のリポジトリのフォルダからサンプルデータのファイルをダウンロードしておきます。（今回は作業ディレクトリの中にdataフォルダを作り、その中に格納します。） インストール 以下のコマンドを実行して、インストールします。（最新のインストール用のコマンドはこちらのドキュメントも併せてご覧ください。） # 最新バージョンをダウンロード wget https://github.com/duckdb/duckdb/releases/download/v1.1.0/duckdb_cli-linux-amd64.zip # 解凍 unzip duckdb

Goの開発現場では、ビルドやテストをビルドツールのMake(Makefile)で実行することがよくあります（例: $ make test）。たとえば、Mobyプロジェクト(Dockerの主要コンポーネント)やTerraformもそうです。 TerraformのMakefile MobyのMakefile Makefileは一度書いてしまえば変更の頻度は少ないとはいえ、最近では configure; make; make install といった手順でMakefileと触れる機会も減少しています。また、JSONやYAMLに慣れた人には、1970年代から存在するMakeの書式をとっつきにくく感じることもあり、保守性に課題が生じる場合もあります。 そこで登場するのがTaskです。Taskは、Makeの主要なユースケースをシンプルかつ簡単にYAML形式で記述できるツールです。 本記事では、Goプロ

こんにちは、製造ビジネステクノロジー部の若槻です。 AWS CDK の最近のリリースである v2.162.0 で、下記のアップデートが追加されていました。 cli: cdk rollback (#31684) (3e40edc), closes #31407 端的に言うと cdk rollback コマンドが利用可能になったというものです。AWS CDK のドキュメントにもコマンドのページが追加されていました。 用途としては、デプロイ失敗時にデバッグのためにデプロイされたリソースを保持したい場合に、cdk deploy --no-rollback コマンドによりデプロイ失敗時の自動ロールバックを停止させることが今までもできていました。この停止したロールバックを CLI で再開させることができるのが今回のコマンドになります。 試してみた cdk rollback 次のようなデプロイが失敗する

危機管理室の吉本です。 デジタルIDの認証に関するガイドラインであるNIST SP800-63-4のSecond Public Draft（第2次公開草案）が更新されていたので、変更箇所をまとめてみました。全体で467ページと相当なボリュームがあるので今回調べたのは、主に話題になっているSP800-63B-4のパスワード要件についてです。初期公開草案からなにが変更されているか知りたかったので調べたことをまとめます。 NIST SP800-63-4とは NIST SP 800-63-4は、アメリカ国立標準技術研究所（NIST）が提供する、認証やID管理に関する「デジタルアイデンティティガイドライン」の第4版を指します。 全体概要の文書と3つの関連文書に分かれており、下記のタイトル毎に策定されています。 SP 800-63-4：Digital Identity Guidelines（デジタルア

はじめに こんにちは、アノテーションのなかたです。 今回は、VSCodeのPython拡張機能でテストカバレッジ表示機能が追加されたので、検証してみました。 以前までは、Coverage Gutters 等の拡張機能を追加でインストールする必要がありましたが、Python拡張機能が対応したことで導入がしやすくなったと思います。 やってみる 今回は、Pytest と pytest-cov によるテスト環境でカバレッジ表示機能を試しています。 また手順 1, 2, 3 については、VSCode で Pytest によるテストカバレッジ環境を用意する手順になりますので、用意できている方は手順4から読み進めていただければと思います。 1. テスト環境の準備 Python拡張機能をインストールします。 また、Pythonやライブラリをインストールします。 Python仮想環境の作成やPytestのイ

はじめに 以前、Security HubのアラートをMicrosoft Teamsにメンション付きで通知する仕組みをCloudFormationテンプレート化した記事を執筆しました。このテンプレートでは、メンション先のユーザー名やメールアドレスをパラメータとして指定することで、通知をカスタマイズできるようにしています。 今回の記事では、この仕組みをさらに拡張し、複数のAWSアカウントに適用する方法を紹介します。具体的には、CloudFormation StackSetsを活用して、各メンバーアカウントごとに、異なるパラメータ（メンション先のユーザー名やユーザーのメールアドレス）を個別に設定する方法を紹介します。これにより、アカウントごとに異なる通知設定を行うことが可能になります。 AWS CloudFormation StackSetsは、複数のAWSアカウントやリージョンにわたってスタッ

しばたです。 先日AWSより「 Streamline automation of policy management workflows with service reference information 」というタイトルの更新がアナウンスされました。 こちらを日本語にすると「 サービス参照情報を使用してポリシー管理ワークフローの自動化を合理化する 」といったところですが、初見ではちょっとわかりにくかったので本記事で解説したいと思います。 どういうことか？ はじめに何が起きたかを説明すると、今回、AWSから各サービスの一覧とサービス毎で利用可能なアクションの一覧がJSONの形で公開されたというのが更新内容となります。 この公開されたJSONをIAMポリシー管理などの自動化のために使って欲しい意図だそうです。 AWSの更新としてはあくまでもJSONの公開(と今後のメンテナンス)だけであり、

さがらです。 dbt ver1.9の新機能であるmicrobatch incremental modelsを試してみたので、本記事でその内容をまとめてみます。 microbatch incremental modelsとは まず、incremental modelsについてですが、dbtで前回更新時からの差分更新を行うことができるmodelとなっています。 その上で、このincremental modelsではappend、merge、delete+insert、insert_overwriteという4つの増分更新方法がこれまで提供されていました。 この増分更新方法の新しいオプションとして追加されたのが、microbatchとなります。 microbatchでの更新時の挙動ですが、指定したカラムの値を元に日別に分けて、複数の更新処理が走るイメージとなります。（下図は上記のリンク先ドキュメン

まえがき Node、TypeScript を触っていますが、 AI 関連やデータ分析関連で Python を使うこと多いため、Python も勉強しはじめました。 今回は Python の環境構築していこうと思います。 なるべくローカル PC 汚さずプロジェクトごとに環境を構築するのが無難だと思います。 Docker などつかって別環境自体をつくっちゃうのもあるけど、 最初の一歩として、シンプルにプロジェクト単位でパッケージ管理が分離できれば OK とします。 Python 環境、ライブラリーなど管理のパッケージマネージャは pip、venv、pyenv、Conda、Poetry、Pipenv、Rye、uv などがあるみたいですね。 Rust 製の Python パッケージ管理ツール「uv」を使ってみよう | gihyo.jp 歴史的な背景は、ちょっと弱いので、その辺は他の方にお任せすると

まえがき 前回は uv で Python のプロジェクト管理をしました。 Pythonのパッケージマネージャuvで環境構築してみた | DevelopersIO Fastapi を Docker で起動するための Dockerfile を作成します。 uv を使う方法と Python のデフォルトのパッケージ管理 pip を使った方法を作成します。 uv をつかった Dockerfile Dockerfile 作成 前提として docker コマンドはインストール済みとします。 uv のドキュメントの FastAPI での使用例を参考に、Dockerfileを作成します。 FastAPI | uv FROM python:3.12-slim # Install uv. COPY --from=ghcr.io/astral-sh/uv:latest /uv /bin/uv # Copy th

AWSマネジメントコンソールで実際にデータベースを作成すると、Console-to-Codeの画面でもcreateDBInstanceという操作が表示されます。 これでCLIコマンドやCloudFormation YAMLの生成準備は完了です。 それでは実際にCloudFormation YAMLの生成をしてみます。 CLIコマンドやCloudFormation YAMLを生成したい操作を選択後、「CFN YAMLを生成」ボタンを押下します。 ボタンを押下すると、操作に応じたCLIコマンドやCloudFormation YAMLが生成されます。 それでは生成されたものを見ていきます。 CLIコマンド aws rds create-db-instance --engine "postgres" --engine-version "16.3" --engine-lifecycle-suppor

AWS事業本部コンサルティング部の石川です。昨年のre:Invent2023 で発表された クエリのパフォーマンスを最適化する多次元データレイアウトを発表 (プレビュー)について、データベース研究分野における最も重要な国際会議の1つである SIGMOD/PODS 2024 で、論文が発表されました。まだプレビュー中の新機能について論文をベースに解説します。 SIGMOD’24について、Ippokratis PandisさんもXに投稿しています！ Automated multidimensional data layouts in Amazon Redshift 分析データシステムでは、データのスキャンとフィルタリングのパフォーマンスを向上させるためにデータレイアウト技術が使用されています。この論文では、同じようなフィルター条件が頻繁に使用されるデータベース操作に対して既存の技術を上回る新し

はじめに 本記事では、Amazon Inspectorの検出結果をAWS Security Hubを経由してメール通知する方法を解説します。 この設定を行うことで、重要なセキュリティアラートをリアルタイムで把握し、迅速に対応することが可能になります。 前提条件 AWS Security Hubが有効化されていること メール通知用のAmazon SNSトピックが作成済みであること 参考記事 Inspectorを有効化 AWSマネジメントコンソールからInspectorサービスページに移動し、「Inspectorをアクティブ化」をクリックします。 設定画面で、EC2、ECR、Lambdaのスキャンが有効になっていることを確認します。 Security Hub統合 次に、InspectorがSecurity Hubと統合されているか確認します。 Security Hubサービスページに遷移し、以

はじめに クラスメソッドメンバーズのAWSアカウントをご利用の場合、セキュリティ強化とメンバーズサービス提供のため、複数のAWSサービスが自動的に有効化され、関連リソースが作成されます。 その一環として、cm-access-analyzerという名前のAWS IAM Access Analyzerが自動的に全リージョンで作成されます。このAnalyzerの信頼ゾーンは、アカウント単位で設定されています。 以下の記事で解説されているように、マルチアカウント構成においては、通常、管理アカウントのみにAnalyzerを作成し、メンバーアカウントにはAnalyzerを作成しないケースが多いです。 このため、各メンバーアカウントの全リージョンに存在するcm-access-analyzerを一括で削除する必要があります。本記事では、その効率的な方法をご紹介します。 実施手順の概要は以下の通りです。 管

テキストプロンプトのみで、思い通りの画像を生成するのは、実は、結構難しい作業だったりします。 この解決策の模索として、とにかく多数の画像を生成して、その中から、イメージにマッチするものを選ぶという作業を試してみました。 1 はじめに 製造ビジネステクノロジー部の平内（SIN）です。 テキストから画像が生成できるAIは、イメージを言葉で伝えるだけで、高品質な画像が生成できることから、様々なシーンでの活用が検討されていると思います。 しかし、テキストプロンプトのみで、思い通りの画像を生成するのは、実は、結構難しい作業だったりします。「なかなか、思った通りの絵にならない」というところです。 そして、その解決策の１つが、とにかく多数の画像を生成して、その中から、イメージにマッチするものを選ぶというものです。 今回は、Stability AIの SDXL Turboを使用して、この作業を試してみまし

大阪オフィスの小倉です。 以下のブログでGitHubの新機能についてPublic Previewの案内があったので、早速Waitlistに登録してみました。 Waitlistへの登録はGitHub Organization単位となっています Waitlistへの登録はこちらから可能です 複数の機能がPublic Previewの対象となっていたのですが、その中でも特に私が欲しかったSub-Issues機能について確認した内容を紹介します。 Sub-Issues機能 その名の如く、Issueに親子関係を作成することができます。 類似の機能としてTasklistという機能（ベータ版）がありますが、現在は利用リクエストできなくなっているため、当時リクエストし損ねた私には、今回のSub-Issuesは待望の機能でした。 Sub-Issueの作成 Issue画面の「Create sub-issue」

Amazon Cognito ユーザープールをCloudFormationで作成し、SES設定等のカスタマイズもしてみた はじめに 以前、管理者主導でユーザー登録を行う運用ケースにおける、Amazon Cognito ユーザープールの設定すべき値や作成方法を解説しました。 構成は以下の通りです。 今回は、そのユーザープールをAWS CloudFormationで作成します。 さらに、ユーザープール作成後、以下の順序でCloudFormationを使用してALBとの統合やCognitoドメインをカスタムドメインへの変更なども行います。 Cognito ユーザープールを作成 ユーザー作成 ALBと統合 Cognitoドメインをカスタムドメイン メールドメインをSESに変更 CloudFormation を使用することで、Cognito ユーザープールの作成から各種設定まで、インフラストラクチャ

こんにちは。まるとです。 現地時間 2024/9/26、Amazon Aurora MySQLでもRDS Data APIをサポートするアナウンスがありました！ 従来は、Amazon Aurora PostgreSQLのみのサポートとなっておりましたが、今回新たにAmazon Aurora MySQLでもサポートしたことにより、更にDBエンジンの選択肢が増えるのではないでしょうか。 そもそも、RDS Data APIって何？何がすごいの？と感じる方もいらっしゃるかもしれません。 そこで、改めてRDS Data APIを整理し、実際に触っていきたいと思います。 RDS Data APIとは 一言でお伝えすると、APIを通してSQLステートメントを実行できるものです。 特徴としては以下のようなものが挙げられます。 DBクラスターへの永続的な接続が不要（接続を管理する必要がない） HTTPSエン