はてなブックマーク

いわさです。 今朝、Amazon SES でインラインテンプレートがサポートされたというアナウンスがありました。 まず、従来より Amazon SES ではメールテンプレート機能がサポートされていました。 メール本文や件名プレースホルダーを埋め込んだテンプレートを事前に用意し、メール送信時にはテンプレートを指定しつつ動的に変更する必要がある変数部分のみを指定します。 今回のアップデートにより、事前に準備したテンプレートを指定するのではなく、メール送信時にテンプレート内容を入力出来るようにもなりました。 メール送信の仕組みが必要な多くのアプリケーションでは、テンプレート機能が有効です。 SES のテンプレート機能を使う場合は事前にテンプレート作成 API を使って SES 上にテンプレートを登録する必要があります。 しかし、場合によっては SES の API ではなく独自でテンプレートを管理

AWS事業本部コンサルティング部の石川です。最近、文書ファイルの解析と変換に特化した オープンソースツール「docling」 が注目を集めています。このツールは、最先端のAIモデルを活用して、ドキュメントの構造を理解し、様々な形式に変換することができます。今回、実際にdoclingを使用して日本語のドキュメントファイルからMarkdownファイルとJSONファイルへ変換を試してみます。 doclingとは doclingは、ドキュメントの変換と解析に特化したオープンソースのPythonパッケージです。最先端の人工知能モデルを活用し、レイアウト解析にDocLayNetモデル、表構造認識にTableFormerモデルを使用しています。一般的なハードウェアで効率的に動作し、少ないリソースで高性能を発揮します。JSONやMarkdown形式への変換が可能で、拡張性も高く、新機能やモデルの追加が容易

【資料公開】AWS re:Invent 2024 関西組 事前勉強会に「re:Invent 2023への渡航中に鞄を紛失! 落ち着いて行動するための体験談」というタイトルでLT登壇しました #reinventkansai こんにちは、AWS事業本部 コンサルティング部の荒平(@0Air)です。 AWS re:Invent 2024 関西組 事前勉強会に参加し、「 re:Invent 2023への渡航中に鞄を紛失! 落ち着いて行動するための体験談 」というタイトルで登壇させていただきました。 企画・運営の方にはこの場をお借りして御礼いたします。 登壇資料 登壇内容 今回の登壇で伝えたいことの8割は以下スライドに書いてあります。 re:Invent、もといラスベガス渡航に限った話ではないですが、私みたいに「初海外、初re:Invent」な方も一定数いると思われるので、今回は失敗談を元にお伝えす

困っていた内容 ALB アクセスログを調査していたところ、稀にバックエンドサーバー側には記録されているにも関わらず ALB ログ側には記録されていないリクエストがあります。なぜこのようなことが起こるのでしょうか？ どう対応すればいいの？ ALB アクセスログはベストエフォートの記録となるため、稀にリクエストが記録されないケースがあります。 AWS ドキュメントからの抜粋： Elastic Load Balancing はベストエフォートベースでリクエストを記録します アクセスログは、すべてのリクエストを完全に報告するためのものではなく、リクエストの本質を把握するものとして使用することをお勧めします。 参考資料 [参考] Application Load Balancer のアクセスログ

共有ディレクトリ (共有フォルダ) と聞いて何をイメージするかは人それぞれ こんにちは、のんピ(@non____97)です。 皆さんは「共有ディレクトリ(共有フォルダ)」と聞いて、何をイメージしますか? 捉え方は意外と聞き手によって異なります。 そのため、ファイルサーバーを構築するプロジェクトや運用する際は注意が必要な単語だと感じています。 以降「共有ディレクトリ」という単語について語っていきます。 なぜ 共有ディレクトリ という単語は誤解を生むのか 共有ディレクトリは以下の2要素で構成されます。 共有設定がされているディレクトリ自身 指定したディレクトリパスに対するSMBファイル共有の設定 指定したディレクトリパスに対するSMBファイル共有を作成することで、そのディレクトリに対して別コンピューターなど外部からアクセスすることが可能になります。 SMBファイル共有は以下方法で設定可能です。

こんにちは、製造ビジネステクノロジー部の若槻です。 2024/11/01 にクラスメソッド日比谷オフィスで開催された勉強会イベントクラスメソッドのCDK事情大公開スペシャル#1 で「AWS CDK の設計では Construct の構造も意識しよう！」というテーマで登壇しました。 登壇資料 この資料では AWS CDK の Construct の構造について、設計時に意識するべきポイントを紹介し、以下のようにまとめています。 CloudFormation のツリービューを活用しよう コンストラクト分割は、リソース種類単位とサービス単位を組み合わせて行うと良さげ 上記を意識するとコンストラクト構造が直感的になり、開発・運用上の認知負荷を低減できる マネコンからのリソース探索時 CDK コードによる開発時 サンプルコード 資料中で紹介した「リソース種類単位とサービス単位でのコンストラクト分割に

Amazon Aurora Limitless Databaseの3種類のテーブルの違い ~ Standard/Sharded/Reference ~ AWSの提供する分散データベースAmazon Aurora Limitless Databaseには3種類のテーブルタイプが存在します。 Standard : 特定のシャードに保存されるデフォルトのテーブルタイプ Sharded : 複数のシャードに分散されるタイプ Reference : すべてのシャードにレプリケートされるタイプ 複数の Sharded テーブルを同じシャードキーで管理すると、 Collocatedタイプとなります。これらの違いを確認します。 サンプルスキーマ 検証のために、ECサイトを想定したAWSが提供する次のLimitless Database用のスキーマを活用します。 このサンプルでは、一度Standardテーブ

はじめに 本記事では、AWS Lambdaから別アカウントのAmazon Bedrockを呼び出す方法について解説します。 既存のシステムとは別のAWSアカウントでAmazon Bedrockを利用する必要がある場合に、この方法が有用です。 アカウント構成とそれぞれのアカウントで作成するリソースは以下の通りです。 アカウントA：呼び出し元（Lambda側アカウント） Lambda：Amazon Bedrockを呼び出す IAMロール：Lambda実行用のロール（AssumeRole権限を含む） アカウントB：呼び出し先（Bedrock側アカウント） Amazon Bedrock：利用可能にする IAMロール：Amazon Bedrockへのアクセス権限を持つロール 処理の流れは以下の通りです。 LambdaがAWS Security Token Service（STS）を使用してBedro

HashiConf 2024でTerraform Stacksがパブリックベータになりました。 Terraform Stacksによって新しい構成要素がいくつか追加されたので、できるだけ図を使って説明していきます。 Terraform Stacksとは Stacks are a powerful configuration layer in HCP Terraform that simplifies managing your infrastructure modules and then repeating that infrastructure. スタックは、インフラストラクチャ モジュールの管理とそのインフラストラクチャの繰り返しを簡素化する、HCP Terraform の強力な構成レイヤーです。 Stacks Overview | Terraform | HashiCorp Dev

いわさです。 今朝の AWS API のアップデートみましたか。これ。 セキュリティグループを VPC に関連付け出来るようになったらしいのです。 どういうことだろう。VPC 内で共通で適用されるセキュリティグループが登場したのか？と思ったのですが、どうやら別の VPC 内でセキュリティグループを使えるようにするアップデートのようです。 What's New アナウンスも出ていました！ これは驚きですね。 これまではセキュリティグループは VPC に関連付けして作成し、その VPC 内の EC2 や ENI にアタッチする形でした。 異なる VPC 間のセキュリティグループで ID の参照は出来ましたが、インスタンスやネットワークインターフェースへのアタッチは出来ませんでした。 そのため、同じセキュリティグループを別の VPC で使いたい場合は、例えば次のような方法でコピーする必要がありま

はじめに AWS Organizations のマルチアカウント環境において、リージョン制限を解除して作業を行うため、一時的にSCP（サービスコントロールポリシー）をデタッチし、作業完了後に再度アタッチする必要が生じることがありました。 このような操作を行う際は、作業前後で同一のSCPが正確に適用されていることを確認することが重要です。 本記事では、組織単位（OU）および各アカウントに直接アタッチされているSCPの一覧を取得し、デタッチ前後で設定内容が一致していることを確認する方法について解説します。 OU階層を出力するコマンド AWS Organizations管理アカウントからコマンドを実行します。 まず、AWS Organizations管理アカウントからOU階層を確認します。 この手順は必須ではありませんが、OUとアカウント構成を把握するのに役立ちます。 以下のコマンドをAWS C

ClaudeでCSVを読み込ませた後、JavaScriptで動作するグラフが作成できるアップデートの紹介です。まずはCSVファイル読み込んでやってみてください。これはすげぇよ。 「ClaudeのコンソールでJavaScriptが実行されてなんかヌルヌル動くグラフがでてきた」 先日のClaudeのアップデートで、CSVファイルの分析ツールがリリースされました。私はBIツール的なものには完全に疎いのですが、CSVファイルをアップロードするだけで、あとは自然言語を元にデータの分析とグラフ表示をリアルタイムで実現できる体験が非常に素晴らしかったので、その様子をお届けします。 Claude.aiのアップデート内容 Claude.aiの新しい組み込みでの分析ツール。JavaScriptの実行がClaude.aiの中で対応したため、インタラクティブでリアルタイムなデータ分析ができるようになったということ

[アップデート] AWS Lambda コンソールのコードエディタが Visual Studio Code ベースでリニューアルされました いわさです。 先日のアップデートで AWS Lambda コンソール上で使えるコードエディタが新しくなりました。 前回 Lambda コンソール上の CloudWatch Logs Live Tail 機能が実装された時にそんな予兆を感じており、その時点ではオレゴンリージョンでのみ今回の新しいエディタが使える状態でした。 re:Invent も近いですし、近々 Lambda のコードエディタアップデートされるのかもしれませんね。ちょっと楽しみですね。 今回のアナウンスで Lambda が使える全リージョンに展開されたそうです。 Code-OSS (VS Code open source) のコードエディタ 以下に AWS Lambda コンソールコード

Notionに新機能「Form」が追加されました。予想よりも高機能で、入力された内容のデータ管理や連携がノーコーディングにて色々と可能です。 Notion新機能のフォームがプライベートアカウントのワークスペースにて有効になっていたので試してみました。 埋め込み方 /formとタイプしましょう。 新規データベースの1viewとしてフォームエディタが表示されます。 フォームの使い方 入力してほしい人へ専用のURLを渡します。アクセス自体も制限でき、匿名によるポスト受付も可能です。入力されたデータはデータベースに記録されます。 このURLのポイントはアクセス時には完全に独立したものとなっているところです。アクセスしてみると、いずれかのページの子階層とはなっていないことがわかります。 ちなみに、/embedで埋め込むと以下の様にリンクとなり、一度アクセス遷移が必要です。 フォームの独自機能 1つの

[調査報告] Amazon Athena 従来のS3ファイルレイアウトとIcebergテーブルフォーマットのデータ容量比較 AWS事業本部コンサルティング部の石川です。大規模データ管理では、S3上のデータ容量のサイズを事前に把握し、コスト試算をすることが欠かせません。今日は、Amazon Athenaのデータ管理に使用される2つの主要なフォーマット、従来のS3ファイルレイアウトと Apache Icebergのテーブルフォーマットの特長やデータ容量比較について解説します。 データレイクフォーマットの概要 データレイクフォーマットは、従来のS3ファイルレイアウトとApache Icebergのテーブルフォーマットの2種類があります。 補足: Amazon Athenaは、将来的に、Apache Icebergの他にApache HudiやLinux Foundation Delta Lake

さがらです。 MotherDuck社の公式ブログのチュートリアル「DuckDB Tutorial For Beginners」をやってみたので、本記事でその内容をまとめてみます。 検証環境 OS：Ubuntu 24.04 LTS（WSL2） 事前準備 下記のリポジトリのフォルダからサンプルデータのファイルをダウンロードしておきます。（今回は作業ディレクトリの中にdataフォルダを作り、その中に格納します。） インストール 以下のコマンドを実行して、インストールします。（最新のインストール用のコマンドはこちらのドキュメントも併せてご覧ください。） # 最新バージョンをダウンロード wget https://github.com/duckdb/duckdb/releases/download/v1.1.0/duckdb_cli-linux-amd64.zip # 解凍 unzip duckdb

Goの開発現場では、ビルドやテストをビルドツールのMake(Makefile)で実行することがよくあります（例: $ make test）。たとえば、Mobyプロジェクト(Dockerの主要コンポーネント)やTerraformもそうです。 TerraformのMakefile MobyのMakefile Makefileは一度書いてしまえば変更の頻度は少ないとはいえ、最近では configure; make; make install といった手順でMakefileと触れる機会も減少しています。また、JSONやYAMLに慣れた人には、1970年代から存在するMakeの書式をとっつきにくく感じることもあり、保守性に課題が生じる場合もあります。 そこで登場するのがTaskです。Taskは、Makeの主要なユースケースをシンプルかつ簡単にYAML形式で記述できるツールです。 本記事では、Goプロ

こんにちは、製造ビジネステクノロジー部の若槻です。 AWS CDK の最近のリリースである v2.162.0 で、下記のアップデートが追加されていました。 cli: cdk rollback (#31684) (3e40edc), closes #31407 端的に言うと cdk rollback コマンドが利用可能になったというものです。AWS CDK のドキュメントにもコマンドのページが追加されていました。 用途としては、デプロイ失敗時にデバッグのためにデプロイされたリソースを保持したい場合に、cdk deploy --no-rollback コマンドによりデプロイ失敗時の自動ロールバックを停止させることが今までもできていました。この停止したロールバックを CLI で再開させることができるのが今回のコマンドになります。 試してみた cdk rollback 次のようなデプロイが失敗する

危機管理室の吉本です。 デジタルIDの認証に関するガイドラインであるNIST SP800-63-4のSecond Public Draft（第2次公開草案）が更新されていたので、変更箇所をまとめてみました。全体で467ページと相当なボリュームがあるので今回調べたのは、主に話題になっているSP800-63B-4のパスワード要件についてです。初期公開草案からなにが変更されているか知りたかったので調べたことをまとめます。 NIST SP800-63-4とは NIST SP 800-63-4は、アメリカ国立標準技術研究所（NIST）が提供する、認証やID管理に関する「デジタルアイデンティティガイドライン」の第4版を指します。 全体概要の文書と3つの関連文書に分かれており、下記のタイトル毎に策定されています。 SP 800-63-4：Digital Identity Guidelines（デジタルア

はじめに こんにちは、アノテーションのなかたです。 今回は、VSCodeのPython拡張機能でテストカバレッジ表示機能が追加されたので、検証してみました。 以前までは、Coverage Gutters 等の拡張機能を追加でインストールする必要がありましたが、Python拡張機能が対応したことで導入がしやすくなったと思います。 やってみる 今回は、Pytest と pytest-cov によるテスト環境でカバレッジ表示機能を試しています。 また手順 1, 2, 3 については、VSCode で Pytest によるテストカバレッジ環境を用意する手順になりますので、用意できている方は手順4から読み進めていただければと思います。 1. テスト環境の準備 Python拡張機能をインストールします。 また、Pythonやライブラリをインストールします。 Python仮想環境の作成やPytestのイ

はじめに 以前、Security HubのアラートをMicrosoft Teamsにメンション付きで通知する仕組みをCloudFormationテンプレート化した記事を執筆しました。このテンプレートでは、メンション先のユーザー名やメールアドレスをパラメータとして指定することで、通知をカスタマイズできるようにしています。 今回の記事では、この仕組みをさらに拡張し、複数のAWSアカウントに適用する方法を紹介します。具体的には、CloudFormation StackSetsを活用して、各メンバーアカウントごとに、異なるパラメータ（メンション先のユーザー名やユーザーのメールアドレス）を個別に設定する方法を紹介します。これにより、アカウントごとに異なる通知設定を行うことが可能になります。 AWS CloudFormation StackSetsは、複数のAWSアカウントやリージョンにわたってスタッ

しばたです。 先日AWSより「 Streamline automation of policy management workflows with service reference information 」というタイトルの更新がアナウンスされました。 こちらを日本語にすると「 サービス参照情報を使用してポリシー管理ワークフローの自動化を合理化する 」といったところですが、初見ではちょっとわかりにくかったので本記事で解説したいと思います。 どういうことか？ はじめに何が起きたかを説明すると、今回、AWSから各サービスの一覧とサービス毎で利用可能なアクションの一覧がJSONの形で公開されたというのが更新内容となります。 この公開されたJSONをIAMポリシー管理などの自動化のために使って欲しい意図だそうです。 AWSの更新としてはあくまでもJSONの公開(と今後のメンテナンス)だけであり、

さがらです。 dbt ver1.9の新機能であるmicrobatch incremental modelsを試してみたので、本記事でその内容をまとめてみます。 microbatch incremental modelsとは まず、incremental modelsについてですが、dbtで前回更新時からの差分更新を行うことができるmodelとなっています。 その上で、このincremental modelsではappend、merge、delete+insert、insert_overwriteという4つの増分更新方法がこれまで提供されていました。 この増分更新方法の新しいオプションとして追加されたのが、microbatchとなります。 microbatchでの更新時の挙動ですが、指定したカラムの値を元に日別に分けて、複数の更新処理が走るイメージとなります。（下図は上記のリンク先ドキュメン

まえがき Node、TypeScript を触っていますが、 AI 関連やデータ分析関連で Python を使うこと多いため、Python も勉強しはじめました。 今回は Python の環境構築していこうと思います。 なるべくローカル PC 汚さずプロジェクトごとに環境を構築するのが無難だと思います。 Docker などつかって別環境自体をつくっちゃうのもあるけど、 最初の一歩として、シンプルにプロジェクト単位でパッケージ管理が分離できれば OK とします。 Python 環境、ライブラリーなど管理のパッケージマネージャは pip、venv、pyenv、Conda、Poetry、Pipenv、Rye、uv などがあるみたいですね。 Rust 製の Python パッケージ管理ツール「uv」を使ってみよう | gihyo.jp 歴史的な背景は、ちょっと弱いので、その辺は他の方にお任せすると

まえがき 前回は uv で Python のプロジェクト管理をしました。 Pythonのパッケージマネージャuvで環境構築してみた | DevelopersIO Fastapi を Docker で起動するための Dockerfile を作成します。 uv を使う方法と Python のデフォルトのパッケージ管理 pip を使った方法を作成します。 uv をつかった Dockerfile Dockerfile 作成 前提として docker コマンドはインストール済みとします。 uv のドキュメントの FastAPI での使用例を参考に、Dockerfileを作成します。 FastAPI | uv FROM python:3.12-slim # Install uv. COPY --from=ghcr.io/astral-sh/uv:latest /uv /bin/uv # Copy th