はてなブックマーク

はじめに 本記事では、Amazon Cognitoユーザープールを使用したユーザー認証の実装方法と、とCognito IDプールを使用した認証済みユーザーによるS3へのファイルアップロード方法について解説します。 本実装で使用するAWSサービスと各役割は次のとおりです。 Amazon Cognito ユーザープール：ユーザー認証基盤 Amazon Cognito ID プール：一時的なAWS認証情報の発行 Amazon S3：認証されたユーザーがファイルアップロードするストレージ AWS IAM：Cognito ID プールで設定したIAMロールを利用し、認証されたユーザーがファイルアップロードする権限を付与 認証からファイルアップロードまでの処理フローは以下の通りです。 ユーザープールを利用しユーザー認証をします。 認証が成功すると、クライアントへIDトークンが払い出されます。 IDトー

こんにちは！今回は、AWSのMFA（Multi-Factor Authentication）認証を使い、IAMロールにスイッチしながらS3バケットにアクセスするPythonスクリプトを紹介します。このスクリプトは、AWSのセキュリティベストプラクティスに従い、MFAを使用して一時的なセッションを取得し、S3バケットのリストを取得する方法を示しています。 さらに、1Passwordを活用してワンタイムパスワード（OTP）を自動的に取得する仕組みも組み込んでいるため、非常に便利で安全なアクセスが可能です。AWSのセキュリティを強化したい方や、MFA認証を自動化したい方に役立つ内容になっています。 背景 AWSでは、セキュリティを強化するためにMFAを使用することが推奨されています。MFAを使用すると、ユーザーは通常の認証情報（アクセスキーやシークレットキー）に加えて、ワンタイムパスワード（OT

「冷蔵庫内の写真から食材を見て、レシピを考えてもらう」というミッション。１年前、まだ、マルチモーダルなLLMが無かった頃の試行錯誤したした画像をそのまま使用して、最新のGPT-4oで同じことを試してみました。今では、当たり前であまり驚かなくなってしまった進化について思いを寄せてます。 1 はじめに 製造ビジネステクノロジー部の平内（SIN）です。 以下は、約１年前、当時まだ、マルチモーダルなLLMが存在せず、画像から何かのレスポンスを得るという事ができなかったので、面白そう！って乗りで試したブログです。 上記では、冷蔵庫の中の食品を検出する部分を自前で実装しています。 しかし、予想通りというか、想像した通りというか、今では、マルチモーダルLLMなんか当たり前となってしまっています。またLLMのレスポンスもかなり精度が上がっています。 そこで、以前のブログで試した冷蔵庫内の写真をそのまま使用

はじめに 本記事では、Amazon ECSサービスのLinuxプラットフォームバージョンの変更方法についてご紹介します。 具体的には、LATESTで作成していたため、明示的にバージョン1.4.0を指定するよう変更します。 執筆時点では、LATESTのLinuxプラットフォームバージョンは1.4.0です。 [LATEST] の Linux プラットフォームバージョンは 1.4.0 です。 https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/developerguide/platform-version-migration.html 明示的にバージョンを指定する理由は、プラットフォームバージョンの変更による影響を制御するためです。 LATESTを使用すると、計画的なバージョン管理ができず、予期せぬ問題が発生するリスクがあります。 AWSでは、タ

AWS事業本部コンサルティング部の石川です。OpenAIが最近リリースしたWhisper Large V3 Turboは、従来のWhisper Large V3モデルを最適化したバージョンです。本日は、OpenAI Whisper Large V3 Turboモデルでリアルタイム文字起こしに挑戦します。 先日、動画ファイルから文字起こしを試したブログを紹介した際に、私のMacBookのCPUでも300秒の動画を94秒で文字起こしできたため、これはニアリアルタイムに文字起こしできるのでは？と気になり、動くものができたのでその試行錯誤の過程をご紹介します。 OpenAI Whisper Large V3 Turboモデルは実際どうだったか？ まずは、前回の検証結果を簡単に解説します。Whisper Large V3 Turboは、Whisper Large V3と比較して約3.16倍高速に動作

いわさです。 今朝、Amazon SES でインラインテンプレートがサポートされたというアナウンスがありました。 まず、従来より Amazon SES ではメールテンプレート機能がサポートされていました。 メール本文や件名プレースホルダーを埋め込んだテンプレートを事前に用意し、メール送信時にはテンプレートを指定しつつ動的に変更する必要がある変数部分のみを指定します。 今回のアップデートにより、事前に準備したテンプレートを指定するのではなく、メール送信時にテンプレート内容を入力出来るようにもなりました。 メール送信の仕組みが必要な多くのアプリケーションでは、テンプレート機能が有効です。 SES のテンプレート機能を使う場合は事前にテンプレート作成 API を使って SES 上にテンプレートを登録する必要があります。 しかし、場合によっては SES の API ではなく独自でテンプレートを管理

AWS事業本部コンサルティング部の石川です。最近、文書ファイルの解析と変換に特化した オープンソースツール「docling」 が注目を集めています。このツールは、最先端のAIモデルを活用して、ドキュメントの構造を理解し、様々な形式に変換することができます。今回、実際にdoclingを使用して日本語のドキュメントファイルからMarkdownファイルとJSONファイルへ変換を試してみます。 doclingとは doclingは、ドキュメントの変換と解析に特化したオープンソースのPythonパッケージです。最先端の人工知能モデルを活用し、レイアウト解析にDocLayNetモデル、表構造認識にTableFormerモデルを使用しています。一般的なハードウェアで効率的に動作し、少ないリソースで高性能を発揮します。JSONやMarkdown形式への変換が可能で、拡張性も高く、新機能やモデルの追加が容易

【資料公開】AWS re:Invent 2024 関西組 事前勉強会に「re:Invent 2023への渡航中に鞄を紛失! 落ち着いて行動するための体験談」というタイトルでLT登壇しました #reinventkansai こんにちは、AWS事業本部 コンサルティング部の荒平(@0Air)です。 AWS re:Invent 2024 関西組 事前勉強会に参加し、「 re:Invent 2023への渡航中に鞄を紛失! 落ち着いて行動するための体験談 」というタイトルで登壇させていただきました。 企画・運営の方にはこの場をお借りして御礼いたします。 登壇資料 登壇内容 今回の登壇で伝えたいことの8割は以下スライドに書いてあります。 re:Invent、もといラスベガス渡航に限った話ではないですが、私みたいに「初海外、初re:Invent」な方も一定数いると思われるので、今回は失敗談を元にお伝えす

困っていた内容 ALB アクセスログを調査していたところ、稀にバックエンドサーバー側には記録されているにも関わらず ALB ログ側には記録されていないリクエストがあります。なぜこのようなことが起こるのでしょうか？ どう対応すればいいの？ ALB アクセスログはベストエフォートの記録となるため、稀にリクエストが記録されないケースがあります。 AWS ドキュメントからの抜粋： Elastic Load Balancing はベストエフォートベースでリクエストを記録します アクセスログは、すべてのリクエストを完全に報告するためのものではなく、リクエストの本質を把握するものとして使用することをお勧めします。 参考資料 [参考] Application Load Balancer のアクセスログ

共有ディレクトリ (共有フォルダ) と聞いて何をイメージするかは人それぞれ こんにちは、のんピ(@non____97)です。 皆さんは「共有ディレクトリ(共有フォルダ)」と聞いて、何をイメージしますか? 捉え方は意外と聞き手によって異なります。 そのため、ファイルサーバーを構築するプロジェクトや運用する際は注意が必要な単語だと感じています。 以降「共有ディレクトリ」という単語について語っていきます。 なぜ 共有ディレクトリ という単語は誤解を生むのか 共有ディレクトリは以下の2要素で構成されます。 共有設定がされているディレクトリ自身 指定したディレクトリパスに対するSMBファイル共有の設定 指定したディレクトリパスに対するSMBファイル共有を作成することで、そのディレクトリに対して別コンピューターなど外部からアクセスすることが可能になります。 SMBファイル共有は以下方法で設定可能です。

こんにちは、製造ビジネステクノロジー部の若槻です。 2024/11/01 にクラスメソッド日比谷オフィスで開催された勉強会イベントクラスメソッドのCDK事情大公開スペシャル#1 で「AWS CDK の設計では Construct の構造も意識しよう！」というテーマで登壇しました。 登壇資料 この資料では AWS CDK の Construct の構造について、設計時に意識するべきポイントを紹介し、以下のようにまとめています。 CloudFormation のツリービューを活用しよう コンストラクト分割は、リソース種類単位とサービス単位を組み合わせて行うと良さげ 上記を意識するとコンストラクト構造が直感的になり、開発・運用上の認知負荷を低減できる マネコンからのリソース探索時 CDK コードによる開発時 サンプルコード 資料中で紹介した「リソース種類単位とサービス単位でのコンストラクト分割に

Amazon Aurora Limitless Databaseの3種類のテーブルの違い ~ Standard/Sharded/Reference ~ AWSの提供する分散データベースAmazon Aurora Limitless Databaseには3種類のテーブルタイプが存在します。 Standard : 特定のシャードに保存されるデフォルトのテーブルタイプ Sharded : 複数のシャードに分散されるタイプ Reference : すべてのシャードにレプリケートされるタイプ 複数の Sharded テーブルを同じシャードキーで管理すると、 Collocatedタイプとなります。これらの違いを確認します。 サンプルスキーマ 検証のために、ECサイトを想定したAWSが提供する次のLimitless Database用のスキーマを活用します。 このサンプルでは、一度Standardテーブ

はじめに 本記事では、AWS Lambdaから別アカウントのAmazon Bedrockを呼び出す方法について解説します。 既存のシステムとは別のAWSアカウントでAmazon Bedrockを利用する必要がある場合に、この方法が有用です。 アカウント構成とそれぞれのアカウントで作成するリソースは以下の通りです。 アカウントA：呼び出し元（Lambda側アカウント） Lambda：Amazon Bedrockを呼び出す IAMロール：Lambda実行用のロール（AssumeRole権限を含む） アカウントB：呼び出し先（Bedrock側アカウント） Amazon Bedrock：利用可能にする IAMロール：Amazon Bedrockへのアクセス権限を持つロール 処理の流れは以下の通りです。 LambdaがAWS Security Token Service（STS）を使用してBedro

HashiConf 2024でTerraform Stacksがパブリックベータになりました。 Terraform Stacksによって新しい構成要素がいくつか追加されたので、できるだけ図を使って説明していきます。 Terraform Stacksとは Stacks are a powerful configuration layer in HCP Terraform that simplifies managing your infrastructure modules and then repeating that infrastructure. スタックは、インフラストラクチャ モジュールの管理とそのインフラストラクチャの繰り返しを簡素化する、HCP Terraform の強力な構成レイヤーです。 Stacks Overview | Terraform | HashiCorp Dev

いわさです。 今朝の AWS API のアップデートみましたか。これ。 セキュリティグループを VPC に関連付け出来るようになったらしいのです。 どういうことだろう。VPC 内で共通で適用されるセキュリティグループが登場したのか？と思ったのですが、どうやら別の VPC 内でセキュリティグループを使えるようにするアップデートのようです。 What's New アナウンスも出ていました！ これは驚きですね。 これまではセキュリティグループは VPC に関連付けして作成し、その VPC 内の EC2 や ENI にアタッチする形でした。 異なる VPC 間のセキュリティグループで ID の参照は出来ましたが、インスタンスやネットワークインターフェースへのアタッチは出来ませんでした。 そのため、同じセキュリティグループを別の VPC で使いたい場合は、例えば次のような方法でコピーする必要がありま

はじめに AWS Organizations のマルチアカウント環境において、リージョン制限を解除して作業を行うため、一時的にSCP（サービスコントロールポリシー）をデタッチし、作業完了後に再度アタッチする必要が生じることがありました。 このような操作を行う際は、作業前後で同一のSCPが正確に適用されていることを確認することが重要です。 本記事では、組織単位（OU）および各アカウントに直接アタッチされているSCPの一覧を取得し、デタッチ前後で設定内容が一致していることを確認する方法について解説します。 OU階層を出力するコマンド AWS Organizations管理アカウントからコマンドを実行します。 まず、AWS Organizations管理アカウントからOU階層を確認します。 この手順は必須ではありませんが、OUとアカウント構成を把握するのに役立ちます。 以下のコマンドをAWS C

ClaudeでCSVを読み込ませた後、JavaScriptで動作するグラフが作成できるアップデートの紹介です。まずはCSVファイル読み込んでやってみてください。これはすげぇよ。 「ClaudeのコンソールでJavaScriptが実行されてなんかヌルヌル動くグラフがでてきた」 先日のClaudeのアップデートで、CSVファイルの分析ツールがリリースされました。私はBIツール的なものには完全に疎いのですが、CSVファイルをアップロードするだけで、あとは自然言語を元にデータの分析とグラフ表示をリアルタイムで実現できる体験が非常に素晴らしかったので、その様子をお届けします。 Claude.aiのアップデート内容 Claude.aiの新しい組み込みでの分析ツール。JavaScriptの実行がClaude.aiの中で対応したため、インタラクティブでリアルタイムなデータ分析ができるようになったということ

[アップデート] AWS Lambda コンソールのコードエディタが Visual Studio Code ベースでリニューアルされました いわさです。 先日のアップデートで AWS Lambda コンソール上で使えるコードエディタが新しくなりました。 前回 Lambda コンソール上の CloudWatch Logs Live Tail 機能が実装された時にそんな予兆を感じており、その時点ではオレゴンリージョンでのみ今回の新しいエディタが使える状態でした。 re:Invent も近いですし、近々 Lambda のコードエディタアップデートされるのかもしれませんね。ちょっと楽しみですね。 今回のアナウンスで Lambda が使える全リージョンに展開されたそうです。 Code-OSS (VS Code open source) のコードエディタ 以下に AWS Lambda コンソールコード

Notionに新機能「Form」が追加されました。予想よりも高機能で、入力された内容のデータ管理や連携がノーコーディングにて色々と可能です。 Notion新機能のフォームがプライベートアカウントのワークスペースにて有効になっていたので試してみました。 埋め込み方 /formとタイプしましょう。 新規データベースの1viewとしてフォームエディタが表示されます。 フォームの使い方 入力してほしい人へ専用のURLを渡します。アクセス自体も制限でき、匿名によるポスト受付も可能です。入力されたデータはデータベースに記録されます。 このURLのポイントはアクセス時には完全に独立したものとなっているところです。アクセスしてみると、いずれかのページの子階層とはなっていないことがわかります。 ちなみに、/embedで埋め込むと以下の様にリンクとなり、一度アクセス遷移が必要です。 フォームの独自機能 1つの

[調査報告] Amazon Athena 従来のS3ファイルレイアウトとIcebergテーブルフォーマットのデータ容量比較 AWS事業本部コンサルティング部の石川です。大規模データ管理では、S3上のデータ容量のサイズを事前に把握し、コスト試算をすることが欠かせません。今日は、Amazon Athenaのデータ管理に使用される2つの主要なフォーマット、従来のS3ファイルレイアウトと Apache Icebergのテーブルフォーマットの特長やデータ容量比較について解説します。 データレイクフォーマットの概要 データレイクフォーマットは、従来のS3ファイルレイアウトとApache Icebergのテーブルフォーマットの2種類があります。 補足: Amazon Athenaは、将来的に、Apache Icebergの他にApache HudiやLinux Foundation Delta Lake

さがらです。 MotherDuck社の公式ブログのチュートリアル「DuckDB Tutorial For Beginners」をやってみたので、本記事でその内容をまとめてみます。 検証環境 OS：Ubuntu 24.04 LTS（WSL2） 事前準備 下記のリポジトリのフォルダからサンプルデータのファイルをダウンロードしておきます。（今回は作業ディレクトリの中にdataフォルダを作り、その中に格納します。） インストール 以下のコマンドを実行して、インストールします。（最新のインストール用のコマンドはこちらのドキュメントも併せてご覧ください。） # 最新バージョンをダウンロード wget https://github.com/duckdb/duckdb/releases/download/v1.1.0/duckdb_cli-linux-amd64.zip # 解凍 unzip duckdb

Goの開発現場では、ビルドやテストをビルドツールのMake(Makefile)で実行することがよくあります（例: $ make test）。たとえば、Mobyプロジェクト(Dockerの主要コンポーネント)やTerraformもそうです。 TerraformのMakefile MobyのMakefile Makefileは一度書いてしまえば変更の頻度は少ないとはいえ、最近では configure; make; make install といった手順でMakefileと触れる機会も減少しています。また、JSONやYAMLに慣れた人には、1970年代から存在するMakeの書式をとっつきにくく感じることもあり、保守性に課題が生じる場合もあります。 そこで登場するのがTaskです。Taskは、Makeの主要なユースケースをシンプルかつ簡単にYAML形式で記述できるツールです。 本記事では、Goプロ

こんにちは、製造ビジネステクノロジー部の若槻です。 AWS CDK の最近のリリースである v2.162.0 で、下記のアップデートが追加されていました。 cli: cdk rollback (#31684) (3e40edc), closes #31407 端的に言うと cdk rollback コマンドが利用可能になったというものです。AWS CDK のドキュメントにもコマンドのページが追加されていました。 用途としては、デプロイ失敗時にデバッグのためにデプロイされたリソースを保持したい場合に、cdk deploy --no-rollback コマンドによりデプロイ失敗時の自動ロールバックを停止させることが今までもできていました。この停止したロールバックを CLI で再開させることができるのが今回のコマンドになります。 試してみた cdk rollback 次のようなデプロイが失敗する

危機管理室の吉本です。 デジタルIDの認証に関するガイドラインであるNIST SP800-63-4のSecond Public Draft（第2次公開草案）が更新されていたので、変更箇所をまとめてみました。全体で467ページと相当なボリュームがあるので今回調べたのは、主に話題になっているSP800-63B-4のパスワード要件についてです。初期公開草案からなにが変更されているか知りたかったので調べたことをまとめます。 NIST SP800-63-4とは NIST SP 800-63-4は、アメリカ国立標準技術研究所（NIST）が提供する、認証やID管理に関する「デジタルアイデンティティガイドライン」の第4版を指します。 全体概要の文書と3つの関連文書に分かれており、下記のタイトル毎に策定されています。 SP 800-63-4：Digital Identity Guidelines（デジタルア

はじめに こんにちは、アノテーションのなかたです。 今回は、VSCodeのPython拡張機能でテストカバレッジ表示機能が追加されたので、検証してみました。 以前までは、Coverage Gutters 等の拡張機能を追加でインストールする必要がありましたが、Python拡張機能が対応したことで導入がしやすくなったと思います。 やってみる 今回は、Pytest と pytest-cov によるテスト環境でカバレッジ表示機能を試しています。 また手順 1, 2, 3 については、VSCode で Pytest によるテストカバレッジ環境を用意する手順になりますので、用意できている方は手順4から読み進めていただければと思います。 1. テスト環境の準備 Python拡張機能をインストールします。 また、Pythonやライブラリをインストールします。 Python仮想環境の作成やPytestのイ

はじめに 以前、Security HubのアラートをMicrosoft Teamsにメンション付きで通知する仕組みをCloudFormationテンプレート化した記事を執筆しました。このテンプレートでは、メンション先のユーザー名やメールアドレスをパラメータとして指定することで、通知をカスタマイズできるようにしています。 今回の記事では、この仕組みをさらに拡張し、複数のAWSアカウントに適用する方法を紹介します。具体的には、CloudFormation StackSetsを活用して、各メンバーアカウントごとに、異なるパラメータ（メンション先のユーザー名やユーザーのメールアドレス）を個別に設定する方法を紹介します。これにより、アカウントごとに異なる通知設定を行うことが可能になります。 AWS CloudFormation StackSetsは、複数のAWSアカウントやリージョンにわたってスタッ