こんにちは、AWS事業本部の荒平(@0Air)です。 AWS Summit Japan 2024にて、AWS-TC-04「プロンプトエンジニアリング入門」のセッションに参加しましたのでレポートします。 オンデマンド配信を見よう AWS Summit Japanの登録を行うことでオンデマンドで視聴可能です。（現地参加された方は改めての登録は不要です。） "AWS-TC-04"を検索してみてください。 セッション概要 このセッションでは、基盤モデルの基本とプロンプトエンジニアリングの主要な概念について学びます。 また、プロンプトを設計するためのベストプラクティスと、ゼロショット、フィューショット、 Chain of Thought プロンプティングなどのいくつかのプロンプティング手法について、例を通して学びます。 セッションスピーカー： 佐中 晋 氏 所属：アマゾン ウェブ サービス ジャパン

データレイクとデータウェアハウス（DWH）は、データの形式、加工の有無、スキーマの扱い方、用途、スケーリングのしやすさ、コストなどの点で大きく異なります。データレイクは、様々な形式のデータを加工せずに格納でき、探索的な分析や機械学習などに適しています。一方、データウェアハウスは、主に構造化データを扱い、定型的な分析やレポーティングなどに適しています。 データレイクとしてテーブルフォーマットHIVEを用いる場合と、データウェアハウス（DWH）に限りなく近い用途でテーブルフォーマットICEBERGを用いる場合がある。Amazon Athenaは、これらの2つのテーブルフォーマットのデータをシームレスにブレンドできるのが大きな特長です。 データウェアハウス(DWH)について、もう少し知りたい方は以下の動画をご覧ください。 Amazon Athenaのクエリエンジン Amazon Athena は

[アップデート] CloudFormation で ForEach 組み込み関数を使ってループが定義出来るようになりました いわさです。 私は CloudFormation の更新履歴をよくチェックしているのですが、今朝Fn::ForEachという新しい組み込み関数が追加されていました。 えっ、ForEach !? 従来は CloudFormation で繰り返し処理・定義を行う機能は無かったので、どうしても必要な場合はあの手この手で頑張る必要がありました。 今回のアップデートでこれは今までは難しかった CloudFormation でのループ処理が実装出来るのでは、ということで試してみました。 2023.07.27 追記 今朝公式からのアップデートのアナウンスがありました。 前提条件：AWS::LanguageExtensions が必須 今回のアップデートは AWS::Language

盛況のうちに閉幕しましたオフラインイベント。お暑い中多数のご来場をいただき、ほんとうにありがとうございました！ 2日目 7/8 の 15:10 より、標題の 長すぎる タイトルのセッションで登壇しました。その時に資料を公開します。 「開発環境」と銘打っていますが、運用がメイン担当であるエンジニアの方にとってもヒントになるものを盛り込めたのではないかなーと自負しています。 *1 内容 日々大切なアプリケーションを開発されている開発者の方々のなかには、開発基盤やパイプラインに何かしらの課題を感じている方も多いのではないでしょうか。 それらを一撃で吹き飛ばす特効薬「銀の弾丸」はもちろん存在しませんが、その一部は、ツールや手法・考え方の工夫次第で軽減できるものかもしれません。 状況の変化に合わせて武器や装備を整え直すRPG（ロールプレイングゲーム）のように、開発環境やパイプラインに改善の余地はない

[NEW] Amazon CloudFrontでStaging Distributionを使ったContinuous Deployment（継続的デプロイ）がサポートされました！ 柔軟なDistributionの設定変更が難しかったCloudFrontで継続的デプロイがサポートされました。ステージング用Distributionを作成し一定量のリクエストを割り振って動作確認をしたあと、本番環境に昇格させるデプロイが行えます！ はじめに 清水です。AWSのCDNサービスであるAmazon CloudFrontにContinuous Deployment（継続的デプロイ）機能がやってきました！本日（日本時間2022/11/19、現地時間2022/11/18）AWS Blogsにポストされたアップデートについてお届けします！！ Use CloudFront continuous deploymen

プロファイル指定したマネジメントコンソールの起動までできる、コマンドラインツールです。全AWSユーザーが求めていたのはこれなんじゃないでしょうか。どすこい。 「スイッチロールからの作業、AWSのベストプラクティスだけれどツールの設定がめんどくさいよね」 ハマコー、最近会社のパソコンをIntel MacからM1 Macに切替たことがきっかけで、いろんなツールを再度セットアップしてました。 普段AWS触っている身としてはスイッチロールして作業する環境も必須なので、改めて最新ツールを物色していたところ、弊社技術番長の岩田御大に教えてもらったAWSumeというツールが圧倒的に便利だったので、前のめりに紹介します。 標準公式のconfigとcredentialファイルのみで動作し、別途設定ファイルは不要 コマンドラインから、プロファイル名の自動補完に対応 指定したプロファイルから、マネジメントコンソ

さがらです。 11月8日20時～22時に、datatech-jp(データエンジニアリング関係のコミュニティ)主催でみんなの考えた最強のデータアーキテクチャというイベントが開催されました。 本記事はこのイベントのレポートブログとなります。 イベント概要 ※connpassより引用 datatech-jpで集ったデータエンジニアが、それぞれみんなの考えた最強のデータアーキテクチャを紹介し合うという夢のような企画が実現しました！ たくさんの新しいプロダクトが群雄割拠する現在、モダンデータスタックなどという言葉も登場しています。 今こそ、どんなプロダクトを選び、どのようなデータ基盤を作れば、効率的にやりたいことが実現できるのか。 5人の猛者からおすすめの構成をご紹介いただきながら、参加者のみなさんとも一緒に考えていく時間としたいと思います。 おまけ：当イベントの応募者数 このイベントですが、なんと

こんにちは、CX事業本部 IoT事業部の若槻です。 前回のエントリではAWS Lambda関数のテスト時に環境変数の設定値を一時的に変更する方法を紹介しました。 実際には、その環境変数は外部のAPIエンドポイントの情報であり、Lambda関数はそのAPIからのデータ取得を行うものでした。しかしテスト時に実際のAPIエンドポイントを叩かせたくない場合は、テスト用のダミーのREST APIが必要ですね。 そこで今回は、ダミーのデータを返すREST APIをAPI Gateway Mock Integrationで作って、テスト時にそれをLambda関数が叩くようにしてみました。 リソースの作成 テスト対象となるLambda関数とダミーのREST APIのリソースをAWS CDKで作成します。 lib/aws-cdk-app-stack.ts import { aws_apigateway, a

[NEW] CloudFrontからS3への新たなアクセス制御方法としてOrigin Access Control (OAC)が発表されました！ CloudFrontからS3へのアクセス制限として従来のOAIに加えて、新たにOACが利用可能になりました。セキュリティが強化されSSE-KMSなどのサポートが行われています。OAIも引き続き利用可能ですが、今後はOACを使用しましょう。 はじめに 清水です。今朝（日本時間2022/08/26、現地時間2022/08/25）のアップデートでAWSのCDNサービスであるAmazon CloudFrontにOrigin Access Control (OAC)という機能が追加されました。CloudFrontからオブジェクトストレージサービスAmazon S3へのアクセス制限を行う新たな方法となります。これまでもOrigin Access Identi

Step Functionsの開発がVSCodeで完結！？AWS ToolkitでStep Functionsがサポートされました Visual Studio CodeのAWS Toolkitにて、AWS Step Functionsがサポートされました！これにより、VSCodeを離れることなくステートマシン作成や視覚化、実行ができるようになったので試してみたいと思います。 環境 Visual Studio Code Version … 1.43.2 AWS Toolkit Version … 1.8.0 前提 本エントリではAWS Toolkitのインストール等を割愛していますので、以下が前提となります。 AWS Toolkitのインストール AWS 認証情報のセットアップ AWS Step Functions の IAM ロールを作成する やってみた ステートマシン定義 VSCodeの

チームで成果を出すためには心理的安全性が必要で、そのためには礼節とHRTが不可欠だ、という話をしました 事業開発部の塩谷 (@kwappa) です。 クラスメソッドの関連会社であるアノテーション株式会社の研修として依頼を受け、チームと心理的安全性、それに礼節というテーマで話をしてきました。 スライド 概要 ここしばらく重点的に書いたり喋ったりしている、心理的安全性とその土台となる礼節がテーマです。昨年のDevelopers.IO Tokyo 2019でのセッション『3つの「Re」〜ソフトウェアの信頼性を高めるためにぼくたちができること〜』 をベースに、発表時間が少し長くなったので各要素の解説を丁寧にしつつ、全体の流れを整理しています。 また、エンジニアに特化した部分をはがすことも意識しています。チームで仕事をするのはエンジニアに限ったことではないですし、昨年末からOpsチームのスクラムマス

「PowerUserだってIAMUser発行したいっ！」 そう思う事があったのでPowerUserベースにカスタムポリシーを作成したのですが、存外大変だった話をしたいと思います。 最近、「色々な意味で強くなりたいなぁ」と思う事が度々ありました。 ▲ 身体も心もひしゃげやすい 心身共にストロングになる為の筋トレに日々勤しむ、AWS事業本部のShirotaです。ちなみに、体幹は結構しっかりしているそうです。何をやっているお陰なんでしょうかね 今日は、AWSに強くなる為にガッツリIAMUserのカスタムポリシーについて考えた時の事をまとめたいなと思います。 IAM周りの権限がほぼ絞られているPowerUser AWSには「PowerUserAccess」というポリシーがあります。 これはAWSの公式ガイドによると「開発者パワーユーザー」と名付けられ、以下のようなユーザーが利用するポリシーだと言わ

uBlacklistについて uBlacklistはウェブ検索の結果から特定のドメインが表示されないように除外するプラグインです。StackOverflowなどをベースに自動生成された質の悪い自動翻訳記事 *1や、出自の怪しい情報をまとめたプログラミング学習サイト *2など、技術調査の上でノイズとなるウェブサイトをドメインレベルで検索結果から排除することができます。 本記事ではDevelopersIOを対象にuBlacklistを使って検索対象から除外する方法を紹介します。 uBlacklistはChrome Web StoreとFirefox Add-onsで提供されています。ここではChrome版を利用します。 uBlacklistをブラウザに追加する ChromeブラウザでこちらのURLを開き、右側に表示される「Chromeに追加」ボタンをクリックするとuBlacklistが追加され

はじめに CX事業本部の佐藤智樹です。 今回は先月中頃に実施したLambdaのテスト領域に関する技術共有会の資料と当日にいただいた意見を紹介します。技術共有会自体はお客様含め5人ほどで実施予定でしたが、社内の方を誘ったところ15人程と大人数でディスカッションしながら知識を深めました。有意義な時間となったのでブログで共有します。 本記事はLambdaに対してどのようなテストをすべきか、Lambdaでこれからテストを書くがどうやれば良いか悩んでいる方などは参考になるかと思います。いくつか紹介するテストパターンのメリット/デメリットもあげるので、テスト選定の上で参考にしてください。 例となる題材がなければ抽象的な話ばかりになり分かりづらくなるので、今回は以下のIoTデータ収集システムをベースにどうテストを書いていくか検討します。IoTデバイスからきたデータをRDSに保存するシステムです。色々書い

target2の場合も同様に作成します。 ターゲットグループにインスタンスを登録する 作成したターゲットグループにEC2インスタンスを登録します。 ターゲットグループを選択してコンテキストメニューでインスタンスの登録と登録解除をクリックするか、ターゲットタブの編集をクリックします。 インスタンスtarget1-aとtarget1-cを登録します。 ALBにインスタンスが登録されます。ロードバランサに登録していないため状態はunusedとなります。 同様にtarget2にもインスタンスtarget2-aとtarget2-cを登録します。 ALBを作成する ALBを作成します。アプリケーションロードバランサーを選択します。 ロードバランサの基本的な設定を行います。 プロトコルはHTTPとHTTPSのみとなっています。今回はHTTPSを選択します。 HTTPSを選択したのでSSL証明書を選択しま

こんにちは、コンサル部＠大阪オフィスのTodaです。 S3に保存されているログファイルを参照する場合、ダウンロードして確認したりと少し手間だな...と思うときがあります。 今回、圧縮されていないログファイルを簡単に確認する方法としてCloudShellを使って参照をしてみたいと思います。 やりたいこと 非公開のバケットに保存されているログファイルの中身を簡単に確認する。 ダウンロード操作をしないで確認する。 AWS CLIリファレンスで使えそうなコマンドを確認 ・s3 cpコマンド ファイルの中を確認するコマンドは見つかりませんでしたので 今回はオブジェクトのコピーをする「s3 cp」を使ってみようと思います。 やってみる S3にダミーのログを設置 検証用のログファイルをS3バケット内に保管するようにします。 ファイルの参照で必要な情報として「S3 URL」を控えるようにします。 Clou

[アップデート]テンプレートの再利用が簡単に！！CloudFormationでモジュールが利用可能になりました CX事業本部@大阪の岩田です。少し間が空いてしまいましたが、11/24付のアップデートによりCloudFormationでモジュールが利用可能になりました。このブログではモジュール機能について簡単に紹介させて頂きます。 概要 モジュールはCloudFormationのテンプレートを再利用するための機能です。CloudFormationのテンプレートをモジュールとしてCloudFormationレジストリに登録しておくことで、別のテンプレートから参照して取り込むことが可能です。 例えば EC2インスタンス セキュリティグループ を作成するテンプレートAがあるとします。このテンプレートAをモジュールとして登録しておき、テンプレートBから参照することで、テンプレートBにもEC2インスタ

こんにちは。サービスグループの武田です。 待望のブラウザ上でCLIを実行できる新サービス、AWS CloudShellが登場しましたね！ CloudShellからEC2インスタンスに接続したくなることもあるだろう、ということで簡単に接続確認をしてみました。 Attention ブラウザ経由でのEC2インスタンスへのシェルアクセスはSession ManagerやEC2 Instance Connectがすでにあります。可能であればそちらを利用した方がよいでしょう。 やってみた まずは接続先となるEC2インスタンスを立ち上げます。今回はt3.microのデフォルト設定のインスタンスを起動します。なおセキュリティグループはインバウンドルールが空のものを新規に作成しています。 またその際に、使い捨てのキーペアも作成しておきました。 次にCloudShellを立ち上げます。マネジメントコンソールの

CloudFormation、使ってますか？ 私はAWS環境の構築に毎日使っています。 毎日使っていると、構成はほとんど同じなんだけど一部だけ異なる複数の環境を複数作りたいなんて場面がよくあります。 たとえば、検証環境と本番環境だったり、インスタンスタイプだけが異なるEC2だったり。 そんな時はCloudFormationのParametersセクションが便利です。一部の項目を変数化して再利用しやすくなります。 参考： 【小ネタ】CloudFormationで文字列内に変数を入れる。(YAML版) | Developers.IO このParametersセクション、データ型がいくつかあって、適切なデータ型をつけることでマネジメントコンソールでのパラメーターの入力が楽になったりします。 参考：パラメータ - AWS CloudFormation このParametersセクションのデータ型に

buildspec.yml 内で docker login -u *** -p *** といった処理をしていなければ、それは匿名ユーザーで利用していることになります。 （ちなみに aws ecr get-login のログイン処理は ECR へのログインであり、Docker Hub のログインではありませんのでお間違えないように） 「匿名ユーザーで使ってるけど 6 時間あたり 100 pull も出来るならウチの環境では十分やなー」 と思ってスルーされた方も少なくないと思いますが、ちょっと待ってください。リンク先のブログで言及されているとおり、匿名ユーザーは IP アドレスに基づいて制限されます。 For anonymous (unauthenticated) users, pull rates are limited based on the individual IP address.