サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
ニコニコ動画
dev.classmethod.jp
データアナリティクス事業本部インテグレーション部機械学習チーム・新納(にいの)です。 2024/6/12にクラスメソッド大阪オフィスで開催された勉強会、Midosuji Techにて「Iceberg で Amazon Athena をデータウェアハウスぽく使おう」というタイトルで登壇をしました。ご参加いただいた皆様、ありがとうございました!ワイワイガヤガヤタイムでもたくさんのご質問をいただき、楽しい時間を過ごすことができました! 本エントリでは登壇資料と内容のまとめをお届けします。 スライド 内容まとめ Icebergの概要と、その特徴の中から特にSchema Evolutionとパーティション管理の便利さをお話ししました。 テーブルフォーマットとは Icebergはテーブルフォーマットのひとつです。テーブルフォーマットについて順を追って説明します。 データレイクはデータファイルをストレー
こんにちは、つくぼし(tsukuboshi0755)です! 2024/6/18に開催されたBedrock Claude Night 2(JAWS-UG AI/ML支部 × 東京支部コラボ)にて、「AWS構成図からCloudFormationとパラメータシートを自動生成するシステムを作ってみた」というタイトルでLT登壇しました。 JAWS-UG AI/ML支部とは? Japan Amazon Web Servicesにおける、AI及びMLを専門としたユーザグループです。 こちらでは、AWSのAIやMLに特化した様々なテーマのLTを視聴する事が可能です。 LT資料 補足 今回のシステムを構築するリポジトリは以下になります。 SAM CLIとBedrockモデルが利用できるAWSアカウントであれば誰でもデプロイ可能なので、ぜひ試してみてください! 最後に 今回は「AWS構成図からCloudFor
こんにちは、AWS 事業本部の平木です! 皆さんは CloudShell を活用していますか? 普段使用したことがある方ならご存じかと思いますが、今まで CloudShell はパブリックな環境のためインターネット経由で様々な通信を行っていました。 今回のアップデートで、ユーザーが作成した VPC 上に CloudShell を起動できる CloudShell VPC environment が提供されたため仕様を確認してみます。 何ができるようになったか 何ができるようになって、何ができないようになったのかを確認してみます。 任意の VPC 上に CloudShell を起動 まずメインの部分はこちらです。 今までは CloudShell ではインターネットに自由に出ることができましたが、今回のアップデートによりユーザーが作成した VPC 上に CloudShell を起動することでプラ
初めてAWSのサーバレスサービスを学習するときに利用できる「基本的なェブアプリケーションを構築する」の内容を2024年現在でも実行できる手順にしてみました こんにちは、臼田です。 みなさん、AWSのチュートリアル活用してますか?(挨拶 今回はAWSの初心者向けハンズオンコンテンツである基本的なウェブアプリケーションを構築するを2024年の現在版の手順としてまとめてみました。 このコンテンツはAWSのサーバレスなサービスを利用して、簡単にウェブアプリケーションを作成する体験ができるチュートリアルとなっており、登場するAWSの各サービスを理解するのにちょうどよい内容でした。しかし、リリースされてしばらく経っているのもあり、特に今回のAmplify Gen2リリースもあってだいぶ画面や操作方法などが変わってしまいました。 実現できる事自体は変わらないので、現時点でこのチュートリアルを初心者でも完
複数あるグローバルリソースのコントロールを複数リージョンまとめて無効化したい こんにちは、のんピ(@non____97)です。 皆さんはSecurity Hubで複数あるグローバルリソースのコントロールを複数リージョンまとめて無効化したいと思ったことはありますか? 私はあります。 先日、Security Hubでグローバルリソースの課金を抑えるためには「一つのリージョンでのみグローバルリソースを対象としたコントロールを有効化し、その他のリージョンでは無効化するべき」ということを紹介しました。 こちらの対応をしない場合のコストインパクトについては以下記事が分かりやすいです。 では、コントロールの無効化はどのように行えば良いでしょうか。 2024/6/16時点でグローバルリソースを含む Security Hub コントロールは49個あります。詳細は以下AWS公式ドキュメントをご覧ください。 私
[Agents for Amazon Bedrock] 居酒屋の案内と予約ができるエージェントをCDKでデプロイしてみました 1 はじめに CX事業本部製造ビジネステクノロジー部の平内(SIN)です。 Agents for Amazon Bedrockを使用すると、Knowledge bases for Amazon BedrockやLambdaを呼び出して複雑な処理ができるエージェントを作成することができますが、今回は、これを手軽にデプロイ出来るようにとCDK化してみました。 最初に、作成したエージェントが動作している様子をご確認ください。 居酒屋に関する質問は、ナレッジベースの情報を使ってレスポンスし、予約を希望すると、日時や人数など必要な情報を聞き取って、「予約」を行っているのがわかります。 ナレッジベースとして使用したのは、前回作成した「架空の居酒屋案内」です。 予約は、「予約AP
いわさです。 先日のアップデートで Amazon SES のメール送信イベントを EventBridge に送信出来るようになりました。 今まで Amazon SES では EventBridge が長い間サポートされておらず、少し前に Vertual Deliverability Manager のレコメンドイベントがようやく EventBridge に発行されるようになった程度でした。 今回ついにイベント送信先として EventBridge が追加されるようになりました。 これまではメール送信イベントのアクティビティログを残したり後続の処理を自動化したい場合、次のように SNS 経由で Lambda でロジックで処理させたり、あるいは Firehose から S3 に転送するなど固定パターンで蓄積したりなどができていましたが、今回 EventBridge がサポートされたことでより簡単
データアナリティクス事業本部の根本です。新たにBigQuery StudioのNotebookにスケジュール実行できる機能がプレビューとなりました。 June 13, 2024 面白い機能だなと思ったので実際に触ってみて、記事にしてみました。 追加される機能について 概要 BigQuery Notebookを指定した時間と頻度で自動的に実行するようにスケジュールできます。 pythonで実装できDataFrameとしてデータを処理することができるので処理の自由度が高いです。 スケジュールドクエリなどSQLだけでは難しい処理をpythonで実装して日次など決まったタイミングで実行したい場合に役に立つと考えます。 料金 リファレンスではColab Enterprise のランタイム料金が適用されますとの記載がありました。 Colab Enterprise charges for runtime
それぞれのメリット・デメリットをまとめると以下のようになります。 EventBridgeルールを2つ利用する方法 メリット:運用がラク。 デメリット:IAMロールの検知結果が全リージョンで表示される。 アーカイブルールを利用する方法 メリット:EventBridgeルールが1つで済む。Security Hub上は、IAMロールの検知結果が1リージョンのみとなる。 デメリット:新リージョン対応時に管理アカウントでの再スクリプト実行が必要。 次章の「運用方法」では、EventBridgeルールを2つ利用する方法を採用した前提で解説します。 運用方法 「1. 管理アカウントのみアナライザーを作成」の運用において、以下の2点を考えます。 通知後の対応 新規アカウント発行時 通知後の対応 通知方法は「通知先がメンバーアカウントごとに異なる場合」を想定しています。 アナライザー検知時の対応の流れは以下
こんにちは!AWS事業本部のおつまみです。 JAWS-UG朝会 #58にて「5分でわかる!Cost Optimization Hub入門」というタイトルでLT登壇してきました。 登壇資料 入門ブログも読んでね 今回登壇にあたり、事前に弊社が祭りと題して行っていた入門ブログリレーを元にしました。 このブログでは、「Trusted Advisorとの違いは?」や「レコメンデーションの通知はできる?」といった気になることも書いているので、お時間がある方は読んでみてください! さいごに 5分という短い時間でしたが、Cost Optimization Hubへの愛を少しだけ語れてよかったです! いつも主催して下さっている運営の皆様、そして参加者の皆様ありがとうございました! JAWS朝会は初心者でも登壇しやすい場所なので、まだLTしたことない人はトライしてみましょう! 以上、おつまみ(@AWS110
[コンタクトセンターのカスハラ対策] Amazon Connectで通話中のカスハラワードをトリガーに、上司へ通知する仕組みを作ってみた はじめに Amazon Connectを使って、通話中にカスタマーハラスメント(カスハラ)のワードが出た際に、上司に通知する仕組みを作成してみました。 コールセンターでのカスハラは深刻な問題であり、オペレーターのメンタルヘルスや生産性に大きな影響を与えます。上司が迅速に状況を把握し、オペレーターのサポートや顧客対応の判断ができるよう、カスハラ対策の一環として、通話中のカスハラワードを検知して上司に通知する仕組みを作ってみました。 Amazon Connect Contact Lensの機能を活用することで、リアルタイムに通話内容を分析し、特定のキーワードやフレーズを検知できます。 今回は、通知先を上司、通知方法をメールに設定します。メールの場合、Amaz
困っていた内容 AWS の各種サービスにおけるアップデートや EOL, EOS を知りたいのですが、どのような情報を確認すればよいのかがわかりません。 AWS サービスのアップデートや EOL, EOS を知る方法を教えてください。 どう対応すればいいの? AWS 公式サイトやドキュメントをご確認頂くことを推奨いたします。 例えば、アップデート情報であれば以下のような公式サイトから確認可能です。 AWS の最新情報 AWS News Blog ドキュメント履歴およびリリースノート GitHub ロードマップ ドキュメント履歴とリリースノートの例としては、以下のようなページをご覧ください。 Amazon Connect Document history - Amazon Connect Release notes for Amazon Connect - Amazon Connect Git
皆さん、お使いのAWS環境のセキュリティチェックはしていますか? 当エントリでは、AWS Security HubによるAWS環境のセキュリティ状況スコアリングに該当する項目についての修正手順をご紹介します。 本記事の対象コントロール [APIGateway.1] API Gateway REST と WebSocket API 実行のログ記録を有効にする必要があります [APIGateway.1] API Gateway REST and WebSocket API execution logging should be enabled 前提条件 本記事はAWS Security Hubで「AWS基礎セキュリティのベストプラクティススタンダード」を利用されている方向けの内容です。 AWS Security Hubの詳細についてはこちらのブログをご覧ください。 コントロールの説明 このコン
BigQuery アンチパターンレコメンデーションツールで、パフォーマンスの悪い SQL を使っていないか確認してみる。 こんにちは、みかみです。 本州も梅雨入りの季節になってまいりましたが、沖縄はそろそろ梅雨明けです! やりたいこと BigQuery で実行している SQL のパフォーマンスチューニングをしたい BigQuery のアンチパターン SQL を使っていないか確認したい どんな DWH を使うにしろ、SQL チューニングは避けて通れない道ではないかと思います。 実行計画確認して、データ処理エンジンの思想に思いを馳せて・・・。 というのも、特に顕著な改善効果が得られた時にはこの上ない喜びを感じられる作業ですが、SQL が複雑だったり、大量の SQL を確認しないといけない場合は、心折れそうになる場合もあります。 BigQuery でも、クエリプランを確認しながら SQL をチュ
自動バックアップを有効にしているものは、バックアップウィンドウを以下のように設定しています。 RDS DBインスタンス : UTC 21:00 - 21:30 Aurora DBクラスター : 自動割り当て (Aurora DBクラスターをマネジメントコンソールで作成する際はバックアップウィンドウを明示的に指定することはできない) メンテナンスウィンドウについてはいずれもJST 9:00 - 9:30 で設定をしています。 また、AWS Backupのバックアッププランではいずれも1時間に一度動作するようにしています。 作成したAurora DBクラスターとRDS DBインスタンスは以下のとおりです。 aurora-1 aurora-2 rds-1 rds-2 rds-3 rds-4 rds-5 RDSで自動バックアップを有効にしていつものについては作成時にスナップショットが取得されるよう
あしざわです。 現在開催されているAWS re:Inforce 2024 のKeynote にて、AWS IAMのrootユーザーおよびIAMユーザーのMFA(多要素認証)としてPasskeyのサポートが発表されました。 AWS What's newブログ、AWS Blogの両方で発表されています。 概要 本アップデートによって、AWSのrootユーザー、IAMユーザーのMFAデバイスとしてPasskeyが利用できるようになります! AWS側で発行したPasskeyをGoogleアカウントや1passwordなどのクラウドサービスに登録することで、MFA認証としてPasskeyを利用してAWSアカウントにログインできるようになります。 AWS Blogに以下のように記載があるため、初回のリリース時はPasskey+パスワード認証のみでパスワードの利用は必須であるようです。今後のリリースでP
ついにブロックができるようになった!Amazon GuardDuty Malware Protection for Amazon S3が発表されました! #AWSreInforce Amazon GuardDutyで待望のマルウェアに対する保護機能がリリースされました!信頼できないオブジェクトをS3にアップロードする環境ならガンガン活用していきましょう! こんにちは、臼田です。 みなさん、AWS上でのマルウェアチェックしてますか?(挨拶 AWS re:Inforce 2024で待望のS3に対するネイティブなマルウェア検出と保護の機能である「Amazon GuardDuty Malware Protection for Amazon S3」がリリースされました! Detect malware in new object uploads to Amazon S3 with Amazon Gua
Redshift Provisioned(プロビジョニング済みクラスタ)のデフォルトの分離レベルがスナップショット分離(Snapshot isolation)に変更、EMR Serverless は I/O 負荷の高いワークロードのパフォーマンスを向上させるシャッフル最適化ディスクを導入されました。QuickSightは、RedshiftのGetClusterCredentialswithIAM のサポートを開始やテーブルでの複数列ソートが可能に! クラスメソッドの石川です。日々AWSのアナリティクス関連サービスのアップデートとそのブログをご紹介します。 今月は、Redshift Provisioned(プロビジョニング済みクラスタ)のデフォルトの分離レベルが、スナップショット分離(Snapshot isolation)に変更になりました。EMR Serverless は、 I/O 負荷の
はじめに Amazon Connect のレポートや通話録音が保存されているデータストレージ用のS3バケットポリシーを、セキュリティ強化のために必要最小限のアクセス権限に設定してみました。 Amazon Connect のレポートや通話録音は、指定したS3バケットに保存されます。通話の録音内容には個人情報が含まれている可能性があるため、S3バケットポリシーで適切なアクセス制御を行うことが推奨されます。 必要最小限のアクセス権限を設定することで、セキュリティを強化しつつ、適切な関係者のみがデータにアクセスできるようになります。 本記事では、Amazon Connectのデータストレージ用S3バケットのセキュリティを高めるために、必要最小限のアクセス権限を設定する具体的な方法を解説します。 S3バケットポリシーを変更する場合 誤ったバケットポリシーを設定してしまうと、意図しないアクセス制限が発
接続文字列は以下のような形となります。 一般的なJDBC接続文字列ですが最近だとライブラリ等にラップされているせいで見ることも少ないので意外と忘れがちな部分ではあります。 postgres://jdbc:postgresql://{{RDSのエンドポイント}}:5432/{{接続先DB名}}?secret=${Secretsの名前} 認証情報はSecrets Manager側に以下の形式で保存されていれば利用する際に良い感じに展開してくれます。 { "username": "{{接続ユーザ名}}", "password": "{{接続ユーザーパスワード}}"} パラメータの情報に関する情報は作成上の説明文の記載に加え情報は以下にも記載がありますのでこちらをご参照ください。 ここまでで正常に設定できていればデータコネクタの部分で以下ように接続先のスキーマ情報が確認できます。 ここまでで各種設
CSVデータをS3にアップロード時AWS Lambdaをトリガーし、自動的にDynamoDBへデータを書き込んでみた はじめに Amazon S3バケットにアップロードしたCSVデータをAmazon DynamoDBテーブルに自動的に書き込むAWS Lambdaの作成方法を紹介します。 CSVデータをAmazon S3バケットにアップロード時、AWS LambdaをトリガーしAmazon DynamoDBテーブルにデータを書き込む方法について紹介します。 CSVデータをAmazon S3バケットにアップロード時、AWS LambdaをトリガーしDynamoDBにデータを書き込んでみた 構成は以下の通りです。 本構成では、AWSマネジメントコンソールからS3バケットにCSVファイルをアップロードすると、S3のPUTイベントをトリガーとしてLambda関数が起動します。Lambda関数は、CS
はじめに 2024年5月29日(水)~30日(木)に大阪にて「コールセンター/CRM デモ&コンファレンス2024 in 大阪」が開催され、弊社はブース出展とセミナー登壇を行いました。 私は、5月30日(木)に「【Amazon Connect × 生成AI活用】短期間で導入可能な次世代型コンタクトセンターのススメ」というセミナーで、「Amazon Connectと生成AIを利用した業務改善の活用例とデモ」というタイトルで登壇しました。 Amazon Connectと生成AI 登壇資料の前に、Amazon Connectの概要と生成AIとの組み合わせについて説明します。 Amazon Connectは、AWSが提供するクラウドベースのコンタクトセンターソリューションであり、音声通話、チャット、タスクの管理など、コンタクトセンターに必要な機能を包括的に提供しています。 一方、生成AIは自然言語
こんにちは、なおにしです。 Amazon S3に保存されているAWS WAF のアクセスログを Amazon Managed Grafana のAmazon Athena 組み込みデータソースを使用して可視化してみましたのでご紹介します。 はじめに Amazon S3に保存されているAWS WAF のアクセスログをAmazon Athena で解析することがあるかと思います。その際、トラブルシューティングなどでのアドホックな利用ではなく、例えば月次レポート用にデータを確認するようなシチュエーションであれば、Athena のクエリも時間指定のみが異なるだけで基本的には同じクエリを使用するというケースもあるかもしれません。 もちろん、トラブルシューティングにおいても必ず見るべき内容(特定条件のアクセス数など)が決まっているのであれば実行クエリも決まっていると思います。あとはデータ取得の時間指定
はじめに これまで私はRaspberry Piを自宅Wi-Fi経由でPCからリモートデスクトップ接続で使っていました。 この度、Raspberry Piを外に持っていくことになりましたが、このままでは外でRaspberry Piを操作できないことに気づきました。 そこで、PCとRaspberry Piを有線LANでも接続できるようにしてみました。 前提 PCのOSはWindows 10 Raspberry PiのOSはDebian GNU/Linux 12 (bookworm) Wi-Fiに接続されたPC、Raspberry Pi、LANケーブルがあるものとします Raspberry Piのリモートデスクトップ設定は済んでいるものとします PCのネットワーク設定 まずコントロールパネルから以下の「ネットワーク接続」ページを開きます。 Raspberry PiとPCをLANケーブルで接続しま
Cost Optimization Hub について 2024 年 6 月時点の情報をまとめてみました。これから学ぶ記事としてご活用ください。 こんにちは!AWS事業本部のおつまみです。 当エントリは弊社AWS事業本部による『AWS 入門ブログリレー 2024』の60日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう!という方にとっては文字通りの入門記事として、またすでに AWS を活用されている方にとっても AWS サービスの再発見や 2024 年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では
いわさです。 RDS インスタンスタイプの廃止について既に把握されている方も多いと思いますが、Amazon RDS の MariaDB、MySQL、PostgreSQLにおいて旧インスタンスである T2、M4、R4 のサポートが終了となります。 この件について昨日 Amazon RDS 公式ドキュメント(英語)にも追記されていました。 Document history - Amazon Relational Database Service より引用 先に結論を記載しますと、事前通知メールと比較して大きく目新しいことは記載はされてはおらず、既に自動アップグレードが発生する期間であることと、2024 年 12 月 31 日でサポートが終了する旨などが明記されていたりします。 日本語ドキュメントとの差分から追記部分をまとめてみました。 既に把握されている内容と重複していると思いますが、実はイン
2024年5月分のAWSおよびGoogle Cloudの機械学習関連サービスのアップデート情報をお届けします。 データアナリティクス事業本部 インテグレーション部 機械学習チームの鈴木です。 クラスメソッド データアナリティクス通信(機械学習編) の2024年6月号です。2024年5月分のアップデート情報をお届けできればと思います。 はじめに AWSでは、Amazon Personalizeで新たなレシピUser-Personalization-v2とPersonalized-Ranking-v2が使えるようになった点が個人的に大きなアップデートでした。モデルのアーキテクチャが新しくなり、精度の向上や推論速度のアップがされました。 以下のブログでも詳細に取り上げています。 Google Cloudでは、Vertex AI SearchでチェックグラウンディングAPIが一般提供開始されました
はじめに Amazon ConnectでAIによる電話の自動応答を実装する場合、以下のように「はい」「いいえ」を聞き取る機会があります。 ユーザーの発話内容を復唱した際、問題ないか「はい」「いいえ」で確認 発信元番号から本人確認時、「はい」「いいえ」で確認 今回は、「はい」「いいえ」を聞き取るAmazon Lexボットを作成し、Amazon Connectのフローから呼び出してみます。 Lexについて Lexは、Alexaと同じテクノロジーを利用したチャットボット向けの会話型 AIサービスで、音声やテキストを使用してあらゆるアプリケーションに対話型インターフェイスを構築可能です。 自然言語理解(NLU)と自動音声認識(ASR)を用いて、ユーザーの発話から意図(インテント)を理解し、適切な応答を返します。 今回のユースケースでは、「はい」「いいえ」という限定的な応答を判定するため、比較的シン
利用者からのシステムへの問題提起。チームのふりかえりのミーティングで寄せられた仕事の進め方に関する問題提起。部門横断の活動に関わる問題提起。 仕事において、大小さまざまな問題が存在します。そして、誰かが問題提起をしてくれた場合、その問題の解決に向けてすぐに取り組むことがベストとは限りません。問題を解決していく前に、問題の明確化が必要なケースがあるためです。 この記事では、「問題の明確化」に関する全体像を説明します。
次のページ
このページを最初にブックマークしてみませんか?
『Developers.IO』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く