本記事で目指す構成 S3にCSVファイルをアップロード → Lambda起動 → JSONファイルに変換 使用技術 言語: Python 3.8 AWS: S3、Lambda 下準備 まず最初にIAMユーザーやIAMロール、S3バケットなどの準備を行います。 IAMユーザーを作成 今回はAWS CLIを使って作業していくので、専用のIAMユーザーを作成します。 「IAM」→「ユーザー」→「ユーザーを追加」 ユーザー名: 任意 アクセスの種類: 「プログラムによるアクセス」にチェック 今回はS3バケットの作成、ファイルのアップロードや削除などS3に関する基本的な動作を行いたいので「AmazonS3FullAccess」ポリシーをアタッチしておきます。 作成完了すると アクセスキーID シークレットアクセスキー の2つが発行されるのでメモに控えておきましょう。 $ aws configure
概要 今回はS3のイベント通知に関して掘り下げます。 よくあるユースケースとしては、S3に画像が置かれたのをトリガーにLambdaを起動してサムネイル画像を作成するとかでしょうか。 アーキテクチャはこんな感じ。 ターゲット イベントの送信先として指定できるのは以下の3つのみです。 Lambda SNS SQS 別のものを使いたい場合は、EventBridgeという選択肢があります。 とはいえSNS, SQSを経由すれば大体現実的なユースケースはカバーできると思います。 EventBridgeはCloudTrailを介するのでS3のイベント通知に比べると少し面倒です。 一つ注意点として、SQSで利用できるのは通常キューのみとなります。FIFOキューは2020年5月現在サポートされていません。仕組み的に今後サポートされることはなさそうな印象です。 イベントタイプ 大まかに分けると、オブジェクト
はじめに こんにちは。技術4課の河野です。最近作り置き料理にハマっていて、週末に平日分の夕飯を作るというライフハックを実践中です。 今回は、AWS Step Functions(以下「SFN」) の Map ステートについてのお話です。 要約 SFN で過去一年分のSlack投稿メッセージを取得するバッチを構築しました。 トータル処理時間が、1.5h (データ件数は 2万件程度)だったため、SFNの Map ステートを組み込んだところ処理時間が 10.0 min まで短くなったというお話です。 改善前 Slack投稿メッセージは、下記のような構成(ざっくり)で構築しました。 Slackのメッセージを取得する Lambda をタイムアウトするまでぶん回して、タイムアウトエラーを SFN 側でキャッチしてリトライするという力技です。 改善前の課題 冒頭でも述べた通り、「Slackメッセージを取
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Step Functions で使用するワークフロー状態の検出 状態はステートマシンの要素です。状態は名前で参照されます。任意の文字列を指定できますが、ステートマシン全体の範囲で一意である必要があります。 状態は、呼び出しまたは以前の状態から入力を取得します。状態は入力をフィルタリングし、次の状態に送信される出力を操作できます。 以下は、 関数HelloWorldを呼び出す AWS Lambda という名前のステートの例です。 "HelloWorld": { "Type": "Task", "Resource": "arn:aws:lambda:us-east-1:123456789012:function:HelloFunction", "Next": "Afte
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 マップワークフローの状態 Map 状態を使用して、データセット内の各アイテムに対して一連のワークフローステップを実行します。Map 状態の反復は並行して実行されるため、データセットを迅速に処理できます。 Map状態は、JSON配列、Amazon S3 オブジェクトのリスト、CSVファイルなど、さまざまな入力タイプを使用できます。 Step Functions には、ワークフローで Map 状態を使用するための処理モードとして、インラインモードと分散モードの 2 種類の処理モードがあります。
パフォーマンスの問題を示している可能性のある条件がクエリオプティマイザによって特定された場合にアラートを記録します。クエリパフォーマンスを向上させる機会を特定するには、STL_ALERT_EVENT_LOG ビューを使用します。 複数のセグメントから構成された 1 つのクエリ。各セグメントは 1 つ以上のステップから構成されます。詳細については、「クエリ処理」を参照してください。 STL_ALERT_EVENT_LOG はすべてのユーザーに表示されます。スーパーユーザーはすべての行を表示できますが、通常のユーザーは自分のデータのみを表示できます。詳細については、「システムテーブルとビューのデータの可視性」を参照してください。 STL_ALERT_EVENT_LOG には、メインクラスターで実行されるクエリのみが含まれます。同時実行スケーリングクラスターで実行されるクエリは含まれていません。
フィードバックを送信 アプリケーションのデフォルト認証情報の仕組み コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 このページでは、アプリケーションのデフォルト認証情報(ADC)が認証情報を探す場所について説明します。ADC の仕組みを理解することで、ADC で使用されている認証情報と、その認証情報の検出方法を理解できます。 Application Default Credentials (ADC) は、アプリケーション環境に基づいて認証情報を自動的に検索するために、認証ライブラリが使用する手法です。認証ライブラリは、これらの認証情報を Cloud クライアント ライブラリと Google API クライアント ライブラリで使用可能にします。ADC を使用すると、Google Cloud サービスと API に対するアプリケーションの認証方法を変更せずに、
重要なお知らせ 窓口の混雑状況について 申請窓口は、有楽町に申請者が集中する傾向があり、手続時間が他のパスポートセンターより長くかかる傾向にあります。 申請にいらっしゃる方は、下にある混雑状況のリンクをたどり、各パスポートセンターの目安待ち時間の記載をご参考にしてください。 申請の際には、まず受付ののち、申請内容に合わせた窓口にお進みいただきますので、申請完了の目安時間は受付の目安時間と申請内容に合わせた窓口の目安時間を合わせた時間になります。 交付窓口は、日曜日は平日の2倍以上の方がお越しになり、大変混みあっています。可能な方は平日の受け取りをご検討ください。 パスポートセンターの窓口混雑状況について パスポートセンターの窓口混雑情報が確認できます。 混雑状況 新宿 混雑状況 有楽町 混雑状況 池袋 混雑状況 立川 手続きガイド 初めて申請する方 有効なパスポートを お持ちの方 氏名、本
","chat_template":"{% for message in messages %}{% if message['role'] == 'system' %}{{'<|system|>\n' + message['content'] + '<|end|>\n'}}{% elif message['role'] == 'user' %}{{'<|user|>\n' + message['content'] + '<|end|>\n'}}{% elif message['role'] == 'assistant' %}{{'<|assistant|>\n' + message['content'] + '<|end|>\n'}}{% endif %}{% endfor %}{% if add_generation_prompt %}{{ '<|assistant|>\n' }}{%
まずはじめにアイデンティティ業界の人へ とりあえず、アイデンティティに関心のある人は、本書『メタバース進化論』を読んだほうが良い。メタバース・バ美肉として現実の物理的制限から存在を解き放ち、抽象空間で取り扱うことができるようになることによって、アイデンティティとプライバシー管理の課題や要件がこんなにも明確になるのか!曰く そもそも「アイデンティティ(自己同一性)とは、私たちが私たち自身をどのようなものと捉えるかという「認識」であり、他者や社会からそれが認められているという「感覚」のことです。 物理現実では、基本的に生まれたままの名前・姿・声を受け入れるしかありませんでした。つまり、アイデンティティとは「与えられる」ものでした。 基本的には与えられた固定のものを「受け入れる」しかなかった物理現実時代のそれとは違い、メタバース時代のアイデンティティは自由に「デザインする」ものになり、「なりたい
はじめに 本連載の第2回では様々なデータソースからの収集について、第3回では収集されたデータの管理についてそれぞれ解説してきました。今回は、それぞれのデータの収集から分析するまでの処理の流れを管理するデータパイプライン管理に着目し、求められる要素や関連するサービスとその使い分けについて解説します。 データパイプラインとETL 分析するためのデータを様々なデータソースから収集してデータレイクのような基盤で実際に分析できる状態にするまでには、一般的にいくつかのサービスや機能、処理を組み合わせて実現します。このようにデータの抽出(Extract)、変換(Transform)、ロード(Load)の一連のフロー(流れ)をETLと呼び、データソースやデータの種類ごとに異なるフロー(パイプライン)を構成する必要があります。 さらにこの処理は当然ながら自動化することが一般的です。なお、データウェア
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS Step Functions とは? AWS Step Functionsは、AWS LambdaAWS のサービス機能などと統合してビジネスクリティカルなアプリケーションを構築できるサーバーレスオーケストレーションサービスです。Step Functions のグラフィカルコンソールでは、アプリケーションのワークフローを一連のイベント駆動型ステップとして確認できます。 Step Functions はステートマシンとタスクに基づいています。Step Functions では、ワークフローはステートマシンと呼ばれ、一連のイベント駆動型ステップです。ワークフローの各ステップはステートと呼ばれます。タスクステートはAWS Lambda、AWSなどの別のサービスが実
こちらはAWS for Games Advent Calendar 2022 13日目の記事です。 はじめに 私は普段UBISOFT OSAKAでサーバーエンジニアとして働いています。 UBISOFT OSAKAではRocksmith+というギター学習ツールを開発しています。 私自身これまでギターを触ったことはありませんでしたが、入社をきっかけにRocksmith+でギターの練習を始めました。 練習のメニューが充実しており、初心者から上級者まで楽しめる内容になっています。 残念なのは今のところ日本ではプレイできないところでしょうか… ただいま(執筆時点)日本でのリリースは準備中です。 Rocksmith+の紹介はさておき、データパイプラインのお話です。 ゲームで楽曲が使われるまで大まかな流れは次の通りです。 ライセンサーから(楽曲の権利を持つ企業)から楽曲のメタ情報(タイトルやアーティスト
はじめに 本連載の第2回では様々なデータソースからの収集について、第3回では収集されたデータの管理についてそれぞれ解説してきました。今回は、それぞれのデータの収集から分析するまでの処理の流れを管理するデータパイプライン管理に着目し、求められる要素や関連するサービスとその使い分けについて解説します。 データパイプラインとETL 分析するためのデータを様々なデータソースから収集してデータレイクのような基盤で実際に分析できる状態にするまでには、一般的にいくつかのサービスや機能、処理を組み合わせて実現します。このようにデータの抽出(Extract)、変換(Transform)、ロード(Load)の一連のフロー(流れ)をETLと呼び、データソースやデータの種類ごとに異なるフロー(パイプライン)を構成する必要があります。 さらにこの処理は当然ながら自動化することが一般的です。なお、データウェア
スタートアップのエンジニアの交流や知見の共有を目的とする、AWS Startup Community 主催の技術系オンラインイベント「AWS Startup Tech Meetup Online #5」。ここで、株式会社カケハシの福田氏が、「スタートアップにおけるデータ基礎バッチワークフローの変遷」をテーマに登壇。バッチワークフローの課題と、変更後の運用を紹介します。 自己紹介 福田貴之氏(以下、福田):「スタートアップにおけるデータ基礎バッチワークフローの変遷」と題して、株式会社カケハシの福田が発表します。自己紹介です。株式会社カケハシで、データ基盤のプロダクトオーナー兼エンジニアやってます。 経歴としては、2007年新卒で、某Yでモバイル向けサービス開発・運用などをやり、あとソーシャルゲームが流行っていたので、そのあたりでログ基盤を6年ぐらい見ていました。あとベンチャーをいくつかまわっ
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Step Functions とは AWS Step Functionsを使用すると、ステートマシン とも呼ばれるワークフローを作成して、分散アプリケーションの構築、プロセスの自動化、マイクロサービスのオーケストレーション、データと機械学習パイプラインの作成を行うことができます。 Step Functions はステートマシンとタスク に基づいています。Step Functions では、ステートマシンはワークフロー と呼ばれ、一連のイベント駆動型ステップです。ワークフローの各ステップは、状態 と呼ばれます。例えば、タスク状態は、別の AWS サービス や を呼び出すなど、別の AWS サービスが実行する作業単位を表しますAPI。タスクを実行するワークフローを実行す
AWS DataSync は、オンプレミスと AWS ストレージサービス間のデータ移動を自動化して加速化する安全なオンラインサービスです。DataSync は、Network File System (NFS) 共有、Server Message Block (SMB) 共有、Hadoop Distributed File System (HDFS)、セルフマネージドオブジェクトストレージ、AWS Snowcone、Amazon Simple Storage Service (Amazon S3) バケット、Amazon Elastic File System (Amazon EFS) ファイルシステム、Amazon FSx for Windows File Server ファイルシステム、Amazon FSx for Lustre ファイルシステム、Amazon FSz for Open
こんにちは、クラウドインテグレーション部の加藤ゆです。 Athenaを利用してデータ検索を実施する際に、Athenaエディタを利用グループ毎で管理したいときや、裏で利用するGlueの実行権限を限定したいときはないでしょうか。 今回は、AthenaとGlueのアクセス制御方法について記載します。 AWSでのポリシー評価の仕組み 1.Athenaワークグループを利用したアクセス制御 IAMポリシーの書き方 2.Glue DataCatalogのアクセス制御 Glue DataCatalogのアクセス権限設定 注意事項 AWS Glue コンソールを使用するために必要なアクセス許可 おわり ※本記事では、AWS LakeFormationには触れません。 データカタログへのDB/Tableレベルでの詳細なアクセスコントロールを行う際にはAWS LakeFormationをご検討ください。 Lak
デフォルトでは、各アカウントにはプライマリワークグループがあり、デフォルトのアクセス許可により認証されたすべてのユーザーがこのワークグループにアクセスできます。プライマリワークグループは削除できません。 作成した各ワークグループには、そこで実行されたクエリについてのみ保存されたクエリおよびクエリ履歴が表示され、アカウントのすべてのクエリは表示されません。これにより、アカウント内の他のクエリからクエリが分離され、自分が保存したクエリおよび履歴内のクエリを見つけることがより効率的になります。 ワークグループを無効にすると、有効にするまでクエリは実行されなくなります。無効なワークグループに送信されたクエリは、再び有効にするまで失敗します。 アクセス権限がある場合は、空のワークグループと、保存したクエリを含むワークグループを削除できます。この場合、ワークグループを削除する前に、保存されたクエリが削
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く