環境変数を使用すると設定オプションと認証情報を別の方法で指定することができ、スクリプト作成に役立つ場合があります。 オプションの優先順位 このトピックで示されている環境変数のいずれかを使用してオプションを指定した場合、設定ファイルのプロファイルからロードされた値は上書きされます。 AWS CLI コマンドラインでパラメータを使用してオプションを指定した場合、対応する環境変数、または設定ファイルのプロファイルからの値が上書きされます。
AWS CLI の環境変数の設定 - AWS Command Line Interface
環境変数を使用すると設定オプションと認証情報を別の方法で指定することができ、スクリプト作成に役立つ場合があります。 オプションの優先順位 このトピックで示されている環境変数のいずれかを使用してオプションを指定した場合、設定ファイルのプロファイルからロードされた値は上書きされます。 AWS CLI コマンドラインでパラメータを使用してオプションを指定した場合、対応する環境変数、または設定ファイルのプロファイルからの値が上書きされます。
スキーマの更新を処理する - Amazon Athena
このセクションでは、さまざまなデータ形式に対するスキーマ更新の処理に関するガイダンスを提供します。Athena はスキーマオンリード (schema-on-read) のクエリエンジンです。これは、Athena でテーブルを作成する場合、Athena がデータの読み込み時にスキーマを適用することを意味します。基盤となるデータに変更または書き直しが行われることはありません。 テーブルスキーマの変更が予想される場合は、ニーズに適したデータ形式で作成することを検討します。目的は、進化するスキーマに対して既存の Athena クエリを再利用し、パーティションがあるテーブルをクエリするときのスキーマの不一致エラーを回避することです。 これらの目的を達成するには、次のトピックの表に基づいてテーブルのデータ形式を選択してください。 サポートされているスキーマ更新オペレーション (データ形式別) 以下の表
Amazon EBSボリュームのサイズ変更後にファイルシステムを拡張する - Amazon EBS
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon EBSボリュームのサイズ変更後にファイルシステムを拡張する EBS ボリュームのサイズを増やしたら、パーティションとファイルシステムを新しい大きなサイズに拡張する必要があります。ボリュームが optimizing 状態に入るとすぐにこれを実行できます。 [開始する前に] 変更をロールバックする必要がある場合に備えて、ボリュームのスナップショットを作成します。詳細については、「Amazon EBSスナップショットを作成する」を参照してください。 ボリュームの変更が成功し、optimizing または completed 状態になっていることを確認します。詳細については、「Amazon EBSボリューム変更の進行状況をモニタリングする」を参照してください。
複合型とネストされた構造を含む配列をクエリする - Amazon Athena
ソースデータには、複雑なデータ型とネスト構造を持つ配列が含まれている場合があります。このセクションの例は、Athena クエリを使用して要素のデータ型を変更し、配列内の要素を見つけて、キーワードを検索する方法を示しています。
Presto と Trino - Amazon EMR
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Presto と Trino PrestoSQL は 2020 年 12 月に Trino に名称変更されました。Amazon EMRバージョン 6.4.0 以降では Trino という名前を使用し、以前のリリースバージョンでは Presto という名前を使用しますSQL。 Presto は、複数のソースからの大規模なデータセットに対するインタラクティブな分析クエリ用に設計された高速SQLクエリエンジンです。詳細については、Presto のウェブサイトを参照してください。Presto は Amazon EMRリリース 5.0.0 以降に含まれています。以前のリリースには、サンドボックスアプリケーションとして Presto が含まれています。詳細については、「Amaz
AWS Glue でのストリーミング ETL ジョブ - AWS Glue
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS Glue でのストリーミング ETL ジョブ 連続的に実行されるストリーミング抽出/変換/ロード (ETL) ジョブを作成し、Amazon Kinesis Data Streams、Apache Kafka、 Amazon Managed Streaming for Apache Kafka (Amazon MSK) などのストリーミングソースからのデータを使用できます。ジョブはデータをクレンジングして変換し、その結果を Amazon S3 データレイクまたは JDBC データストアにロードします。 さらに、Amazon Kinesis Data Streams ストリーム用のデータを生成できます。この機能は、 AWS Glue スクリプトを記述する場合にの
コンソールを使用してログデータを Amazon S3 にエクスポートする - Amazon CloudWatch Logs
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 コンソールを使用してログデータを Amazon S3 にエクスポートする 次の例では、Amazon CloudWatch コンソールを使用して、 という名前の Amazon CloudWatch Logs ロググループから という名前の Amazon S3 バケットmy-log-groupにすべてのデータをエクスポートしますmy-exported-logs。 で暗号化された S3 KMSバケットへのログデータのエクスポートSSEがサポートされています。でKMS暗号化されたバケットへのエクスポートDSSEはサポートされていません。 エクスポートの設定方法の詳細は、エクスポート先の Amazon S3 バケットがエクスポート対象のログと同じアカウントにあるか、別のアカウ
Athena エンジンバージョン 3 - Amazon Athena
開始方法 はじめに、Athena エンジンバージョン 3 を使用する新しい Athena ワークグループを作成するか、バージョン 3 を使用するように既存のワークグループを設定するかを選択します。Athena のどのワークグループでも、クエリの送信を中断することなく、エンジンバージョン 2 からエンジンバージョン 3 にアップグレードできます。 詳細については、「Athena エンジンバージョンの変更」を参照してください。 改善点と新機能 記載されている機能や更新には、Athena 自体の改善点と、オープンソースの Trino から組み込まれた機能性の改善点が含まれています。SQL クエリの演算子および関数を網羅するリストについては、「Trino documentation」(Trino ドキュメント) を参照してください。 追加された機能 Apache Spark バケットアルゴリズムの
ECS Exec を使用して Amazon ECS コンテナをモニタリングする - Amazon Elastic Container Service
Amazon ECS Exec を使用すれば、最初にホストコンテナのオペレーティングシステムとやり取りしたり、インバウンドポートを開いたり、SSH キーを管理したりすることなく、コンテナと直接やり取りできます。ECS Exec を使用して、Amazon EC2 インスタンスまたは AWS Fargate で実行されているコンテナでコマンドを実行したり、シェルを取得したりできます。これにより、診断情報を収集し、エラーを迅速にトラブルシューティングすることが容易になります。例えば、開発コンテキストでは、ECS を使用して、コンテナ内のさまざまなプロセスと簡単にやり取りし、アプリケーションのトラブルシューティングを行うことができます。また本番稼働シナリオでは、これを使用することで、コンテナへのブレークグラスアクセスを行って問題をデバッグできます。 Amazon ECS API、AWS Comma
Lake Formation 許可のリファレンス - AWS Lake Formation
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Lake Formation 許可のリファレンス AWS Lake Formation オペレーションを実行するには、プリンシパルに Lake Formation 許可と AWS Identity and Access Management (IAM) 許可の両方が必要です。IAM 許可は通常、「Lake Formation 許可の概要 」で説明したように、粗粒度のアクセス制御ポリシーを使用して付与します。Lake Formation 許可は、 コンソール、 API、または AWS Command Line Interface () を使用して付与できますAWS CLI。 Lake Formation 許可を付与または取り消す方法を学ぶには、「Data Catalo
Amazon Athena でパーティション射影を使用する - Amazon Athena
Athena では、高度にパーティションされたテーブルのクエリ処理を高速化し、パーティション管理を自動化するためにパーティション射影を使用できます。 パーティション射影では、Athena は AWS Glue のテーブルに直接設定したテーブルプロパティを使用してパーティション値と場所を計算します。テーブルプロパティにより、Athena は AWS Glue Data Catalogで時間をかけてメタデータを検索しなくても、必要なパーティション情報を「射影」または決定できます。多くの場合、インメモリオペレーションはリモートオペレーションよりも高速であるため、パーティション射影は高度にパーティションされたテーブルに対するクエリの実行時間を短縮できます。クエリおよび基盤となるデータの特定の特性によっては、パーティション射影によって、パーティションメタデータの取得時に制限されているクエリのクエリラ
Lake Formation でのリソースリンクの仕組み - AWS Lake Formation
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Lake Formation でのリソースリンクの仕組み リソースリンクは、ローカルまたは共有のデータベースまたはテーブルへのリンクである Data Catalog オブジェクトです。データベースまたはテーブルへのリソースリンクを作成すると、そのデータベース名やテーブル名を使用する場所ならどこでもリソースリンク名を使用することができます。テーブルのリソースリンクは、glue:GetTables() によってユーザーが所有するテーブル、またはユーザーと共有されたテーブルとともに返され、Lake Formation コンソールの [Tables] (テーブル) ページにエントリとして表示されます。データベースへのリソースリンクも同様に機能します。 データベースまたはテー
AWS Glue API でのリソースリンク処理 - AWS Lake Formation
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS Glue API でのリソースリンク処理 以下は、AWS Glue Data Catalog API がデータベースおよびテーブルリソースリンクを処理する方法を説明する表です。すべての Get* API オペレーションで、呼び出し側が許可を持つデータベースとテーブルのみが返されます。また、リソースリンクを通じて対象のデータベースやテーブルにアクセスするときは、ターゲットとリソースリンクの両方に対する AWS Identity and Access Management (IAM) 許可と Lake Formation 許可の両方を持っている必要があります。リソースリンクに対する必要な Lake Formation 許可は DESCRIBE です。詳細について
Amazon Athena のデータ型 - Amazon Athena
CREATE TABLE を実行するときは、列名と、各列に含めることができるデータ型を指定します。作成するテーブルは、AWS Glue Data Catalog に保存されます。 他のクエリエンジンとの相互運用性を促進するため、Athena は CREATE TABLE などの DDL ステートメントに Apache Hive データ型名を使用します。SELECT、CTAS、および INSERT INTO などの DML クエリの場合、Athena は Trino データ型名を使用します。以下の表は、Athena でサポートされるデータ型を示しています。DDL 型と DML 型が名前、可用性、構文といった点で異なる場合は、個別の列に表示されます。
例: Step Functions ワークフローでの状態データの操作 - AWS Step Functions
このトピックでは、InputPath フィールド、ResultPath フィールド、および OutputPath フィールドを使用して、状態入力と出力 JSON を操作する方法の例を示します。 ワークフロー状態に失敗する 状態または Succeed ワークフロー状態 状態以外のすべての状態には、InputPath、ResultPath、OutputPathなどの入力および出力処理フィールドを含めることができます。また、Wait ワークフロー状態 および Choice ワークフローの状態 状態は ResultPath フィールドをサポートしていません。これらのフィールドを使用すると、JSJsonPath を使用してワークフロー内を移動する JSON データをフィルタリングできます。 Parameters フィールドを使用して、JSON データがワークフロー内を移動する際にそのデータを操作する
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://docs.aws.amazon.com/kinesis/
CloudWatch ログクォータ - Amazon CloudWatch Logs
Athena エンジンバージョンリファレンス - Amazon Athena
AWS Glue リソース ARN の指定 - AWS Glue
AWS Batch IAM 実行ロール - AWS Batch