タグ

ブックマーク / repost.aws (26)

  • Amazon S3 バケット間で大量のデータを転送する

    簡単な説明 ユースケースに応じて、以下のオプションのいずれかを使用してバケット間のデータ転送を実行できます。 AWS CLI を使用して並列アップロードを実行する AWS SDK を使用する クロスリージョンレプリケーションまたは同一リージョンレプリケーションを使用する Amazon S3 バッチオペレーション Amazon EMR で S3DistCP を使用する AWS DataSync を使用する 解決策 AWS CLI を使用して並列アップロードを実行する **注:**AWS コマンドラインインターフェイス (AWS CLI) コマンドの実行中にエラーが発生した場合は、最新バージョンの AWS CLI を使用していることを確認してください。 転送時間を短縮するには、マルチスレッドを使用してください。転送を相互に排他的な複数のオペレーションに分割します。たとえば、AWS CLI を使

    Amazon S3 バケット間で大量のデータを転送する
    nikuyoshi
    nikuyoshi 2022/08/10
  • Lambda 関数を冪等にする

    AWS Lambda 関数コードを無力化して、アプリケーションの不整合やデータ損失を防ぎたいと考えています。 簡単な説明 プログラミングにおける冪等性とは、繰り返されるイベントを識別し、データの重複、一貫性の欠如、または損失を防ぐアプリケーションやコンポーネントの機能を指します。AWS Lambda 関数を冪等にするには、重複したイベントを正しく処理できるように関数ロジックを設計する必要があります。 冪等関数ロジックは、以下の問題の軽減に役立ちます。 不要な API コール コード処理時間 データ不一致 スロットル レイテンシー 解決策 関数を冪等にするには、関数のコードで入力イベントを適切に検証し、イベントが以前に処理されたかどうかを確認する必要があります。アプリケーションの機能によって、コードの最適な記述方法が決まります。 以下のサンプル関数ロジックとベストプラクティスを参考にしてくだ

    Lambda 関数を冪等にする
    nikuyoshi
    nikuyoshi 2022/06/09
  • Amazon S3 にアップロードされたオブジェクトの整合性を確認する

    オブジェクトを Amazon Simple Storage Service (Amazon S3) バケットにアップロードしたいと考えています。さらに、アップロードされたオブジェクトの整合性を確認したいのですが、どうすればそれができますか? 簡単な説明 Content-MD5 ヘッダーを使用することで、アップロードされたオブジェクトの整合性を確認するには、次の手順に従います。 注: Content-MD5 ヘッダーを使用する場合、Amazon S3 は指定された Content-MD5 値に対してオブジェクトをチェックします。値が一致しない場合、エラーが表示されます。 1.    オブジェクトの Content-MD5 値を計算します。 2.    オブジェクトのアップロード中に Content-MD5 値をリクエストヘッダーとして渡して、アップロードされたオブジェクトの整合性を確認します

    Amazon S3 にアップロードされたオブジェクトの整合性を確認する
    nikuyoshi
    nikuyoshi 2022/02/26
  • Ubuntu EC2 インスタンスでセカンダリネットワークインターフェイスを動作させる

    簡単な説明 警告: 2 つ目の Elastic Network Interface の使用は、上級ユーザーを対象としたものです。この手順は、単一のネットワークインターフェイスを使用できず、同じサブネットからの 2 つのネットワークインターフェイスを 1 つのインスタンスにアタッチする必要がある場合以外は実行しないでください。非対称ルーティングの問題を回避するには、単一の Elastic Network Interface を使用するか、オーバーラップしないサブネットに重複する Elastic Network Interface を設定してください。 Amazon Linux EC2 インスタンス以外のインスタンスに、セカンダリネットワークインターフェイスを追加すると、トラフィックフローの問題が発生します。これらの問題が発生するのは、プライマリとセカンダリのネットワークインターフェイスが同じ

    Ubuntu EC2 インスタンスでセカンダリネットワークインターフェイスを動作させる
    nikuyoshi
    nikuyoshi 2021/12/10
  • AWS re:Post - Expert Technical Guidance & AWS Knowledge Center

    Welcome to AWS re:Postre:Post provides access to curated knowledge and a vibrant community that helps you become even more successful on AWS

    AWS re:Post - Expert Technical Guidance & AWS Knowledge Center
    nikuyoshi
    nikuyoshi 2021/12/03
  • 別のアカウントでロールを引き受けるために Lambda 関数を設定する

    簡単な説明 Lambda 関数に別のアカウントの IAM ロールを引き継がせるには、次の手順を実行します: Lambda 関数の実行ロールを設定して、関数が別の AWS アカウントの IAM ロールを引き受けられるようにします。 クロスアカウント IAM ロールの信頼ポリシーを変更して、Lambda 関数がロールを引き継げるようにします。 AWS Security Token Service (AWS STS) の AssumeRole API 呼び出しを Lambda 関数のコードに追加します。 注: Lambda 関数は別のアカウントの IAM ロールを引き受け、Amazon Simple Storage Service (Amazon S3) バケットなどのリソースにアクセスできます。Lambda 関数は、インスタンスの起動や停止などのタスクを実行する役割を担うこともできます。 解決

    別のアカウントでロールを引き受けるために Lambda 関数を設定する
    nikuyoshi
    nikuyoshi 2021/10/28
  • Amazon Cognito を使用してサードパーティ SAML IdP をセットアップする

    Amazon Cognito を使用してサードパーティ SAML IdP をセットアップする
    nikuyoshi
    nikuyoshi 2021/09/21
  • Transit Gateway から Direct Connect と VPN フェイルオーバーの設定をする

    オンプレミスのリソースへのプライマリリンクとして AWS Direct Connect を設定したいと考えています。また、VPN を同じリソースへのセカンダリリンクとして設定したいと考えています。AWS Transit Gateway からこれを行うにはどうすればよいですか? 解決方法 タスク 1:トランジットゲートウェイを作成する タスク 2: トランジットゲートウェイに VPC をアタッチする タスク 3: AWS Site-to-Site VPN を作成し、それを上記のトランジットゲートウェイにアタッチする 注: 静的 VPN を使用している場合は、定義した静的ルートが、動的に伝播されるルートよりも特定性の低い CIDR を使用していることを確認してください。同じ CIDR を使用する経路では、Transit Gateway でのルート評価順序で、動的伝播ルートの優先順位が、静的ルー

    Transit Gateway から Direct Connect と VPN フェイルオーバーの設定をする
    nikuyoshi
    nikuyoshi 2021/09/02
  • AWS Config の設定項目を月ごとに取得する

    解決方法 過去および現在の請求傾向を特定するには、Amazon Athena を使用して、アカウントの 1 か月あたりの設定項目 (CI) の数を確認します。 S3 バケットに設定ファイルが含まれていることを確認する 注: AWS Config サービスが指定された Amazon Simple Storage Service (Amazon S3) バケットに設定履歴ファイルを正常に配信できることを確認してください。通常、CI は 6 時間ごとに設定履歴ファイルとしてバケットに配信されます。詳細については、「設定の詳細の表示」を参照してください。 AWS Config コンソールを開き、ナビゲーションペインから [設定] を選択します。 [Amazon S3 bucket] (Amazon S3 バケット) のセクションで、[Bucket name] (バケット名) を選択します。 S3

    AWS Config の設定項目を月ごとに取得する
    nikuyoshi
    nikuyoshi 2021/08/24
  • [Announcement] (DEPRECATED) Amazon Relational Database Service (RDS) for MySQL 5.6 End-of-Life date is August 3, 2021

    [Announcement] (DEPRECATED) Amazon Relational Database Service (RDS) for MySQL 5.6 End-of-Life date is August 3, 2021 This is an outdated announcement. Please refer to the latest RDS for MySQL 5.6 end-of-life timeline here: https://forums.aws.amazon.com/ann.jspa?annID=8790 NOTE: This notice does not apply to Amazon Aurora clusters. Amazon RDS is starting the end of life (EOL) process for MySQL maj

    [Announcement] (DEPRECATED) Amazon Relational Database Service (RDS) for MySQL 5.6 End-of-Life date is August 3, 2021
    nikuyoshi
    nikuyoshi 2021/02/01
  • Amazon OpenSearch サービスで検索拒否または書き込み拒否を解決する

    Amazon OpenSearch Service クラスターに検索または書き込みリクエストを送信すると、そのリクエストは拒否されます。 簡単な説明 OpenSearch Service クラスターでデータを書き込んだり、検索したりすると、次の HTTP 429 エラーまたは es_rejected_execution_exception が表示されることがあります。 error":"elastic: Error 429 (Too Many Requests): rejected execution of org.elasticsearch.transport.TransportService$7@b25fff4 on EsThreadPoolExecutor[bulk, queue capacity = 200, org.elasticsearch.common.util.concurr

    Amazon OpenSearch サービスで検索拒否または書き込み拒否を解決する
    nikuyoshi
    nikuyoshi 2020/11/26
  • アウトバウンドインターネットへのアクセスがない EC2 Windows インスタンスに .NET Framework 3.5 をインストールする

    インターネットにアクセスできない EC2 Windows インスタンスに .NET Framework 3.5をインストールするにはどうすればよいですか? Amazon Elastic Compute Cloud (Amazon EC2) Windows インスタンスで .NET Framework 3.5 を使用したいのですが、インスタンスでインターネットにアクセスできません。 ロールと機能の追加ウィザードを使用して .NET Framework 3.5 をインストールしようとすると、次のようなエラーメッセージが表示されます。 "Do you need to specify an alternate source path? One or more installation selections are missing source files on the destination."

    アウトバウンドインターネットへのアクセスがない EC2 Windows インスタンスに .NET Framework 3.5 をインストールする
    nikuyoshi
    nikuyoshi 2020/09/23
  • Amazon S3 バケットの署名付き URL が有効期限より前に失効する

    一時トークンを使用して、Amazon Simple Storage Service (Amazon S3) バケットの署名付き URL を作成しました。しかし、URL は指定した有効期限前に失効しました。原因は何でしょうか? 有効期限がより長い署名付き URL を作成する方法を教えてください。 解決方法 一時トークンを使用して署名済み URL を作成した場合は、トークンが失効すると URL も失効します。それより後の有効期限を指定して URL を作成した場合でも、URL は失効します。 署名付き URL の作成に使用できる認証情報には以下が含まれます。 AWS Identity and Access Management (IAM) インスタンスプロファイル: 最長 6 時間有効。 AWS Security Token Service (STS): AWS Identity and Acc

    Amazon S3 バケットの署名付き URL が有効期限より前に失効する
    nikuyoshi
    nikuyoshi 2020/07/07
  • ログイベントをプッシュしない Unified CloudWatch エージェントのトラブルシューティング

    統合 CloudWatch エージェントを使用して Amazon CloudWatch Logs にログをプッシュしているのですが、CloudWatch Logs コンソールにログが表示されません。統合 CloudWatch エージェントがログイベントをプッシュしないのはなぜですか? 簡単な説明 次の問題により、統合 CloudWatch エージェントがログイベントをプッシュできない可能性があります。 CloudWatch エージェントのインストール後に Amazon マシンイメージ (AMI) を作成したために発生する非同期メタデータ 古いバージョンの CloudWatch エージェントを使用している CloudWatch Logs エンドポイントに接続できない アカウント、リージョン、またはロググループの設定が正しくない AWS Identity and Access Manageme

    ログイベントをプッシュしない Unified CloudWatch エージェントのトラブルシューティング
    nikuyoshi
    nikuyoshi 2020/06/24
  • インターネットにアクセスせずにプライベート EC2 インスタンスを管理する

    私の Amazon Elastic Compute Cloud (Amazon EC2) インスタンスはインターネットにアクセスできません。AWS Systems Manager を使用してインスタンスを管理したいと思います。 解決策 システムマネージャーで Amazon EC2 インスタンスを管理するには、Amazon EC2 インスタンスをマネージドインスタンスとして登録する必要があります。 注: 仮想プライベートクラウド (VPC) エンドポイントは特定のサブネットにマップされます。VPC エンドポイントの作成時に複数のサブネットを選択すると、選択したサブネットごとに 1 つのエンドポイントが作成されます。その場合、エンドポイントごとに料金が発生するため、請求コストが増加します。 システムマネージャー用の IAM インスタンスプロファイルを作成する 以下の手順を実行します。 SSM

    インターネットにアクセスせずにプライベート EC2 インスタンスを管理する
    nikuyoshi
    nikuyoshi 2020/05/09
  • Amazon Cognito のユーザープール内のデバイスを記憶する

    簡単な説明 Amazon Cognito は、ユーザープール内のユーザーがサインインに使用するデバイスを追跡して記憶できます。デバイスを記憶する機能により、ある 1 つのデバイスからのログインを制限するといった、サインインの制限を設定できます。また、ユーザーが同じデバイスで繰り返しサインインせずに済むようにすることもできます。詳細については、「ユーザープールデバイス追跡設定の指定」を参照してください。 注: デバイストラッキング機能を使用するには、USER_SRP_AUTH 認証フローを使用する必要があります。記憶済みのデバイスを多要素認証 (MFA) の代わりに使用するには、ユーザープールの MFA を有効にすることも必要です。 デバイスを記憶する機能は、次の 2 つの部分で構成されます。 新しいデバイスの確認: デバイスから認証を開始し、Amazon Cognito で確認して一意のデ

    Amazon Cognito のユーザープール内のデバイスを記憶する
    nikuyoshi
    nikuyoshi 2020/05/07
  • EBS マルチアタッチボリュームを使用して複数の EC2 インスタンスを有効にする

    EBS マルチアタッチボリュームを使用して複数の EC2 インスタンスを有効にし、標準のファイルシステムに同時にアクセスすることはできますか? 複数の Amazon Elastic Compute Cloud (Amazon EC2) インスタンスから Amazon Elastic Block Store (Amazon EBS) ボリュームにアクセスしたいです。Amazon EBS マルチアタッチを使用して複数の EC2 インスタンスを有効にして、標準のファイルシステムに同時にアクセスできるかどうかを知りたいです。 解決策 EBS マルチアタッチは標準ファイルシステムをサポートしていません。XFS、EXT3、EXT4、NTFS などの標準ファイルシステムは、複数のサーバーや EC2 インスタンスが同時にアクセスできるようには設計されていません。これらのファイルシステムには、書き込み、読み

    EBS マルチアタッチボリュームを使用して複数の EC2 インスタンスを有効にする
    nikuyoshi
    nikuyoshi 2020/02/25
  • Amazon Cognito のユーザープールと ID プールを理解する

    Amazon Cognito を使い始めたのですが、ビジネスアプリケーションにユーザープールと ID プールのどちらを使用するべきか分かりません。何が異なるのでしょうか? 簡単な説明 ユーザープールでは認証 (アイデンティティの検証) ができます。ユーザープールを使用すると、アプリユーザーはユーザープールを通じたサインインや、サードパーティーのアイデンティティプロバイダー (IdP) を介した連携ができます。 ID プールでは認可 (アクセスコントロール) ができます。ID プールを使用すると、ユーザーに一意の ID を作成して、他の AWS サービスへのアクセスを許可できます。 解決方法 ユーザープールのユースケース 次のような必要があるときに、ユーザープールを使用します。 アプリのサインアップとサインインのウェブページを設計する。 ユーザーデータにアクセスし、管理する。 ユーザーのデバ

    Amazon Cognito のユーザープールと ID プールを理解する
    nikuyoshi
    nikuyoshi 2020/02/09
  • SAML ID プロバイダーとして AD FS を設定する

    Amazon Cognito ユーザープールで Security Assertion Markup Language 2.0 (SAML 2.0) ID プロバイダー (IdP) として Active Directory Federation Services (AD FS) を使用したいと考えています。どのように設定すればよいですか? 簡単な説明 Amazon Cognito ユーザープールでは、AD FS などの SAML IdP を含め、サードパーティー (フェデレーション) を介してサインインすることができます。詳細については、「サードパーティーを介したユーザープールサインインの追加」および「ユーザープールへの SAML ID プロバイダーの追加」をご参照ください。 Amazon Elastic Compute Cloud (Amazon EC2) Windows インスタンスに

    SAML ID プロバイダーとして AD FS を設定する
    nikuyoshi
    nikuyoshi 2020/02/09
  • Amazon EMR で Amazon S3 から HDFS にデータをコピーする

    簡単な説明 S3DistCp を使用して、Amazon S3 と Amazon EMR クラスター間でデータをコピーします。S3DistCp は、デフォルトで Amazon EMR クラスターにインストールされます。S3DistCp を呼び出すには、起動時またはクラスターの実行後にステップとして追加します。 解決方法 AWS コマンドラインインターフェイス (AWS CLI) を使用して、実行中のクラスターに S3DistCp ステップを追加するには、「クラスターに S3DistCp をステップとして追加する」を参照してください。 注: AWS CLI コマンドの実行時にエラーが発生した場合は、AWS CLI の最新バージョンを使用していることを確認してください。 コンソールを使用して S3DistCp ステップを追加するには、次のようにします: 1.    Amazon EMR コンソー

    Amazon EMR で Amazon S3 から HDFS にデータをコピーする
    nikuyoshi
    nikuyoshi 2019/11/09