[B! AWS][ファイル] locke-009のブックマーク

AWS S3 のファイルを社内からのみ URL でダウンロード可能にする（パブリックアクセスブロック有効） - APC 技術ブログ

はじめにこんにちは。クラウド事業部の野本です。業務でモックサーバを作る際に、静的なファイルをふつうに URL でアクセスしてダウンロードできるようにする必要がありました。この用途に AWS の S3 を使いたいものの、バケットの設定を間違えると全世界に公開されてしまいそうで、公式ドキュメントを調べながら恐る恐る設定しました。調べた結果、バケットポリシーで適切なアクセス制限を掛けるならパブリックアクセスブロック機能は有効のままでもいいことがわかりました。その設定方法や考え方について纏めます。設定方法 S3 のオブジェクトを URL 直アクセスでダウンロードできるようにするには、 REST API GetObject を全員に許可するようにバケットポリシーを設定します。リクエスト元を制限する際にポリシーが「非パブリック」と判定されるよう設定すれば、パブリックアクセスブロック機能はオン

locke-009 2024/01/28

リンク

AWS RDS Oracle Data Pump関連dmp , logファイル一括削除 - Qiita

概要 AWSのRDS利用している場合、OSにログインできないです。oracle のData Pump とDBMS_FILE_TRANSFER　使えばデータの移動できますが、不要になったDMPファイル、LOGファイルを削除したいです。あるdirectoryの下のファイルを一括削除のprocedureを作成してみました。 Procedure 例：　DATA_PUMP_DIRの下のファイル一括削除 DEClARE directory_object VARCHAR2(100); BEGIN directory_object:='DATA_PUMP_DIR'; FOR vRec IN ( SELECT FILENAME FROM table(RDSADMIN.RDS_FILE_UTIL.LISTDIR(directory_object)) WHERE TYPE='file' ORDER BY mti

locke-009 2021/12/06

リンク

S3でオブジェクトをリージョン間転送する – OpenGroove

表題の件は、ただ単純に、S3バケット上のデータを別リージョンのバケットに転送したいだけなのだ。しかしググると何故かスナップショット転送の記事がトップ位置に出てきてしまうので、自分のところに書いておく。方法としては「フツーにコピーする」と、「クロスリージョンレプリケーションを利用する」の2択。 1. [aws s3 cp]でフツーにコピーする場合バケットの作成時に所属するリージョンが決定されているので、コピー実行時にリージョンを指定する必要はない。 $ aws s3 cp s3://tokyo-example-bucket/mytest.txt s3://singapore-example-bucket/ バケットのリージョン（ロケーション）を確認する $ aws s3api get-bucket-location --bucket singapore-example-bucket --

locke-009 2021/11/08

リンク

AWSのS3の転送速度を早くする裏ワザをAWSの中の人に聞いてきた | 株式会社ビヨンド

インフラエンジニアの伊藤です。 Amazon S3。非常なスケーラブルなシステムで、99.99%の可用性を誇るシステムです。（ちなみに堅牢性は99.9999999%になります）静的サイトとしてS3を使用している人もいらっしゃるでしょうし、ストレージとして使用している人もいるでしょう。やっぱり気になるのは転送速度。 AWSの中の人がいってた「転送速度を速くするワザ」を今回紹介したいと思います！ S3ってディレクトリ-ファイルの構造じゃない転送速度を速くするワザの前に・・・ S3は上記の堅牢性や可用性を担保するために、ファイルをアップロードしたタイミングで、同じリージョンの3つのデータセンターに対してコピーを行っています。で、S3にはバケットとオブジェクトというものがあり、「フォルダ=バケット」、「ファイル=オブジェクト」というイメージをしますが、実体はそうじゃないのです。引

locke-009 2021/11/04

リンク

[AWS] S3へ巨大なファイルを「マルチパートアップロード」する - ねこの足跡R

AWS S3へ巨大なファイルをアップロードする際、より高速に転送するには「マルチパートアップロード」を利用することが推奨されています。また一定サイズ以上のファイルはSDKやREST APIからはそもそもPUTすることができません。マルチパートアップロードというと一見難しそうに聞こえるかもしれませんが理屈も使い方も非常にシンプル。対応したGUIのアプリを使えば裏側で自動的に行なってくれるためそもそも意識する必要すらありません。今回はAWS CLIとWindowsやmacOS上のGUIのクライアントを利用した方法を取り上げます。マルチパートアップロードとは S3のそもそもの話オブジェクトのサイズ上限マルチパートアップロードの上限値料金の罠不完全なデータを確認＆削除ライフサイクルを設定するアップロード方法 AWS CLI アプリ Cyberduck S3 Browser Win

locke-009 2021/11/04

リンク

RDS for Oracle で Data Pump によるエクスポート/インポート - A Memorandum

はじめに RDS 上の DATA_PUMP_DIR の操作 Data Pump によるエクスポートテーブル単位でのエクスポートバージョン指定 Data Pump によるインポートテーブル単位でのインポート統計情報を除いたインポート既存テーブルの更新/追加スキーマのリマップ Data Pump ジョブのクリーニング S3_INTEGRATION の設定 S3_INTEGRATION によるファイル転送 S3 へのアップロード S3 からのダウンロードはじめに RDS 上の Oracle で Data Pump によるエクスポート/インポートを行う方法について説明します。 Data Pump では、対象のエクスポートファイルやインポートファイルをディレクトリオブジェクトを介してやり取りする必要があり、サーバOSを直接操作できない RDS ではファイルの連携が面倒でした。旧来は、

locke-009 2021/10/25

リンク

[AWS] Data Pump のダンプファイルをRDS for Oracle インスタンスへ転送する | DevelopersIO

こんにちは、菊池です。まずは、こちらをご覧ください。 RDS for Oracle環境でData Pumpを利用する Oracle Databaseのデータをインポート/エクスポートするツール、Data Pumpを使ったRDS間でデータ移行を紹介しています。マネージドサービスであるRDSでは、DBをホストしているインスタンスのOSレイヤにアクセスする手段がありません。そのためRDSインスタンスへダンプファイルを転送するために、転送元/転送先のDB同士をDBLinkで接続しています。この方法が可能であれば問題ありませんが、転送元/転送先のDBが直接通信可能である必要がありますので、環境上の制約により難しいケースもあると思います。オンプレミスからの移行では、AWS上のRDSに直接通信が到達できないこともあるでしょう。そこで今回は、Data Pumpでエクスポートしたダンプファイルを、RD

locke-009 2021/10/25

リンク

RDSのOracleでdumpファイルを扱う - goodbyegangsterのブログ

RDS Oracleにて、dumpを扱う方法が随分簡単になっていたので、試したときのメモです。設定まずは利用するための設定を実施。以下が公式マニュアル。 Amazon S3 の統合 S3Bucketの作成 dumpファイルを置くためのS3Bucketを作成しておきます。今回は oracle-dump-zunda という名前のBucketを作成しています。 RDS用のIAM Roleの作成 dumpファイルを置くことになるS3Bucketへのアクセス権限をもった、RDS向けのIAM Roleを作成します。CloudFormationテンプレートでは、こんな感じです。 AWS TemplateFormatVersion: "2010-09-09" Description: "IAM Role for RDS Oracle Integration with Amazon S3" Resourc

locke-009 2021/10/25

リンク

はてなブックマーク

タグ

関連タグで絞り込む (15)

AWSとファイルに関するlocke-009のブックマーク (8)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第1週）

月間はてなブックマーク数ランキング（2024年6月）

今週のはてなブックマーク数ランキング（2024年6月第5週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス