Embulkでデータロードする(2) – AWS S3, Redshift – OpenGroove
前回に引き続き、Embulkを利用したデータロード。今回はAWS S3及びRedshiftへのロードを試す。基本セッティング等は前回投稿を参照されたし。実行環境はMac(Yosemite)。 1. S3へロード input:MariaDB, output:S3とする。MariaDBの方は前回投稿でCSVからロードしたデータが残っているためそのテーブルを利用する。ちなみにこんな状態。 Table:access +--------------+-----------+---------------------+ | country_code | access_id | access_time | +--------------+-----------+---------------------+ | MD | 85049 | 2015-07-13 11:48:29 | | DO | 83358
AWS S3へのログの蓄積はとりあえずJSONにしましょう - Librabuch
アプリケーションのログファイルをfluentdでS3に転送、S3からRedshiftに読み込んで集計、という流れはもはや鉄板パターンです。 これまではTSV形式で蓄積されているケースが多かったと思うのですが、2014年03月25のリリースでCOPY文がJSONフォーマットに（一応）対応したこともあり、とりあえずJSONで が最新のベストプラクティスになります。 おさらい 〜 fluentdを使ってJSON形式でS3にログを蓄積する 必要なもの fluentd本体 fluent-plugin-tail-ex fluent-plugin-s3 fluent-plugin-s3-alternative s3-alternativeを使うのは、 output_include_time false output_include_tag false 上記の設定を有効にして、純粋なJSON形式のフォーマ
s3cmd で ec2からs3へファイルをアップロードしようとしたらハマった - @Konboi memo
s3cmdのインストール sudo yum -y --enablerepo epel install s3cmd s3cmd の設定 下記コマンドで初期設定を行います。 s3cmd --configure アクセスキーやシークレットキーなどを設定します。 Enter new values or accept defaults in brackets with Enter. Refer to user manual for detailed description of all options. Access key and Secret key are your identifiers for Amazon S3 Access Key: Secret Key: Encryption password is used to protect your files from reading by
Linux端末からAmazon S3にファイルをアップロードする(s3cmd使用) at nkjmkzk.net
思うところあって4GByteのファイルをS3にアップロードしようとしていました。当初一番ユーザーフレンドリーなWeb Consoleを使用してアップロードを試みました。 しかしながら300MByteほどアップロードしたところで原因不明のErrorとなりうまくいきませんでした。AWSブログでも大容量ファイルのアップロードにはいささか改善の余地がある旨が記載されています。 http://aws.typepad.com/aws_japan/2010/11/amazon-s3-multipart-upload.html 同記事内のMultipart Uploadを試みようかと思いましたが、わざわざプログラムを書くほど繰り返し行う作業でもないので何かお手軽なツールはないかと思っていたら、コマンドラインでS3を操作できるs3cmdなんて便利なものがあるのですね。早速インストールして使ってみました。 ダ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Remotely Connect to AmazonS3 Bucket from macOS Command Line