Python + Hive on AWS EMR で貧者のログサマリ
Sep 14, 201422 likes6,707 viewsAI-enhanced description 1. Akira Chiku is an engineer who works on an engineering team. Their requirements include collecting between 10-20GB of data per day from various sources like Hadoop and Hive. 2. Data is collected from sources like Fluentd and parsed using Query String and stored in Hive. It is then processed and visualized. 3. Data can be stored in S3, proce
Programming AWS with Python
PyCon APAC 2013 で使った資料です。資料中に、デモで使ったスクリプトへのリンクもあります。
botoを使ってS3にファイルをアップロードする - 偏った言語信者の垂れ流し
何度もやったことあるのに、ブログに書いてなかったっぽいので書く。 Pythonからbotoを使ってAWSのS3にファイルをアップロードする方法。 試したPythonのバージョンは2.6。botoは2.0rc1 botoのインストール pipやeasy_installで入れればよい。 $ pip install boto S3へのバケットの用意 アップロード先のバケットを用意する。 botoのAPIで作成することもできるが、今回はAWSのコンソールから作成しておく。 S3のタブのBucketsから"Create Bucket"でバケット名を入力して作成。 今回は test-boto.nullpobug.com とした。(別にドメイン名になってなくてもよいが、CNAME割り当てでのアクセスを使うならドメイン名にする必要がある) アクセスキーの確認 AWSのAPIを利用するにはアクセスキーとシー
はてなブログ | 無料ブログを作成しよう
あの犬は友ですか敵なんですか おばさん何も知らんのですか 飼い犬タロになっているつもりで詠む「犬短歌」、2025年上半期の歌です。暑くなるとタロの歌心は減退するようです。気に入ってる歌の最後には＊マークをつけてます（／サキコとあるのは私名義の歌）。俳句も少し混じってます。 ◆ 一月 あの犬は友ですか敵なんですか お…
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - curlee/Cloudfront-Invalidator: Cloudfront Invalidation
How to purge CloudFront's cache
