[B! AWS][Python] mahler-5のブックマーク

Spark + IPython環境をAmazon EMR上で構築し、簡単なData解析を動かして見る (第1回：環境構築編) - Qiita

Spark + IPython環境をAmazon EMR上で構築し、簡単なData解析を動かして見る (第1回：環境構築編)SparkEMRipython_notebookJupyter はじめに 2015/6にAmazon EMRでSparkが標準サポートされました。これにより、EMRでSpark Clusterを起動すれば、ものの10分ぐらいでSpark + IPythonの環境を構築できるようになりました。が、AWS ConsoleのEMRの設定UIが大きく変わったり、IPythonがJupyterになり一部設定方法が変わったり、それらの変化に各種Documentが追従していなかったりと、色々ハマッたので、設定方法と、IPython上でPysparkを動かす方法をチラシの裏しておきます(2015/11時点での情報です)。以下の3本立てでチラ裏してみたいと思います (第1回)Ama

mahler-5 2017/05/27

リンク

ゼロからはじめる Scrapy（AWS でお手軽データ分析その１/３） - akiyoko blog

Python で Web クローリング・スクレイピングするためのツールといえば、今や Scrapy が真っ先に候補に上がりますよね。 Pythonでクローリング・スクレイピングに使えるライブラリいろいろ - orangain flavor 「Pythonクローリング&スクレイピング」という本を書きました - orangain flavor PythonとBeautiful Soupでスクレイピング - Qiita Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド-posted with ヨメレバ加藤耕太技術評論社 2016-12-16 Amazon Kindle 楽天ブックスなどを見ると、Beautiful Soup4 や pyquery も有力候補に見えますが、Google Trends を見てみるとやはり「Scrapy」が一番人気っぽいです。目的

mahler-5 2017/05/05

リンク

Scrapy+AWS LambdaでWeb定点観測のイレギュラーに立ち向かう - 無駄と文化

この記事はクローラー／Webスクレイピング Advent Calendar 2016 の10日目の記事です。 9日目は @hotu_ta さん、11日目は @TakesxiSximada さんでした。 Web スクレイピングはイレギュラーとの戦いです。特にそれが Web 定点観測のためのスクレイピングであれば難易度はさらに高まります。スクレイピングしようとしたタイミングでサーバーが死んでいるかもしれないクローラーを書いていたときには気づけなかったバグが遅れて発動するかもしれない知らぬ間にスクレイピングしたいページの URL が変更されるかもしれないそんなイレギュラーに立ち向かうために、現在私が試している方法をまとめてみます。その前に「Web 定点観測」とは？ Web 定点観測とは、一言でいうと「一つの URL を定期的にスクレイピングして経時的な変化を追っていく行為」のこ

mahler-5 2017/05/05

リンク

Get started with the AWS CLI - AWS Command Line Interface

This chapter provides steps to get started with version 2 of the AWS Command Line Interface (AWS CLI) and provides links to the relevant instructions. Complete all prerequisites - To access AWS services with the AWS CLI, you need at minimum an AWS account and IAM credentials. To increase the security of your AWS account, we recommend that you do not use your root account credentials. You should cr

mahler-5 2017/04/11

リンク

[Python] AWSのサーバーレスアーキテクチャを使って、イベントドリブンなWebクローラーを作ってみる - Qiita

[Python] AWSのサーバーレスアーキテクチャを使って、イベントドリブンなWebクローラーを作ってみるPythonElasticsearchlambda ScrapyKinesis サーバーレスでイベントドリブンなWEBクローラーを作ってみる今ElasticSearchを勉強中なので、ESを使って何かできないかなと思い、Kinesis+Lambdaを使ったイベントドリブンなWebクローラーを書いてみました。実行環境 CentOS7 python 2.7 ワークフロー大まかな流れは以下の通りです。 1. Scrapy(ScrapingHub or AWS Lambda)でURLを抽出、KinesisストリームにPUT 2. KinesisストリームからAWS Lambdaに発火させる 3. Lambda関数からURLへ巡回し、データをElasticSearch Serviceへ流す

mahler-5 2017/04/11

リンク

Configuration - Boto3 1.34.133 documentation

Feedback Do you have a suggestion to improve this website or boto3? Give us feedback.

mahler-5 2017/04/10

aws
python

リンク

Pythonでスクレイピング - Scrapy入門最初の2歩目 - Qiita

背景 Python製のスクレイピングフレームワークであるScrapyの存在を最近知ったのですが、ちょっと触ってみた感じ最強でした。具体的な良い所としては以下が挙げられます。いくつかの設定＋簡潔な記述だけでスクレイピング処理が書けるプログラムベースなのでいざとなれば複雑な処理も書ける Scrapy Cloud というクラウドサービスと連携しているため、作成したクローラをコマンド一つでデプロイ＆実行できるクラウドサービスを使えばスケールも簡単、スケジューリング機能、統計情報や監視もついている概要と導入には以下の記事が大変参考になります。 Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ手間をかけずに実務で使えるクローラーの作り方 - ITANDI BLOG この記事の目的概要と導入に関しては上記の記

mahler-5 2017/01/28

リンク

Amazon Product Advertising APIを使って、「Flex × Python」からAmazonの商品データの検索するアプリを作ってみた - りょうのはてな

こんにちわ！兄貴とTwitter上でマジレス兄弟喧嘩をしたRyoAbeです。今回は何を作ったかと言いますと表題にある通り、 AmazonのAPI(Product Advertising API)を使った商品データの検索出来るアプリです。 (ほんとただそれだけですｗ) かるーくAPI触ってどんな感じか探るだけだったんですが、意外に手こずっちゃって、おかげでけっこう勉強になったんで Blogにまとめがてら載せることにしました！ ◎そもそもProduct Advertising APIってなんぞやって話から Product Advertising API とは Product Advertising API は、Amazon の商品情報や関連コンテンツをプログラムを通してアクセスできるサービスを提供することで、Web 開発者の皆様が、ご自分の Web サイトでAmazon の商品を紹介するこ

mahler-5 2017/01/25

リンク

【Mac】Pythonのインストール+pyenvの使い方について - TASK NOTES

先日、AWS CLI 1.6.8にアップグレードしたらエラーで使えなくなったという記事を書きましたが、確認したい事があったので、システムデフォルトのPythonを使うのをやめて pyenv でローカル環境にインストールして使うことにしました。 pyenvとは Pythonのバージョン管理ツールです。複数のバージョンをインストールしてプロジェクト毎に使い分けたりする事のできる、Rubyでいう rbenv と同じようなものです。 https://github.com/yyuu/pyenv pyenvのインストール Homebrewを使ってインストールします。Homebrewのインストールはコチラ $ brew install pyenv ==> Downloading https://github.com/yyuu/pyenv/archive/v20141211.tar.gz ########

mahler-5 2016/11/06

リンク

psycopg2によるPython2.7からのAmazon Redshiftアクセスサンプル | DevelopersIO

2015年も本日で最終日となりました。読者の皆様におかれましては、しっかり仕事を納めつつ年末(及び年始)を過ごされていますでしょうか。そんな私も年末は仕事を無事納める事が出来、年末を落ち着いて過ごす傍らで社内で個人的に取り組んでいた可視化事案の仕組みを全面的にPythonで置き換えるという作業をちょいちょい進めておりました。可視化に関する作業の中にはAmazon Redshiftへのアクセスを行なう部分も含まれていますが、この部分についてもPythonで利用出来るライブラリを使って処理を実現する事が可能です。そこで当エントリではPythonからライブラリ『psycopg2』を使ってAmazon Redshiftへのアクセスを行なう際のサンプルコードをまとめてみたいと思います。(psycopg2はPythonで最もポピュラーなPostgreSQLライブラリです。Amaozn Redshif