[B! python] ram1009のブックマーク

Boto3(Python)で"Service Resource"を使ってみた(Lambda) | cloudpack.media

こちらでPythonのLambdaファンクションとしてSQSにエンキューするコードを "API Gateway → Lambda → SQS"でJSONデータをエンキューするこちらでデキュー(Recieve & Delete)するコードを書きました。 SQSのメッセージをLambdaで5分おきに処理する(Scheduled Event) その時は、下記のようにClientを使っていたのですが、 client = boto3.client('sqs') 次のService Resourceというものを使う方法もあり sqs = boto3.resource('sqs') こちらの方が筋が良さそうだったので、上述のLambdaファンクションを Service Resourceを使った形に書き換えてみました。 SQSにエンキューするLambdaファンクション import json port

ram1009 2018/10/30

リンク

PythonでWebスクレイピングする時の知見をまとめておく - Stimulator

- はじめに - 最近はWebスクレイピングにお熱である。趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。追記 2018/03/05：大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ

ram1009 2018/10/22

リンク

私たちはいかにして環状線で”悪さをする列車”を捕まえたか | プログラミング | POSTD

文：Daniel Sim　分析：Lee Shangqian、Daniel Sim、Clarence Ng ここ数ヶ月、シンガポールのMRT環状線では列車が何度も止まるものの、その原因が分からないため、通勤客の大きな混乱や心配の種となっていました。私も多くの同僚と同じように環状線を使ってワンノースのオフィスに通っています。そのため、11月5日に列車が止まる原因を調査する依頼がチームに来た時は、ためらうことなく業務に携わることを志願しました。鉄道運営会社SMRTと陸上交通庁（LTA）による事前調査から、いくつかの電車の信号を消失させる信号の干渉があり、それがインシデントを引き起こすことが既に分かっていました。信号が消失すると列車の安全機能である緊急ブレーキが作動するため、不規則に電車が止まる原因となります。しかし8月に初めて発生した今回のインシデントは、不規則に起こっているように見えるた

ram1009 2017/02/28

リンク

受け入れテストの自動化～ OpenCVの「眼」で捉え、Pythonの「脳」が思考し、Appiumの「指」で動かす - Speaker Deck

2017/02/03 JaSST’17 Tokyo

ram1009 2017/02/21

リンク

Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ

はじめにこんにちは、データ分析部の久保 (@beatinaniwa) です。今日は義務教育で教えても良いんじゃないかとよく思うWebクロールとスクレイピングの話です。私自身、日頃は社内に蓄積されるニュース記事データや行動ログをSQLやPythonを使って取得・分析することが多いですが、Web上にある外部データを使って分析に役立てたいというシーンはままあります。単独のページをガリガリスクレイピングしたいときなどは、下の1年半ぐらい前の会社アドベントカレンダーに書いたような方法でやっていけば良いんですが、いくつもの階層にわかれたニュースポータルサイトやグルメポータルサイトを効率よくクロール+スクレイピングするためには、それに適したツールを使うのがすごく便利です。 qiita.com そこでPython用スクレイピングフレームワークScrapyの登場です。 Scrapy | A Fast