PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
Python: ソケットプログラミングのアーキテクチャパターン - CUBE SUGAR CONTAINER
今回はソケットプログラミングについて。 ソケットというのは Unix 系のシステムでネットワークを扱うとしたら、ほぼ必ずといっていいほど使われているもの。 ホスト間の通信やホスト内での IPC など、ネットワークを抽象化したインターフェースになっている。 そんな幅広く使われているソケットだけど、取り扱うときには色々なアーキテクチャパターンが考えられる。 また、比較的低レイヤーな部分なので、効率的に扱うためにはシステムコールなどの、割りと OS レベルに近い知識も必要になってくる。 ここらへんの話は、体系的に語られているドキュメントが少ないし、あっても鈍器のような本だったりする。 そこで、今回はそれらについてざっくりと見ていくことにした。 尚、今回はプログラミング言語として Python を使うけど、何もこれは特定の言語に限った話ではない。 どんな言語を使うにしても、あるいは表面上は抽象化さ
Dropboxは全部Pythonで信頼性の高いソフトウェアを作った（前編）～PyCon APAC 2013
Pythonユーザーが集まり、情報交換し、交流するためのカンファレンス「PyCon APAC 2013」が9月13日、14日に都内で開催されました。PyCon APACはこれまでシンガポールで開催されており、今回初めて日本で開催されました。 Pythonは日本ではあまり利用事例が多くありませんが、海外ではGoogleやDropboxなどで使われていることが知られ、人気のあるスクリプティング言語の1つです。Pycon APAC 2013の2日目の基調講演には、そのDropboxの3番目の社員であるRian Hunter氏が登壇、Dropboxの社内事例も交えてPythonの大規模開発について紹介しています。 基調講演の内容をダイジェストで紹介しましょう。 One Million Lines of Python このカンファレンスに呼んでいただけて大変光栄です。日本には初めて来ました。 僕が初
PythonでWebAppの開発に必要なN個のこと
元ネタ あるプログラミング言語で実際にWebAppを開発できるようになるまで、何が必要だろうか。言語仕様の習得は終えているとしよう。おそらく、最低限以下のような知識が必要だと思われる。とりあえずPythonについて知っていることを書いた。 パッケージマネージャ まずライブラリの管理。モジュールをインストールし、可能であればバージョンを固定し、適切にロードする機能が必要だ。 Pythonの場合は pip というPyPIクライアントでライブラリをインストールする。ライブラリパスの設定は virtualenv で行う。 アプリケーションサーバー Webサーバへのインターフェイスとしては、WSGIという仕様がある。WSGIに準拠したツールキットとしてWebObやWerkzuegなどがあり、サーバーには標準ライブラリのwsgirefやwaitress、gunicornなどがある。 本番環境ではgun
はてなブックマーク記事のレコメンドシステムを作成 PythonによるはてなAPIの活用とRによるモデルベースレコメンド - データ分析がしたい
私は情報収集にはてなブックマークを多用しており、暇な時は結構な割合ではてなブックマークで記事を探してます。しかし、はてなブックマークは最新の記事を探すのは便利ですが、過去の記事を探すにはいまいち使えません。個人的には多少過去の記事でも自分が興味を持っている分野に関しては、レコメンドして欲しいと感じてます。 ありがたいことにはてなはAPIを公開しており、はてなブックマークの情報を比較的簡単に取得できます。そこでこのAPIを利用して自分に合った記事を見つけるようなレコメンド機能をRとPythonで作成してみたいと思います。 利用するデータは、はてなAPIを使って収集します。具体的には、はてなブックマークフィードを利用して自分のブックマークしているURLを取得し、そのURLをブックマークしているユーザをエントリー情報取得APIを用いて抽出し、そのユーザのブックマークしているURLを収集します。こ
Django 1.4のタイムゾーン - メモ置き場
Django 1.4からDateTimeFieldのタイムゾーンの扱いが変更されている https://docs.djangoproject.com/en/dev/releases/1.4/#support-for-time-zones いくつか警告やエラーに遭遇したので、気がついた挙動をまとめてみる 動かした環境は OSX 10.7.5、Python 2.7.2、Django 1.4.1、MySQL 5.5、MySQL-python 1.2.3 from django.conf import settings import pytz print settings.TIME_ZONE #=> Asia/Tokyo # datetime.nowで取得される日時はsettings.pyのTIME_ZONEの時間が取得されるが、datetimeオブジェクトはtzinfoは保持していない now
シンプルで覚えやすい仕様，パワフルなPythonのWebアクセスモジュール request | TRIVIAL TECHNOLOGIES on CLOUD
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー Pythonには「後方互換性を大切にする」というモットーがあって，時にはそれが裏目に出ることがある。PythonでWebにリクエストを送る時の手法は，目的に応じて複数存在するが，これも後方互換性を守るがために起こっている現象といえる。当初はシンプルな機能を持つモジュールが利用されていて，その後より高度な機能を持つモジュールが追加されたのだが，後方互換性を守るために古いモジュールが残されているのだ。 たとえば，普通にhtppでGETリクエストを送って結果を取得するなら簡単で from urllib import urlopen src = urlopen('http://www.exam
Python Tutor code visualizer: Visualize code in Python, JavaScript, C, C++, and Java
Python Tutor: Visualize Code and Get AI Help for Python, JavaScript, C, C++, and Java Python Tutor is designed to imitate what an instructor in an introductory programming class draws on the blackboard: Instructors use it as a teaching tool, and students use it to visually understand code examples and interactively debug their programming assignments. Quick links: Documentation and unsupported fea
Pythonのバージョン切り替えでハマった | jekylog
$ sudo python_select python27 sudo: python_select: command not found あれ？ググっても記事は古いけど上記のようにして切り替えてるのに。とりあえず「python_select command not found」でググると簡単に解決方法が見つかった。 python_selectは死んだ - 彼女からは、おいちゃんと呼ばれています どうやらport selectで切り替えるらしい。ってかそういう風に切り替えてたけどサッパリ忘れてる。 使用可能なPythonのバージョンを確認する 上記の参考サイトのまんま打ってみる。 $ port select --list python Available versions for python: none python25 (active) python25-apple python26-a
Real-time Unified Data Layer for Analytics, Search and AI
Your Unified Data Layer for Analytics, Search, and AI From Ingest to Insights in Real Time "We needed a solution that could watch, record and analyze production in real time. CrateDB gives us the freedom to be cumulative and scale limitless - we found no alternative solution with such simplicity and efficiency.” "Working with CrateDB brings positive outcomes. The ingestion and throughput have very
Subversionの無視対象を追加する - アーユーレディ？
修正するファイル ~/.subversion/config 手順 97行目あたり [miscellany] セクションの # global-ignores = *.o *.lo *.la *.al .libs *.so *.so.[0-9]* *.a *.pyc *.pyo のコメントを解除して、 global-ignores = .project nbproject Gemfile.lock #*.o *.lo *.la *.al .libs *.so *.so.[0-9]* *.a *.pyc *.pyo のようにする 参考URL Subversionで無視パターンを指定 - てんぷらメモ
Code Logging : Google App Engine(Python)でログを日本時間に変更
2011年01月02日18:34 カテゴリ Google App Engine(Python)でログを日本時間に変更 Tweet Google App Engine(Python)にて、日本のタイムゾーンでログを出力する方法です。ここで紹介するのは、Pythonのログモジュールである「logging.Formatter」を継承したクラスを作成する方法です。なお、今回UTC時間から日本時間に変更するのに、「pytz」というモジュールを利用しています。ただし、このモジュールは日本時間以外のタイムゾーンにも対応しているため、複数のファイルから構成されます。もし、もっと軽量のものが望ましい場合は、独自で実装する必要があります。今回のディレクトリ構成は以下のようになります。 logging_sample ├ app.yaml ├ formatter_extras.py ├ main.py └ pyt
スクレイピングするなら ScraperWiki 使うといいよ - ヤルキデナイズドだった
Web ページからデータを抽出してデータベースに突っ込むことに性的興奮を覚えるみなさん、 ScraperWiki 使うとキモチイイですよ。以上です。 そうではないみなさんには少々の説明が必要かと思いますので少々書きます。 ScraperWiki はスクレーパ（Web ページをスクレイピングするスクリプト）とスクレイピングで得られたデータを共有しようぜっという Web サービスです。Wiki と名が付いていますが Wiki っぽいページ構成になってるわけではなく、スクレーパやデータを誰でも編集できるようにして成果を共有するという理念が Wiki と共通しているのが由来みたいです。 ScraperWiki を使うとスクレーパを作るのがラクになります： Web ベースのエディタでスクレーパを書き、その場で実行できる PHP、 Python または Ruby が使える（HTML パーサなどのモジュ
oinume journal
RaycastにはScript Commandsという機能があり、ずっとずっと気になっていたのでGW中に重い腰を上げて試してみた。最近会社の人にRaycastをオススメすることが多くなってきたのだけれども、「Raycast歴1年以上経つのにScript Commandsも使ったことないの？」みたいに後ろ指差されないようにするためにも... Script Commandsとは？ 簡単にいうとCUIのコマンドをRaycastから呼び出せるというただそれだけのものっぽい。「っぽい」というのは単純に自分がちゃんと調べてないだけです。はいテキトーですいません。 なにを作るか？ Hello Worldを出力するだけのScript Commandsを作っても仕方がないので、よく自分でやっている単純作業を自動化するスクリプトを考えてみた。結果として生まれたのは、以下のような beforeの文字列をafte
GAEでPythonを始めるときに知りたい4つのまとめ
if ( $blog == " Webエンジニアのためのライフハック " ) { print " 1-byte.jp "; } ホーム1-byte.jpとは 書いてるヒトは 最近、とても気になっていることがあります。 それが”Google App Engine + Python”です。 元々、Pythonには興味がありました。 オライリーのPython入門も読破しました。 10日でおぼえる Python 入門教室も5日まではやりました。 しかし、そこで終わりました…。 CakePHPという慣れ親しんだ言語とフレームワークがあったので、そちらに走ってしまいました。 ですが、私はPythonistaに憧れるPHPerです。 ここいらで一つ、重い腰を挙げてPythonの勉強を始めることにしました。 Pythonを勉強する一つの強い理由付けとして、”Google App Engine“の存
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
言語処理100本ノック 2015
サービス終了のお知らせ
Erratic problem with App Engine when writing files directly to the blobstore
On the google app engine, how do I change the default logging level of the dev_appserver.py?
Google Code Archive - Long-term storage for Google Code Project Hosting.