2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る これはクローラー／スクレイピング Advent Calendar 2014の7日目の記事です。 Pythonでクローリング・スクレイピングするにあたって、いろいろなライブラリがあるので一覧でまとめてみます。 以下の4つのカテゴリにわけて紹介します。 Webページを取得する Webページからデータを抜き出す Webページの自動操作 総合的なフレームワーク なんでこれが載ってないの？この説明はおかしい！などありましたらお気軽にお知らせください。なお、この記事はいろいろなライブラリを紹介することを目

超簡単。 $ pip install uwsgi 以上ｗ！ インストールはさくっとできたので、動かしてみる。ドキュメントを参考に、簡単なFlaskアプリを書いて試す。 [python] #!/usr/bin/env python # examle.py from flask import Flask app = Flask(__name__) @app.route(‘/’) def index(): return "<span style=’color:red’>I am app 1</span>" [/python]

PythonでAPIを開発できる環境を作りたかったので、 色々試してみました。 いつもはPHPを使っていたので、webサーバはお手軽にApacheを使っていたのですが、 業務ではデータ分析をしているため、 今後はPythonを使う予定なので、さっそくPythonのwebサーバを作っていきたいと思います。 Pythonをwebから使う際には以下のようなサーバがあるのですが、 uWSGIが良いとのブログを発見したのでやってみます。 Python を Web 上で使うには SimpleHTTPServer Apacheでmod_python FastCGI WSGI 便利で超強力なWSGIサーバー uWSGI を使ってみよう こちらの記事を参照したのですが、 難しい内容なので、そこまで理解してませんので、 詳しくは檜山正幸のキマイラ飼育記のブログをみてください。 とりあえず、webサーバはNgi

PythonからTwitter APIへのアクセス。Python2, 3両対応。 python-twitter というのもあるけど、基本はHTTP Requestを送ってJSONを得るだけなので、わざわざTwitter専用のライブラリを使うことも無いと思って自分で書いてみた。OAuth認証だけは別途ライブラリ使う。 OAuthのライブラリ Twitterへのアクセスには OAuth認証 というのが必要。 認証方式は非常にややこしいので、凡人はライブラリを使う。 今回は「人間のためのOAuth」をもって自認する Requests-OAuthlib を使う。他のライブラリがどんな生物を想定しているのかは知らない。 アプリケーション登録 Twitter APIにアクセスするにはまずアプリケーション登録が必要。これを済ませると Consumer Key Consumer Secret という2つの

2014/07/07 追記 手前味噌ですが、Pythonの環境については下記も参考にしていだければと 10分でわかるPythonの開発環境 Pythonの開発環境についてもう一度考えてみる Pythonでパッケージ管理といえばpipですね。 pipを入れようとしたら、以前なら「setuptools or distribute をインストール→easy_install pipを叩く」という手順でしたが、いつの間にかセットアップが楽になってました。 get-pip.pyというのを実行すれば一発で入るらしい。 なので、下記のコマンド一つでインストール可能になりました。

今回は子ノードをトラバースしてみます。 Sample.xml <?xml version="1.0" encoding="UTF-8"?> <cars> <car> <name>乗用車</name> <price>150</price> </car> <car> <name>トラック</name> <price>500</price> </car> <car> <name>オープンカー</name> <price>200</price> </car> </cars> minidom3.py # _*_ coding:UTF-8 _*_ import xml.dom.minidom def walk(node): n = node.firstChild while n: print n.nodeName n = n.nextSibling doc = xml.dom.minidom.pars

ElementTreeはpythonでXMLを扱うためのライブラリです。バージョン2.5からはpythonに標準で内蔵されています。 このライブラリを使うと、XMLをパースしてプログラム内で利用しやすい形に変換したり、XMLファイルを生成したりすることが出来ます。そこで今回は、XMLをパースして利用する方法についてまとめたいと思います。 準備 Python2.5以降にはElementTreeが標準で内蔵されているため、パッケージを個別で入手する必要はありません。 以下のようにインポートするだけで利用できます。 from xml.etree.ElementTree import * Python2.5より古いバージョンを利用している場合は、 http://effbot.org/zone/element-index.htm からパッケージを入手し、以下のようにインポートして下さい。 from

ここではPythonにおけるXML解析 (パース)を解説します。 DOM DOMを用いて指定のXMLファイルを解析します。まずは下記のようなファイルを用意しましょう。 <?xml version="1.0" encoding="UTF-8"?> <python-izm> <category> <name>introduction</name> <url>https://www.python-izm.com/introduction/</url> </category> <category> <name>basic</name> <url>https://www.python-izm.com/basic/</url> </category> <category> <name>advanced</name> <url>https://www.python-izm.com/advanced/</

Pyhton の XML/HTML パーサ・ライブラリ BeautifulSoup を使って、Google の検索結果を整形する Python スクリプトを書いたところ、Python の日本語処理で UnicodeEncodeError、UnicodeDecodeError ではまった。いい機会なので、Python で日本語処理に関して、自分なりに整理してみる。 この記事は Windows での Python 2.5.1 で動作確認している。Python 3.x では改善しているかもしれないので、この記事を読む方はご注意を。Python 3.x については時間があれば確認したい。というより、早くバージョンアップしなさい！という感じですが。 [2009.09.22 追記] Python 3.0 で Unicode まわりがかなり修正かかっていました。この記事を読む方は、Python 2.5.

運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します⁠。個別にライセンスが設定されている記事等はそのライセンスに従います。

CentOS のサーバで python を使おうとしたら… [paraches@centos ~]$ python Python 2.4.3 (#1, Sep 3 2009, 15:37:37) [GCC 4.1.2 20080704 (Red Hat 4.1.2-46)] on linux2 Type "help", "copyright", "credits" or "license" for more information. >>> 2.4.3って、ちょっと古いな… というわけで、Python 2.6.6 をインストールしてみた。 Python で zlib 使えるようにするために zlib をインストール。yum で OK！ [paraches@centos python26]$ yum install zlib zlib-develあ、zlib は既にインストールされてた…。z

Flaskへ ようこそ - Flask v0.5.1 documentation http://a2c.bitbucket.org/flask/ のサイト内のチュートリアルを基に試してみます。 但し、日本語に訳されてるこのバージョンは古く、最新版のFlaskは、0.9です。 Welcome to Flask - Flask 0.9dev documentation http://flask.pocoo.org/docs/ しかし、チュートリアルの内容は、変わっていないようでした。 MacBook AirのMac OSXの10.7.4の環境で行います。 まず、virtualenvの環境構築を行います。 Flaskのインストールについて - virtualenv http://a2c.bitbucket.org/flask/installation.html#virtualenv Flaskの

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert