BeautifulSoup -> IronPython <- C# - Nobuhisa's diary
Pythonの非標準ライブラリにBeautifulSoupというHTML/XMLを解析してくれるものがあります(http://www.crummy.com/software/BeautifulSoup/)。俗に言うスクレイピング、に用います。 以前それをIronPythonで利用しようとした時、当時のIronPythonが仕様的に不完全だったために使うことが出来ませんでした。 しかしIronPythonも着々と進歩してます。 リリースされて間もないIronPython 2.6では無事インポートすることができました。 今日の実験は、IronPythonを仲介者として、PythonのBeautifulSoupをC#で使おうというものです。 C#はXMLは簡単に扱えるのだけど、HTMLはそうはいかないのです。 IronPythonはPython標準のモジュールが付いてこないので、CPythonの
はてなブログ | 無料ブログを作成しよう
思いは言葉に。 はてなブログは、あなたの思いや考えを残したり、 さまざまな人が綴った多様な価値観に触れたりできる場所です。
BeautifulSoupを使ってYahoo! Searchをスクレイピング - bonlife
ウェブサイトのスクレイピングってだいたいすんごくツマンナイんだけど、時々どうしてもやらなきゃいけなくなるんだよね。そんな時には、 BeautifulSoup を使って楽々、スピーディーにスクレイピング！…っていつもとキャラ違います状態のbonlifeです。 Inspired by Scraping Yahoo! Search with Web::Scraper (でも、Yahoo! Search だったらスクレイピングせずにAPI使えば良くね？とか思ったのはきっと私だけでしょう。) Python の BeautifulSoup を使って、手短に書いてみました。Python不慣れな人でもなんとなく分かると思います。 import urllib2 from BeautifulSoup import BeautifulSoup def soup2unistr(soup): return ''.j
MOONGIFT: » タイトル・本文抽出クローラー「Webstemmer」:オープンソースを毎日紹介
これはやばい！凄すぎる。 現在進めようと思っているプロジェクトでは、サイト上の本文抽出が重要な技術になっていた。だが、それを一から開発していたのではあまりに時間がかかってしまう。さらに重要な技術ではあるが、それが売りと言う訳ではなかった。 そこで見つけたのがこのソフトウェアだ。まさに理想的な方法かも知れない。 今回紹介するオープンソース・ソフトウェアはWebstemmer、タイトル・本文抽出クローラーだ。 WebstemmerはPythonで作られたクローラーで、Webクローラー/レイアウト分析/テキスト抽出/URL DB操作/簡易的なテキスト抽出の5つの機能が提供されている。 動作原理については公式サイトを参考にして欲しいが、個人的にも考えていた（考えていただけ）方法に近い。学習時間が長いのが難点だが、複数台のPCで分散化できれば問題なくなるだろう。 特徴的なのは、特定の言語に左右される
BlogSlime – Just another WordPress site
コンテンツへスキップ 登録は無効化されました。
BlogSlime – Just another WordPress site
コンテンツへスキップ 登録は無効化されました。
Django meets stan - Doge log
誰も手を出してない領域。 それがstan。 Since writing this document I have defected. Not to the dark side, but instead to another Python framework: Django. Check it out if you haven't. Nevow implements some really nice ideas and Django doesn't offer anything to compete with LivePage, but when it comes down to capturing precious mindshare, fostering a community, producing quality documentation, and ultimately Gettin
lxmlを使ってあるURLから画像のURL一覧を取得する | スパムとか
ある人が、lxmlで検索をすると自分が上位だと言っているので邪魔をしてみよう。きっとある人のURLは汚いから勝てるに違いない? ネタは、あるサイトのイメージURL一覧を取得すること。あんまり、lxml自体は関係ないけど、lxmlは汚いHTMLのパースが非常に優秀なので、いろいろなところに対して試してみてください。 簡単にインストールするには コマンドラインからeasy_installを使ってください。非常に簡単です。 easy_install lxml easy_installを入れていない場合には easy_installが嫌いだったら、このへんからダウンロードしてインストールしてください。 実際の使い方サンプル いざ、使い方。任意のURLからイメージの一覧を作成する適当なコード import re import urllib2 from lxml impo
日経平均を表示する - 傀儡師の館.Python：楽天ブログ
2007.05.04 日経平均を表示する テーマ：プログラミング言語 Python を使う(339) カテゴリ：Python 日経平均 や 東証株価指数 (TOPIX: TO-kyo- stock Price IndeX) の予測を行うのに、ベースとなる日経平均等、株価情報をどこからとるか考える。最低限、欲しいデータは次のもの。 始値 高値 安値 終値 （前日比） （出来高） 前日比のプラスマイナスは計算から求めることができるので必須ではない。出来高はあった方がよいが、出来高まで取れるところは限られているので（たとえば QUICK Money Life や ケンレミ株式会社の株式指標のページなら各種指標の出来高をまとめてとってくることができる）、第一段階では省略。 最初はなるべく単純なところから始める。よって、始値、高値、安値、終値のみでやってみる。実際のところ、それだけで予測ができれば誰
sh1.2 pyblosxom : BeautifulSoup使ってみた
BeautifulSoup と PyRSS2Gen を使うとすごい簡単にRSSに対応できるんだね。 すごいな。 で、BeautifulSoupともPyRSS2Genとも関係ないけど、RSS対応する際に知ったことのメ モ。どっちも普通にPythonドキュメントに書かれてたんだけど今まで知らなかったな。 HTMLデータを取得するサイトがbasic認証されていたら Mechanizeかなんか使わないといけないのかなと思ったんだけど、実はurllibの FancyURLopener使ったらできるんだって。知らなかった。prompt_user_passwd()を オーバーライドして、アカウントとパスワードをタプルで返したらいい、と。: import urllib class MyURLopener(urllib.FancyURLopener): def prompt_user_passwd(self
sh1.2 pyblosxom : pythonでスクレイピング
HTML::Selector::XPath をリリース: blog.bulknews.net 川o・-・）＜2nd life - ruby のスクレイピングツールキット scrAPI を見て、pythonでもElementTreeを使ったらできるんじゃないかなと思ったけども、 ちゃんとしたXMLじゃないとparse時にエラーになってしまう。じゃあ、ElementTreeに 渡す前にHTMLをXHTMLに変換したらいいのかと思って標準ライブラリを探すも、どうや ら標準でそういうことをするライブラリはないらしい。googleさんにお尋ねしてみた所 下記のエントリを発見。 Python で HTML ファイルから情報を取り出すには - 傀儡師の館 - 楽天ブログ（Blog） まさに同じような悩みで色々探していらっしゃって、ここでBeautifulSoupを知りまし た。結構昔からあったモジュール
Python で HTML ファイルから情報を取り出すには - 傀儡師の館.Python：楽天ブログ
2006.10.22 Python で HTML ファイルから情報を取り出すには カテゴリ：Python 楽天ブログのアクセスログのページを ElementTree で処理しようと思ったのだが、 ExpatError: mismatched tag: line 244, column 2 のようなエラーが出て XML として解析することできない。ということで、あっさり別のやりかたを探すことにした。ちなみに Python の ElementTree は ruby の rexml より速いらしい。proto.xml の AbstractLightInfantry なユニットを調べる、というより ElementTree (Python) vs. REXML (Ruby)。REXML と ElementTree のパース時間。 プリミティブにやるならば、標準ライブラリに含まれている SGMLPar
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなブログ | 無料ブログを作成しよう
https://www.freia.jp/taka/blog/418
Domain Details Page