PythonでSeleniumを使い毎朝の業務を自動化させた - アウトプットして苦悩する
1. はじめに 私は業務で毎朝以下のルーティンを任されています 行程 : 使用するシステム : 業務内容 : 所要時間 ① : Aシステム : Bシステムにデータを送信(大体40のデータ) : 10秒 ② : Bシステム : 1データに対し1つのPDFを作成 : 3分 ③ : Aシステム : 1データに対し1つのPDFを添付して送信 : 30分 Aシステムはブラウザ上(IE専用)、Bシステムはjavaで作成されたシステムです 図化すると下記のような感じ (なんか透けてる) ①,②はすぐに終わるので良いとして、③はひたすらPDFを添付し続けるという苦行を30分間も強いられます。しかもAシステムは画面が遷移する度に「読み込み中」ポップアップが3秒程(長いときは5秒以上)表示されます。勉強してるPythonでseleniumを使って自動化してみました 本記事ではその際に手こずった点をあげていこう
やる夫と Python で学ぶ Twitter の OAuth - 宇宙行きたい
OAuth 調べてみたら難しくて理解出来なかったので， Python で標準ライブラリだけで 1 から書いてみました． ／ ＼ ／ _ノ ヽ､_ ＼ ／ oﾟ(（●）) (（●）)ﾟo ＼ twitter の OAuth 難しいお… | （__人__）' | ＼ ｀⌒´ ／ ＿＿＿_ ／⌒ ⌒＼ ／（ ●） （●）＼ ／::::::⌒（__人__）⌒::::: ＼ だからやる夫でやるお！ | |r┬-| | ＼ `ー'´ ／ Python のサンプルコードを付けていますが， 上から順に読めるようにおもいっきり手続き型で書いています． コメントで実際の処理の説明を書いています． Consumer Key と Consumer Secret の入手 ／￣￣＼ ／ u ＼ .＿＿＿_ |:
Pythonで１日のGoogle検索履歴の一覧を作成してGmailから送信する - “南船北馬”
今の私にとって（他の人もそうだと思いますが）、仕事プライベートに関係なく、Google検索は無くてはならないものですが、はたして１日にどのくらい検索しているのか知りたくて、リストを作成してみました。併せて前回のYahoo!天気情報のRSSと同様にGmailで送信しています。役に立つか分かりませんが、作成したコードを掲載します（スクリプトは何度も実行して成功しているものですが、実施は自己責任でお願いします）。尚、Google検索の履歴（Google Search History）はGoogleアカウントでログインしている状態で有効になります。 作成した時のポイントとしては Google Search History は RSS で取得出来るので、feedparserを利用した RSS は Basic認証がかかる為、urllibのFancyURLopenerを使用した RSSのURLは件数
Python で簡単なテキスト処理 (3) - Beautiful Soup を使ってスクレイピング
1. Beautiful Soup でデータを取得 気象庁の過去のデータから、特定の値を抽出したい。 Python で簡単なテキスト処理 (2) - データの抽出 においては、ブラウザ上でコピーした文字列 (データ) を、Python のソースコードに貼り付け、必要なデータを抽出した。 今回は、Python で Web にアクセスし、必要なデータを抽出してみる。 Python では、urllib2 を利用すると、 HTTP の POST メソッドを送信することができる。 cf. Python で POST - 掲示板の迷惑投稿を一括削除 ただし、urllib2 を使うのは面倒。代わりに、 Beautiful Soup を利用する。 cf. Panopticon :: Python :: BeautifulSoupを触ってみる 2. スクレイピングとは スクレイピングという言葉は、Ruby
Webstemmer（クローラーツール）
日本語サイトでは、具体的な性能は測定していませんが、 以下のようなサイトで正しく動くことがわかっています: アサヒ・コム Nikkei NET Mainichi INTERACTIVE Yomiuri On-line IT media 東京新聞 日刊スポーツ 信濃毎日新聞 livedoor ニュース 使いかた Webstemmer をつかったテキスト抽出は以下のようなステップになります: まず、特定のニュースサイトから種となる HTML ページを多数取得する。 取得したページのレイアウトを学習する。 別の日に、同一のニュースサイトから新しい HTML ページを取得する。 2. で学習した結果をつかって、新しい HTML ページから本文を抽出する。 1. および 2. のステップが必要なのは最初の 1回だけです。 ひとたびサイトのレイアウトを学習してしまえば、 あとはレイアウトが大きく変更さ
Python基礎文法最速マスター - D++のはまり日誌
↓に便乗してPython版も書いてみました。 Perl基礎文法最速マスター - Perl入門〜サンプルコードによるPerl入門〜 Ruby基礎文法最速マスター - Route 477 PHP基礎文法最速マスター - Shin x blog ほとんど上記の記事と同じような内容で書いたのでPython入門記事としては色々抜けていたりしますがご了承ください。 Pythonは現在3.x系がリリースされていますが本記事では基本的にPython2.6について書きます。 参考文献： 初めてのPython (asin:4873113938) Python Documentation Index http://www.python.org/doc/ Python 和訳Document http://docs.python.jp/2/ 0. 対話環境として使う 対話環境 pythonはそのまま実行すると対話環
Instant Hacking
インスタント・ハッキング Magnus Lie Hetland translated by jack_dul@mx13.freecom.ne.jp これは、プログラミング入門用の短い文章です。プログラムの実例はPython言 語によって書かれています。(もしあなたが既にプログラミング経験者であり、 Pythonについてのみ知りたいのなら、私 のinstantPython という記事を御覧下さい。)この記事は既に イタリア語、 ポー ランド語、日本語に訳されており、現在、韓国語に翻訳する作業が進行中 です。 このページは、どうやって他人のコンピューターに侵入するかなどについて書 かれているのではありません。私はその手のことに詳しくなんてないのでメー ルを送ってこないで下さい。ハッキングとは何のことなのかもっと知りたい人 はhackerethic.orgを参照してくだ さい。 注意: プログ
プログラミング言語/Python - プログラミングスレまとめ in VIP
どんな言語なの？ † Pythonの特徴として 純粋オブジェクト指向スクリプト言語 豊富なライブラリ 欧米で人気 無料エディターのIdleが付いてる などが挙げられますが、プログラミングをやったことのない方にはいまいちピンとこないかもしれませんね。 それでは、Google、Microsoft、Yahoo!、Youtubeなどで使用されていると聞いたら、少しは興味がわいてきませんか？ Pythonは開発者がもともと教育用の言語（ABCといいます）に携わっていたこともあって、初心者の方も覚えやすい。 ところがどっこい、超優れた標準ライブラリ・超超優れたサードパーティーのライブラリがある。 なのでPython一つで何でも出来てしまうのだ。 ↑ やってみたい！ でもどうすればいいの？ † それではPythonをインストールしましょう。以下ではWindows XPを想定して解説していきます。 まずは
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://kjirou.sakura.ne.jp/mt/2009/05/python_webstemmer_1.html