pythonでslack APIを試してみる - kazu22002の技術覚書
slackを使っているが、もっと情報を集めるツールとしてみたい。 メールで送信をしようとしたが、知識不足でドメイン周りでエラーがひたすら出た。（gmailです） まぁ、内部環境だからまともなドメインなんて取得してないですし。。。 と、そこでslackに投稿して処理の完了メッセージをやりたいな。と。 Slack APIを使ってみる。 とりあえず投稿するところまで。 APIです。 API Methods | Slack slackを利用していれば、簡単にできると思います。 手順としては、 Tokenの取得 チャンネルIDの取得 ポスト送信プログラム テスト Tokenの取得 ログインをした状態で以下のページで、参照 Slack Web API | Slack 下のほうでAuthenticationからTeamの「Create token」ボタンからtoken作成 Tokenができたら、あとで使
python selenium Chrome Web Driver. How to Proxy IP/ Where to buy
So i want to make Selenium Project where I need to change my ip to to a specific Cities.For example one in Dallas, One in NewYork, One in Los Angles. I wanted to know how do I apply a proxy to the chrome web driver using PYTHON. If you guys can show me an example code that would be very helpful. I have seen others with Firefox web driver but not the chrome web Driver. Also where can i buy a Dedica
How do I set proxy for chrome in python webdriver?
I'm using this code: profile = webdriver.FirefoxProfile() profile.set_preference("network.proxy.type", 1) profile.set_preference("network.proxy.http", "proxy.server.address") profile.set_preference("network.proxy.http_port", "port_number") profile.update_preferences() driver = webdriver.Firefox(firefox_profile=profile) to set proxy for FF in python webdriver. This works for FF. How to set proxy li
Selenium Web DriverのPythonバインディングを使ってブラウザを操作する - Qiita
この記事は Selenium/Appium Advent Calendar 2014 の11日目の記事です。 昨日の記事は @totutiteta さんのRobot drives on the web: Robot Framework & Selenium2Library でした。 今日はSeleniumのPythonバインディングのライブラリ selenium を使ってFirefoxを操作する方法をまとめて見ました。 またseleniumを使って操作するためのライブラリを作ってみました。 SeleniumのPythonバインディングのライブラリ selenium でFirefoxを操作してみる この記事を書いた時点での selenium のversionは 2.44.0 が最新の用です。(おそらく2.35未満のversionでは以下のcodeは動作しないと思います) 起動 まずはブラウザ
Pythonで文字列の日付操作 - Qiita
Pythonで、文字列で日付などを受け取って処理したいことがよくあるのですが、毎回ググっているので自分用にまとめておきます。 私の場合は、文字列→datetime→文字列とすることで処理しています。 前提 日付を文字列で受け取ります。 例えば以下の様な場合があると思います。 2014-10-16 2014/10/16 20:29:39 これらの１日後が欲しい、とかいう場合にどうするかという話です。 文字列→datetime まず文字列をparseします。 import datetime #1の場合 date1 = '2014-10-16' d = datetime.datetime.strptime(date1, '%Y-%m-%d') #2の場合 date2 = '2014/10/16 20:29:39' d = datetime.datetime.strptime(date2, '%Y
ジェネレータ式で日付をループ - 千年の孤独
１日ずつ日付をずらして処理するばあい。 Javaだとこうかな？ Calendar cal = Calendar.getInstance(); for (int i = 0; i< 10; i++) { cal.add(Calendar.DAY_OF_MONTH, 1); System.out.println(cal.getTime()); } これがPythonでジェネレータ式を使うとこんな風にかけました。 origin_day = datetime.date.today() for day in (origin_day + datetime.timedelta(x) for x in range(10)): print day
Seleniumクイックリファレンス
Selenium API(逆引き) 利用目的からSelenium APIを探せます Selenium Java(ABC順) ABC順にJavaのSelenium APIを探せます Selenium Python(ABC順) ABC順にPythonのSelenium APIを探せます Selenium Ruby(ABC順) ABC順にRubyのSelenium APIを探せます Appium API(逆引き) 利用目的からAppium APIを探せます Fatal error: Uncaught Google_Service_Exception: Error calling GET https://www.googleapis.com/analytics/v3/data/ga?ids=ga%3A138132118&start-date=7daysAgo&end-date=yesterday&
python2系(Windows)のコマンドライン引数で日本語を取り扱う
This post is also available in: English-US (英語) Windows環境でPython2系(Python3系はまた文字コードの取り扱い方法が異なる)を使って開発していて、コマンドライン引数で日本語を取り扱う際に少し困ったので、メモとして書いています。 そもそものややこしい原因は、Windowsでは "cp932" という文字コードで Shift_JIS のWindows版みたいな設定になっている事が原因で、また python での日本語扱う際のエンコード/デコードのややこしさもあります。 以下の例では、コマンドプロンプト使ってます。 設定にもよると思いますがGit Bashとか使うとエラーが出ました。 #sample.py #!/usr/bin/env python # coding: utf-8 import sys args = sys.arg
Pythonでスクレイピング 基本 - メモ
imabari.hateblo.jp Beautiful Soup Documentation — Beautiful Soup 4.4.0 documentation ウェブページをHTMLで保存し、サーバーへのアクセス回数を減らす 初回アクセス時にHTMLファイルを保存 from urllib.request import urlopen from bs4 import BeautifulSoup url = 'アドレス' html = urlopen(url).read() soup = BeautifulSoup(html, 'html.parser') # soup = BeautifulSoup(html, 'html5lib') # prettifyで整形されたファイルで保存 with open('test.html', mode = 'w', encoding = 'utf
Pythonでかんたんスクレイピング （JavaScript・Proxy・Cookie対応版）
ソース 以下のようになると思います． スクレイピングしたいページのURLと出力ファイル名を指定すると，ページのタイトルなどがJSON形式で帰ってくる仕組みです． 関数scrapingが本体です． import sys import json import requests from bs4 import BeautifulSoup import codecs def scraping(url, output_name): # get a HTML response response = requests.get(url) html = response.text.encode(response.encoding) # prevent encoding errors # parse the response soup = BeautifulSoup(html, "lxml") # extra
Python 日付・時刻ライブラリー 逆引きリファレンス - Qiita
Pythonで日時を扱うライブラリーについて、逆引き風にまとめてみました。 この記事の内容は、正確を期するように注意して記述していますが、公式の情報ではありません。 正確な情報をお求めなら公式リファレンス（参考資料#1）を参照してください。 想定する読者 ほとんどが標準モジュールについてのことですので、Python初心者の方か、日時ライブラリーのことをあまりご存じない方向けです。 （私自身まだPython歴が浅いので。） 前提 Python2はv2.7.10、Python3はv3.5.1で確認しています。 （Anaconda 4.0.0 Windows 64bit版を使用。） Python2とPython3を特に個別に扱っていないものは、共通で使えるものです。 その場合、printについてはカッコつき表記で統一し、実行結果はPython3のものを採用しています。 サンプルコードは、主に対話
Python3でSQLite3を使う – 基本操作からエラー処理までサンプルコード付 | Crane & to.
WEBのシステム開発はPHPを使用していますが、データ解析等のため Python3 の研究を始めました。Python3 は日本語の情報がとても少ないので、エンジニアや学生の皆さんに役立ちそうなことをブログ記事として共有できればと思います。 この記事では Python3 で SQLite3 に接続する方法、エラー処理（例外処理）、サンプルによるCRUD（※）、PHPer向け注意点についてまとめました。なおサンプルは Django 等、特定フレームワークの ORM ではなく、SQLの直接実行例です。 MySQL は Python3でMySQLを使う – 基本操作からエラー処理までサンプルコード付を参照ください。 ※ CRUD とは Create（生成）、Read（読み取り）、Update（更新）、Delete（削除）の略です。SQLite の場合Read に相当するのは主に Select 文に
Pythonで色々なデータベースを操作する - Qiita
# -*- coding: cp932 -*- # mysqlの操作サンプル #easy_install mysql-connector-python import mysql.connector try: cnn = mysql.connector.connect(host='localhost', port=3306, db='Sample001', user='root', passwd='root', charset="cp932") cur = cnn.cursor() #試験データの整理 pref_cd = 100 cur.execute("""DELETE FROM t01prefecture WHERE PREF_CD >= %s""" , (pref_cd,)) cnn.commit() print("単純なSELECT文=========================
Python による Web スクレイピング - RAMBO
Web スクレイピングとは、プログラムによって自動的に Web から情報を取得する技術のことを指します。 本稿では、Python によって Web スクレイピングをする際の注意点、およびその方法について記載します。 まず、Web スクレイピングについて Wikipedia から引用します。 ウェブスクレイピング（英: Web scraping）とは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。ウェブ・クローラー[1]あるいはウェブ・スパイダー[2]とも呼ばれる。 通常このようなソフトウェアプログラムは低レベルのHTTPを実装することで、もしくはウェブブラウザを埋め込むことによって、WWWのコンテンツを取得する。 ウェブスクレイピングは多くの検索エンジンによって採用されている、ボットを利用してウェブ上の情報にインデックス付けを行うウェブインデクシングと密接な関係がある。
Selenium WebDriverでFirefoxをプライベートウィンドウ／Chromeをシークレットモードで起動する方法・言語はpython
Seleniumでは初期状態でブラウザを起動する Seleniumでブラウザを起動する際、デフォルトで新しいプロファイルを使用してブラウザを起動します。 そのため、わざわざ Firefoxのプライベートウィンドウモード、Google Chromeのシークレットモードを指定して起動することなく、プライベートウインドウモード（シークレットモード）でブラウザを起動していることと同様の状態でブラウザが立ち上がっています。 ですが、この記事では、強制的に Firefoxのプライベートウィンドウモード、Google Chromeのシークレットモードを指定したうえで起動したい、という方法を解説します。 ちなみに、言語は Pythonです。 Selenium WebDriverで Firefoxをプライベートウィンドウで起動する方法・言語はpython Firefoxをプライベートウィンドウで起動するサン
Beautiful Soupを利用してPythonでスクレイピングを行う環境構築方法の解説
PythonのBeautiful Soupを利用してスクレイピングを実行 Beautiful Soupとは？ 「Beautiful Soup」は、スクレイピングに特化した機能を持っている Pythonのライブラリです。 「Beautiful Soup」は、スクレイピングに特化した機能を持っているため、スクレイピングによる情報の取得が簡単な記述で取得できるようになります。 「Selenium WebDriver、Pythonをインストールしブラウザ自動操作の環境構築手順のまとめ」で、Seleniumの記事を書いていますが、Seleniumでブラウザを自動操作しつつ、スクレイピングをしていく処理を構築する上で、BeautifulSoupは強力なツールになってくれます。 Pythonでスクレイピングの処理を構築する場合は、ぜひとも利用したいライブラリですね。 この記事では、Windows10の環
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to use chomedriver with a proxy for selenium webdriver?
Python で HTML をパースする (Beautiful Soup)
Pythonを実行しているOSの判別 - Qiita
Pythonをコマンドラインで実行。全角文字（日本語）を引数にする場合の対処方法
