pythonでslack APIを試してみる - kazu22002の技術覚書
slackを使っているが、もっと情報を集めるツールとしてみたい。 メールで送信をしようとしたが、知識不足でドメイン周りでエラーがひたすら出た。（gmailです） まぁ、内部環境だからまともなドメインなんて取得してないですし。。。 と、そこでslackに投稿して処理の完了メッセージをやりたいな。と。 Slack APIを使ってみる。 とりあえず投稿するところまで。 APIです。 API Methods | Slack slackを利用していれば、簡単にできると思います。 手順としては、 Tokenの取得 チャンネルIDの取得 ポスト送信プログラム テスト Tokenの取得 ログインをした状態で以下のページで、参照 Slack Web API | Slack 下のほうでAuthenticationからTeamの「Create token」ボタンからtoken作成 Tokenができたら、あとで使
Selenium Web DriverのPythonバインディングを使ってブラウザを操作する - Qiita
この記事は Selenium/Appium Advent Calendar 2014 の11日目の記事です。 昨日の記事は @totutiteta さんのRobot drives on the web: Robot Framework & Selenium2Library でした。 今日はSeleniumのPythonバインディングのライブラリ selenium を使ってFirefoxを操作する方法をまとめて見ました。 またseleniumを使って操作するためのライブラリを作ってみました。 SeleniumのPythonバインディングのライブラリ selenium でFirefoxを操作してみる この記事を書いた時点での selenium のversionは 2.44.0 が最新の用です。(おそらく2.35未満のversionでは以下のcodeは動作しないと思います) 起動 まずはブラウザ
Pythonでスクレイピング 基本 - メモ
imabari.hateblo.jp Beautiful Soup Documentation — Beautiful Soup 4.4.0 documentation ウェブページをHTMLで保存し、サーバーへのアクセス回数を減らす 初回アクセス時にHTMLファイルを保存 from urllib.request import urlopen from bs4 import BeautifulSoup url = 'アドレス' html = urlopen(url).read() soup = BeautifulSoup(html, 'html.parser') # soup = BeautifulSoup(html, 'html5lib') # prettifyで整形されたファイルで保存 with open('test.html', mode = 'w', encoding = 'utf
Pythonでかんたんスクレイピング （JavaScript・Proxy・Cookie対応版）
import sys import json import requests from bs4 import BeautifulSoup import codecs def scraping(url, output_name): # get a HTML response response = requests.get(url) html = response.text.encode(response.encoding) # prevent encoding errors # parse the response soup = BeautifulSoup(html, "lxml") # extract ## title header = soup.find("head") title = header.find("title").text ## description descriptio
Python3でSQLite3を使う – 基本操作からエラー処理までサンプルコード付 | Crane & to.
WEBのシステム開発はPHPを使用していますが、データ解析等のため Python3 の研究を始めました。Python3 は日本語の情報がとても少ないので、エンジニアや学生の皆さんに役立ちそうなことをブログ記事として共有できればと思います。 この記事では Python3 で SQLite3 に接続する方法、エラー処理（例外処理）、サンプルによるCRUD（※）、PHPer向け注意点についてまとめました。なおサンプルは Django 等、特定フレームワークの ORM ではなく、SQLの直接実行例です。 MySQL は Python3でMySQLを使う – 基本操作からエラー処理までサンプルコード付を参照ください。 ※ CRUD とは Create（生成）、Read（読み取り）、Update（更新）、Delete（削除）の略です。SQLite の場合Read に相当するのは主に Select 文に
pythonとseleniumを使ってウェブスクレイピングをしてみた - Qiita
前提知識 python3 今回pythonとseleniumを使ってウェブサイトからテキストを収集するコードを書いたのでまとめておきます。 seleniumとは？ seleniumとはもともとウェブアプリケーションを自動でテストするためのものですが、ウェブブラウザを操作してウェブサイトを操作することができます。 Selenium - Web Browser PythonとSeleniumでウェブスクレイピング 今回PythonとSeleniumでウェブスクレイピングすることになった経緯を説明すると 1. スクレイピングしようとしたサイトがajax通信してサイトのコンテンツを取得する仕組みになっていた 2. そのためurllib.requestのurlopen関数を使えない 上記の理由により、本来ウェブスクレイピングでよく使うurllib.requestのurlopenだけではなくselen
RubyプログラマがPythonを学び始めて知ったこと10選 ③ - donghai821の日記
1 比較を連鎖できる。 a = 2 # これを 1 < a and a < 3 => True # このように書ける 1 < a < 3 => True 2 モジュール名はファイル名。 RubyではModuleを定義する構文があり、その中でモジュール名も定義されるが Pythonではファイル名、例えばhoge.pyであればhogeがモジュール名となる。 これを取り込むには次のように書く。 import hoge 3 モジュールはクラス・関数・変数単位でimportできる。 hogeモジュールからfoo()関数のみ取り込む場合次のように書く # hoge.py def foo(): return 1 # hogeモジュールを使用するスクリプト from hoge import foo foo() => 1 複数importも可能。 # カンマで区切って複数をimport from hoge
[Python] 何度も調べてしまうリスト操作をまとめてみた - YoheiM .NET
こんにちは、@yoheiMuneです。 今日はPython2系におけるリストに関する操作をブログにまとめてみたいと思います。リストはよく使いますが、よくWebで調べている気がするので、まとめることで作業効率化できたらなーと思います。 https://flic.kr/p/9nG8RA 目次 リストを生成する # 空のリストを作る >>> list01 = list() >>> list01 = [] # 初期値を指定する >>> list01 = ["a", "b", "c"] # タプルからリストを作る >>> aTapple = (1, 2) >>> list01 = list(aTapple) [1, 2] # セットからリストを作る >>> aSet = set([1,2,3,4,5]) >>> list01 = list(aSet) [1, 2, 3, 4, 5] # 文字列から作
![[Python] 何度も調べてしまうリスト操作をまとめてみた - YoheiM .NET](https://cdn-ak-scissors.b.st-hatena.com/image/square/480d4a49b26fafbda440eaa0d79eb08d4ead8cee/height=288;version=1;width=512/https%3A%2F%2Fwww.yoheim.net%2Fimage%2F374.jpg)
Pythonの日本語処理
はじめに このページでは，Python 2.7系における日本語処理について記述する． Python 3.x系については当てはまらないことが多いので，注意が必要である． 使える文字コード Pythonでは，日本語は次のような文字コードを使って扱うことができる．プラットフォームによって使う文字コードが違う． UTF-8 (utf_8)…Unicodeの文字符号化の一つ．OS X環境の日本語の文字コード． Shift-JIS (shift_jis)…パソコンで用いられていた日本語の文字コード． ISO-2022-JP (iso2022_jp)…電子メールの送受信に用いられる日本語の文字コード． EUC-JP (euc_jp)…Unix環境で用いられていた日本語の文字コード． Code Page 932 (cp932)…Windows環境の日本語の文字コード．Shift-JISの一つのバリエーショ
PythonでCSVファイルの読み込み・書き込みを行う方法
この場合、rowはカンマで区切られたリストが格納されています。 ファイル読み込みのサンプル ファイルを読み込むときはopen()を読み込みモードで指定してファイルを開きます。 ここではwith構文を使うことで、オープンしたファイルのクローズを省略しています。特に理由がない場合は、with構文を使用した方が安全にファイルを扱うことができます。 # -*- coding: utf-8 -*- import csv # ファイルを読み込みモードでオープン with open('sample.csv', 'r') as f: reader = csv.reader(f) # readerオブジェクトを作成 header = next(reader) # 最初の一行をヘッダーとして取得 print ''.join(header) # ヘッダーをスペース区切りで表示 # 行ごとのリストを処理する fo
Pythonで学ぶ 基礎からのプログラミング入門(21) オブジェクト指向について学ぼう(3)
今回は、これまで細かく説明してこなかったselfについて扱います。self自体については割りきってしまえば非常に単純明快なので、細かい話に興味がない人は最初の節のみ読んでいただければ大丈夫です。2節目以降は、かなり前の関数やモジュールの回で説明した「名前空間」と「スコープ」に関わる話となります。 メソッドのselfについて まず前回までの復習をします。Pythonのクラスのメソッドやコンストラクタでは第一引数をselfとし、それらの定義されたメソッドを呼び出す際はselfに該当する引数を指定しないのでした。 たとえば、以下のクラスのコンストラクタ__init__とmethod1の利用方法を見ればわかりますね。宣言にはselfがありますが、呼び出しにはselfに相当するものがありません。 class MyClass: def __init__(self): print('constructe
３秒でわかるSeleniumのつかいかた（Python・ちょっとDjango） - Heppoko Binbo Yarou no Newbie Nikki
2016/09/22 追記 3秒でわかるようになってなかったので追記。 Seleniumとはなにか 自動でブラウザ動かせれるやつ。テストとかにつかえる。 Seleniumのインストール方法 http://www.seleniumhq.org/download/ Chromeでやる場合、chromedriverをダウンロードする https://sites.google.com/a/chromium.org/chromedriver/downloads $ python >>> from selenium import webdriver >>> driver = webdriver.Chrome('chromedriverまでのパスをここに書いてね！') どうやって自動で動かすのか？ 概要 DOMの要素をとって、それを動かす JavaScriptでDOMの要素を取得してうんちゃら〜って書く
スクレイピングのサンプル - Qiita
from urllib.request import urlopen from bs4 import BeautifulSoup from pprint import pprint URL = 'http://news.yahoo.co.jp/' with urlopen(URL) as res: html = res.read().decode("utf-8") soup = BeautifulSoup(html, 'html.parser') titles = soup.select('.ttl a') # domを取得 titles = [t.contents[0] for t in titles] # テキストを取得 pprint(titles)
PythonとSeleniumでネットバンキングをスクレイピングする | >> work.log
Python東海 第28回勉強会の発表の中で、Seleniumでお小遣いを稼ぐという発表がありました。 Seleniumは名前は知っているけど使ったことがなかったのでネットバンキング(三菱東京UFJ銀行)で試してみました。 Selenium？ Seleniumとはブラウザの操作を自動化するツールで、WebアプリのUIのテストや今回のようにスクレイピングに使用するツールです。 JavaScriptでDOMを組み立てているサイトで活躍します 環境 Mac OSX Python 3.5 準備 Seleniumのインストール $ pip install selenium Chrome driverのダウンロード Firefoxを使う場合はDriverはSeleniumに入ってるが、Chromeを使用する場合は別途ダウンロードが必要 ChromeDriver - WebDriver for Chro
Python Tips: 改行なしで文字列を出力したい
Python の print はデフォルトで末尾に改行を追加して出力します。 これを末尾に改行を加えずに出力する方法をご紹介します。 Python 3 の場合 Python 2 の場合 Python 3 の場合 Python 3 の print は Python 2 とは違い print() 関数です。 print() 関数はデフォルトで末尾に改行を追加しますが、引数 end を使うと末尾に出力する文字を変更することができます。 end に空文字 "" を渡せば改行が追加されません。 print("hello", end="") print("hello", end="") # => hellohello
Beautiful Soup でスクレイピング – 忘れるために記す
Pythonのライブラリ(Beautiful Soup)を利用してスクレイピングしてみた インストールとタグ操作root@hostname:/home/shimizu/python# aptitude install python-bs4 以下の新規パッケージがインストールされます: python-bs4 python-chardet{a} python-lxml{a} ... root@hostname:/home/shimizu/python# cat scraping-bs4.py # coding: UTF-8 import urllib2 from bs4 import BeautifulSoup res = urllib2.urlopen("http://ll.jus.or.jp/2014/program.html") # オブジェクト<class 'bs4.element.R
Pythonでクローリング・スクレイピングに使えるライブラリいろいろ - orangain flavor
2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る これはクローラー／スクレイピング Advent Calendar 2014の7日目の記事です。 Pythonでクローリング・スクレイピングするにあたって、いろいろなライブラリがあるので一覧でまとめてみます。 以下の4つのカテゴリにわけて紹介します。 Webページを取得する Webページからデータを抜き出す Webページの自動操作 総合的なフレームワーク なんでこれが載ってないの？この説明はおかしい！などありましたらお気軽にお知らせください。なお、この記事はいろいろなライブラリを紹介することを目
Gentleちゃれんじ Tips -lxmlでhtmlを処理する-
lxmlでhtmlを処理する Pythonでhtmlを取り扱う際は、「htmllib(標準モジュール)」や 「Beautiful Soup」 といったモジュールがあります。 しかし、高速で柔軟な操作がしたい場合は、 「lxml」がいいということなので、 今回はlxmlでhtmlを操作する方法をメモしたいと思います。 lxmlは、Beautiful Soupより高速で、htmllibより柔軟なhtml(xml)操作を可能にするのですが、 日本語資料が少ないと言うのが難点でした。最低限のことならば、ちょっと英語を読めば、 何とかなりますが、ちょっと凝ったことをしようと思うと英語力がネックでつまづいてしまいました…。 そこで、今回は、自分がつまづいた所を中心に紹介したいと思います。 目次 htmlから情報を抽出する htmlソースを改変する まとめと補足 1. htmlから情報を抽出する htm
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python、Seleniumの基本 - naritoブログ
Python の無名関数（ lambda ）の使い方
