Python, Scrapyの使い方（Webクローリング、スクレイピング） | note.nkmk.me
PythonのWebクローリングとスクレイピングのフレームワークであるScrapyの使い方をサンプルコードとともに説明する。 Scrapy | A Fast and Powerful Scraping and Web Crawling Framework 以下の内容について説明する。具体例はYahoo! Japanを対象としている。 クローリングとスクレイピング ScrapyとBeautifulSoupの違い Scrapyのインストール Scrapyの基本的な使い方 単独のページをスクレイピングする例 リンクを指定してクローリング、スクレイピングする例 リンクを抽出してクローリング、スクレイピングする例 リンクを抽出して再帰的にクローリング、スクレイピングする例 Scrapyのバージョンは1.5.0。バージョン1.1からPython3にも対応している。 レポジトリは以下。 nkmk/scr
pythonで読書メーターからデータを取得する - Qiita
import scrapy import datetime from scrapy.http import Request class LoginSpider(scrapy.Spider): name = 'bookmeter' start_urls = ['http://bookmeter.com/login'] def __init__(self): self.list_num = 1 self.booklist_url = 'http://bookmeter.com/home?main=book&display=list&p=' self.data = [] self.mail = 'ここにメールアドレス' self.password = 'ここにパスワード' def getURL(self): return self.booklist_url + str(self.list_num
「読書メーター」に無い機能を実現し、データを分析してみる(Python) - roombaの日記
はじめに 最近読書にはまっていて、過去記事が「2015年X月に読んだ本まとめ*1」ばかりになっています。が、今回は読んだ本のまとめではなく、読書に関するデータの分析を記事にしてみることにしました。 読書メーターとは？ 本を読み終えると「読書メーター」に感想等を記すことにしています。「読書メーター」には感想の記録以外にもソーシャル的な機能があって、読書傾向の似たユーザーを「お気に入り」に追加することによってその人の新着感想をホーム画面に表示することができるのです。自分は現時点で94人をお気に入りに登録しているため、毎日いくつもの感想を新たによむことができ、読みたい本が増える一方です。 http://bookmeter.com/ 読書メーターに無い機能 そんな読書メーターですが、「お気に入りユーザーに最も読まれている本」を表示する機能があればいいなと常々考えていました。「X月に読まれた本ランキ
日本株式のデータをスクレイピングなしで取得・リストにしたい - Qiita
大きなデータを取り扱ってみたい！ 株価を分析するのって面白そう！ と思い立って調べてみると，海外の株式はPandasのDataReaderで案外簡単にデータとして手に入りますが， （例えばGoogle financeやFREDなど） 日本の株価は，案外データとして見つかりません． Yahoo!ファイナンスから引っ張ってくればいいじゃん！という記事は多いですが， Yahoo!ファイナンスはスクレイピングを禁止しているため，こちらから引っ張ってくるわけにもいきません． モジュールのjsmを使えば…という意見もあるかもしれませんが，こちらもスクレイピングを使用しています． 本記事は，スクレイピングなしでデータを取得し，ひとつのリストとすることを目的とします． せっかちな人のためのコード いいから結論だけ教えてくれ！って人のために（がんばってかいた）コードをおいておきます． 細かい点は各自修正をお
PythonでQuandlからデータを取得する - Qiita
Quandlは金融、経済などの数値データの検索エンジンで、さまざまなソースから得られたデータを検索し、グラフや表を表示させることができる。またデータはJSON、CSVなどの形式でダウンロードしたり、Plotlyなどのサービスに取り込ませることもできる。 Getting Started 一部有料のデータもあるが多くのデータについては無料で取得することができる。 様々な言語のライブラリも用意されており(https://www.quandl.com/help/libraries )、APIを用いてデータの取得や検索ができるようになっている。 各データを個別に提供しているだけではなく、データをまとめているページがある。 画面左上からData > Data Browser とクリックすると国やデータの種類でまとめられている中から探すことができる。 例えば、以下のようなページがある。 日本の人口 ht
[Python] 株価データをプロットし，さらにCSVファイルを出力する - Qiita
はじめに Web上で長期間の株価データを探してもなかなか見つからないので，Pythonを用いて株価のヒストリカルデータを取得し，CSV形式で出力，さらに出力したデータをプロットするプログラムを作成しました． 日本株・外国株いずれにも対応しています． 参考までに，例として出力した日経平均株価1のCSVファイルはこちら，さらにプロットすると以下のようになります． ソースコードの紹介 まず，作成したソースコードを紹介します． #!/usr/bin/env python3 # -*- coding:utf-8 -*- ''' 株価データのプロット・CSVへの出力 ''' import datetime as dt from pandas import DataFrame import jsm import pandas_datareader.data as web import matplotli
![[Python] 株価データをプロットし，さらにCSVファイルを出力する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/60e4cb905a677f8ed6deac343332e539703c47d2/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9JTVCUHl0aG9uJTVEJTIwJUU2JUEwJUFBJUU0JUJFJUExJUUzJTgzJTg3JUUzJTgzJUJDJUUzJTgyJUJGJUUzJTgyJTkyJUUzJTgzJTk3JUUzJTgzJUFEJUUzJTgzJTgzJUUzJTgzJTg4JUUzJTgxJTk3JUVGJUJDJThDJUUzJTgxJTk1JUUzJTgyJTg5JUUzJTgxJUFCQ1NWJUUzJTgzJTk1JUUzJTgyJUExJUUzJTgyJUE0JUUzJTgzJUFCJUUzJTgyJTkyJUU1JTg3JUJBJUU1JThBJTlCJUUzJTgxJTk5JUUzJTgyJThCJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz00ODlhZjVkYmM5MzVkZTA4OWU3Y2UwNDVlMTNkYzZjOQ%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwU3VydW1lcmYmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWNhMzIxMjlmNmI3NTljYjQ3MmE4NTU2ZDRlYzI4YTE5%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D2a41217e973f4a1279944a00e1432e00)
PythonとBeautiful Soupでスクレイピング - Qiita
Pythonでスクレイピングというネタはすでに世の中にもQiitaにもたくさん溢れていますが、なんとなくpyqueryが使いやすいという情報が多い気がします。個人的にはBeautiful Soupの良さも知ってもらいたいと思うのでここではBeautiful Soupを使っていきたいと思います。 ちなみにこのエントリーはほとんどの部分がBeautiful Soup4のドキュメントの要約です。もっと詳しい情報が知りたい場合はドキュメントをご覧ください。 英語 http://www.crummy.com/software/BeautifulSoup/bs4/doc/ 日本語 http://kondou.com/BS4/ よくある勘違い pyqueryはjQueryのようにcssセレクタを使ってHTMLを扱うことができる点がBeautiful Soupよりも使い易いという意見がありますが、それBe
pythonでexeファイルを作ろう
パソコンとインターネットに興味がある建設系サラリーマン＋5代目surface proの行き当たりばったりな生活を露呈するブログ 高級言語。 実行速度は遅いが同じ内容を少ないコードで実現できる。 流行りのRubyとPythonのどちらにしようか悩んだ。 芸能人でRubyの女神の池澤あやかを見習ってRubyにしようかとも思ったが、 自分はエンジニア。豊富な科学技術計算ライブラリをもつPythonの魅力は捨てがたい。 車輪の再発明は避けなければならない。 Pythonをインストールすることにした。 何も考えず一端は(2/21現在)最新版のPython3.5.1をインストールしたが 3.5は対応していないモジュールが多いので、アンインストールして Python3.4.4をインストールした。 （(2/21現在)3.5はexeファイルを作る方法がない。 HCpy-Standalone-Bというソフトで
Python-izm
プログラミング言語Pythonの習得を目的としたサイト、Python-izmです。 入門編、基礎編、応用編などカテゴリ分けされていますが、すでにPythonの基本構文、実行方法等を習得されている方は入門編を飛ばしてご利用ください。これからPythonを学習する、という方は入門編 – Pythonとはより順にご利用ください。また本サイトは主にPython 3系を用いていますが、3系と比較して大きく異なる場合は Python 2系のコードも掲載しています。バージョン2系と3系の違いは2系と3系の違いを参照してください。 お知らせ 2018/01 サイトのリニューアルに伴い、Python 3系への対応、SSL化を行いました。今後ともPython-izmを宜しくお願い致します。 Pickupコンテンツ 各プログラミング言語の実行までの手順をまとめました。Pythonは他の言語と比較しても容易に実行
PythonでExcel作業を自動化するOpenPyXLのはじめての使い方
こんにちは。はじめまして。かつひさ(@katsuhisa__)です。 異なるExcelファイル間で、地道なコピー＆ペーストを繰り返してデータを移動しなければならない時や、特定のセルを目視で見つけなければならない時ってありませんか？ 本連載では、PythonのOpenPyXLモジュールを使い、このような面倒で退屈なExcel作業をPythonで自動化する方法をお伝えします。 連載一記事目となる今回は、PythonでExcelファイルを操作するモジュールOpenPyXLのはじめての使い方（初心者向け）をご紹介します！ OpenPyXLとは？ OpenPyXLは、Excelの読み書きをPythonで行うためのモジュールです。 例えば、以下のような操作ができます。 �セルの値をPythonで読み書きする 複数のExcelファイル間でデータをコピーする グラフを追加する Excelの操作を自動化する
【プログラミング】初心者がPythonでウェブスクレイピングをするためのURL資料まとめ : KNN KandaNewsNetwork 4knn.tv
【プログラミング】初心者がPythonでウェブスクレイピングをするためのURL資料まとめ JavaScriptにPHPに覚えることが山ほどあるにもかかわらず、Pythonにも興味が湧いてきた…。どうやら、ウェブの情報をスクレイピング(自動収集)できる。これだけでもかなり魅力的だ。さらにAI化することもできるらしい…。 ということで2018年からPython生活もスタートするためにも資料URLを集めてみたよ…。 ❏Python(パイソン)は、汎用のプログラミング言語である。コードがシンプルで扱いやすく設計されており、C言語などに比べて、さまざまなプログラムを分かりやすく、少ないコード行数で書けるといった特徴がある ❏Pythonは、オランダ人のグイド・ヴァンロッサムが開発した。名前の由来は、イギリスのテレビ局 BBC が製作したコメディ番組『空飛ぶモンティ・パイソン』である。Pythonとい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2to3を使ってコードをPython 3に移植する - Dive Into Python 3 日本語版
Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応@追記あり6/12 - Qiita
Python
Python入門 ～Pythonのインストール方法やPythonを使ったプログラミングの方法について解説します～ | PythonWeb
