[Ruby]確定申告の時期だからAmazonから注文履歴をスクレイピングしてみるメモ - Qiita
はじめに 確定申告用にAmazonでの買い物履歴が欲しかったのだが、Amazon.jpではCSVとかがなさそうなので、自動で取ってくるスクリプトを書いてみました。 一度に５件（？）以上買い物していると「◯個すべての商品を表示」みたいなリンクが出るのですが、そこは対応していません。 Rubyは初心者なので、注文履歴をゲットしてくる処理と、HTMLを読み込んでCSVに変換する処理をわけて書いています。 準備 mechanizeとnokogiriを使用するのでインストールしておきます。 require 'open-uri' require 'mechanize' require 'kconv' agent = Mechanize.new agent.user_agent = 'Mac Safari' url = 'https://www.amazon.co.jp/ap/signin?_encod
![[Ruby]確定申告の時期だからAmazonから注文履歴をスクレイピングしてみるメモ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/5567f345ca79c0da4b25f23fadbc900698349165/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUnVieSU1RCVFNyVBMiVCQSVFNSVBRSU5QSVFNyU5NCVCMyVFNSU5MSU4QSVFMyU4MSVBRSVFNiU5OSU4MiVFNiU5QyU5RiVFMyU4MSVBMCVFMyU4MSU4QiVFMyU4MiU4OUFtYXpvbiVFMyU4MSU4QiVFMyU4MiU4OSVFNiVCMyVBOCVFNiU5NiU4NyVFNSVCMSVBNSVFNiVBRCVCNCVFMyU4MiU5MiVFMyU4MiVCOSVFMyU4MiVBRiVFMyU4MyVBQyVFMyU4MiVBNCVFMyU4MyU5NCVFMyU4MyVCMyVFMyU4MiVCMCVFMyU4MSU5NyVFMyU4MSVBNiVFMyU4MSVCRiVFMyU4MiU4QiVFMyU4MyVBMSVFMyU4MyVBMiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9Y2YxN2IyYTg3MTZjZGFjZWQxYTBmM2Y3MWQ5ZDkxMmU%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBKdW5TdXp1a2lKYXBhbiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MWY0YmI5ZjhhZjVlNGZhZDI1ZmM2YmQwZGM5MzUzODU%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D1ae7a5a2455419bcd9382d7c294b539a)
読書メーターのスクレイピングに rubyXL, parallel が便利だった - Qiita
読書メーターには、読書記録（読んだ本、積ん読本、読みたい本、本棚など）を外部にファイルとしてエクスポートする機能がありません。Ruby のライブラリ mechanize, nokogiri を使って、読書メーターのサイトをスクレイピングして、データをExcelブックに取り出すプログラムを作りました（bmscrp.rb ）。Excelブックの生成には rubyXL を使い、書誌情報の収集は prallel を使って並列処理しました。 nokogiri がスクレイピングに必須なのは言うまでもありませんが、parallel で並列処理が簡単に記述できるのは、RESTなサイトからデータを収集する時にとても便利です（サイトに負荷をかけないように気をつけないといけませんが）。 github で公開しています。以下、README.md からの抜粋です。 Requirements ruby 2.1.8,
RubyのMechanizeとNokogiriで読書メーターをスクレイピング - Qiita
Rubyで読書メーターをスクレイピング Rubyで読書メーターをスクレイピングしたい 読書系SNSの読書メーターを利用しています。 読書メーター - あなたの読書量をグラフで管理 ユーザー間のコミュニケーションも活発で、お気に入り・お気に入られ(Twitterでいうフォロー・フォロワーの関係)のユーザーとどのくらい同じ本を読んでいるか(このことを共読と呼んでいます)、なんて話題で盛り上がったりしてます。 ユーザー毎のマイページでそういう情報は確認できますが、数字は日々変化しますし、何十人、何百人といると楽な方法が欲しくなります。 あるお気に入りユーザーの方がPerlで共読数などを一括取得するスクリプトを書かれていて、以前それをいただいたんですが、自分の環境ではうまく動かなかったのでどうせなら自分が勉強中のRubyで同じものを書いちまえ、ということで書いてみました。 共読解析ツールのソースコ
Mechanizeでページ遷移しながらスクレイピング - Qiita
ちょっとダルいポイントが有ったのでメモ程度に。 スクレイピング対象サイトとスクレイピングの流れは ページャで何ページか一覧ページがある 一覧ページのタイトルをクリックすると詳細ページが見れる 詳細ページの一部を使用 また他のタイトルをクリックしていく CSVで出力（別にいらないけどメモ代わりに。。） みたいな感じです。mechanizeだけでやります。 require 'mechanize' require 'csv' class ScrapingPages def initialize @agent = Mechanize.new @data = [] end def retrieve # 1ページ目から10ページ目までスクレイピングする (1..10).each do |i| page = @agent.get(url(i) each_section(page) do |section
auの請求書を取得 - Qiita
#!/usr/bin/env ruby #coding:utf-8 $KCODE = 'u' if RUBY_VERSION.to_f < 1.9 require 'rubygems' if RUBY_VERSION.to_f < 1.9 module BillScraper ######################### ## サポートIDでログインが前提 ## main_phone_number は ハイフン区切り必須 ## out_path = BillScraper::au_current_month("takuyaXXXX", "password", "090-xXXX-9876" ,"1234"); ## ↑サポートID ## au IDでのログインは電話番号がコロコロ変わる古事記には不要です。 ## def au_current_month( id, password,
ニコニコ動画の動画をダウンロード - Qiita
ニコニコ動画の動画をダウンロードするコードを書いたので説明 動画の保存場所の入手 動画の保存場所を入手するgetflvというAPIがあります http://flapi.nicovideo.jp/api/getflv/sm#{id} ニコニコ動画のAPIを使う準備としてとりあえず、ニコニコ動画にログインする ログインをしてるCookieとその動画へのアクセスが無いと動画などを保存しているURLなどを返してくれない 楽がしたいのでとりあえずmechanize require 'rubygems' require 'mechanize' mail = "ニコニコ動画に登録してるメールアドレス" pass = "ニコニコ動画に登録しているパスワード" agent = Mechanize.new; agent.post("https://secure.nicovideo.jp/secure/logi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
