[Python]ブクログに登録した本一覧を月別で出力してみる
やりたいこと 僕は普段ブクログというサービスを使って読んだ本を記録しています。ブクログに登録した書籍を月別で分類し、いつどんな本を読んでいたのかを整理したいと思いました。 Pythonを勉強中なので、Pythonを使ってこれを実装してみます。 成果物 最終的なコードと出力ファイルは以下のGistに置きました。 ブクログAPIを叩いて書籍を取得する booklog apiなどで調べるとhttp://api.booklog.jp/v2/json/<userId>?count=10000に対してリクエストを送ると、ユーザーの本棚情報を取得できることが分かりました。 このAPIは公式のドキュメントなども見当たらなかったので、動かして試してみます。 import requests import json api_res=requests.get("http://api.booklog.jp/v2/j
![[Python]ブクログに登録した本一覧を月別で出力してみる](https://cdn-ak-scissors.b.st-hatena.com/image/square/c9ca8241ee1c6aeb0b63088f4d184bdc638d616f/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--XLh24eI1--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BPython%25255D%2525E3%252583%252596%2525E3%252582%2525AF%2525E3%252583%2525AD%2525E3%252582%2525B0%2525E3%252581%2525AB%2525E7%252599%2525BB%2525E9%25258C%2525B2%2525E3%252581%252597%2525E3%252581%25259F%2525E6%25259C%2525AC%2525E4%2525B8%252580%2525E8%2525A6%2525A7%2525E3%252582%252592%2525E6%25259C%252588%2525E5%252588%2525A5%2525E3%252581%2525A7%2525E5%252587%2525BA%2525E5%25258A%25259B%2525E3%252581%252597%2525E3%252581%2525A6%2525E3%252581%2525BF%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3AKenzo%252520Tanaka%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzhkMGRjZjI4N2MuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
読書メーターをスクレイピングして協調フィルタリングっぽいのを実装した - Qiita
この記事は、OIT Advent Calendar 2018の17日目の記事です． こんにちは こっそり歩くです．まいかた出て奈良なんとかで院生してます． twitter やったこと 読書メーターをスクレイピングして協調フィルタリングを使った推薦モデルを作った． モチベーション 恒川光太郎の作品が好きだけど，そろそろ全作読み終わるのでいい感じの本が探したい →Amazonの推薦が微妙だったので，とりあえず自分で作ってみようと思った 協調フィルタリングをするのにデータが欲しい →読書メーターからユーザごとの読んだ本を持ってくれば協調フィルタリングいけるか？ →スクレイピングしよう (→なんかスクレイピングってハッカーぽくてカッコイイ🤓（やったことないが）) 使ったもの beatifulsoup4 有名どころらしい． HTMLをパースしてくれたり，欲しいタグのみ取り出したりしてくれる． ur
【Python】マネーフォワードに登録している金融機関情報を自動更新
こんばんは、エンジニアの眠れない夜です。 最近お金の管理がズボラ過ぎて、毎朝マネーフォワードを眺めて無駄遣いをしていないか確認するようになりました。 そこで思ったのが毎朝クレジットカード情報を更新しても反映されるまで待つのが面倒。 別の作業をして戻ってくる頃にはマネーフォワードの存在を忘れていたり… ということで、寝ている間に勝手にマネーフォワードの更新を実行してくれて、朝見たときには更新済み！という状況にしたかったので自動で金融機関情報を更新するスクリプトを書きました。 マネーフォワードを利用されている方がいましたらぜひご利用ください。 【実行中の様子】 マネーフォワード金融機関情報自動更新スクリプト 定期実行するには下記のシェルスクリプトをどこかに保存してcronで実行します。 例）moneyforward_reload_accounts.sh 第1引数はログインアドレス 第2引数はロ
Pythonでマネーフォワードをスクレイピングして、ポートフォリオを管理する（その１） | outlier
Pythonの勉強がてら、マネーフォワードのサイトから口座残高などの情報をスクレイピングしてきて、日々のポートフォリオを作成するというコードを書いてみました。 いろいろと勉強になることたくさんでして、忘れないように記録しておきます。（その１）では、プログラム作成の動機や内容などを、（その２）では実際のコーディングにあたってはまった点などを紹介します。 マネーフォワードの良さと問題点 やりたいこと 実装したコード 結果 マネーフォワードの良さと問題点 マネーフォワードは、銀行・証券会社・クレジットカードの情報を登録しておくと、口座残高やカード使用履歴などを記録してくれるアプリで、すでに多くのひとが活用していると思います。 moneyforward.com マネーフォワードの機能のひとつに、現在保有している資産の内訳や資産履歴をグラフ化してくれるものがあります。現金や預金だけでなく、株や投資信
python3でSBI証券にログインして発注する
2018年6月7日 4:59 AM ACT_loginのx座標とy座標とはどうやって調べるのですか？ また座標はモニターの大きさで変わってくるのですか？ もし時間があればご教示ください。 2018年6月7日 10:31 PM ACT_loginは<input type=”image”>つまり画像ボタンなので画像がクリックされた位置(左上がx,y=0,0)をサーバーに送ることになっています。 ACT_loginのx座標とy座標はボタン画像の大きさ以下で自由に決めればよいです。 モニターの大きさとは関係ありません。 この内容はMDN web docsに有りますので該当ページから引用します。 These are the X and Y coordinates of the image that the mouse clicked on to submit the form, where (0,0
SBI証券から保有資産を取得する為Pythonでスクレイピングしてみる | ゆとりの雑記帳
ゆとりの雑記帳 投資・資産運用やIT関係、語学等の話題が多めです。気になったことを自由気ままに書きなぐる趣味ブログです。 SBI証券の保有資産をデータとして使いたいなと思うところがありまして、ちゃちゃっとpythonで取得コードを書いてみました。 しかし、私はノンプログラマな上に、プログラミングなんて数年ぶりなので小一時間程今の環境を調査することに。 結果以下のことがわかりました。 HTTPの処理をするのに、今時のPythonはrequestsモジュールを使うのがシャレオツ HTMLを解析(パース)するにはBeautifulSoup4を使うのが楽 というわけで、Pythonの使い方を思い出しながら探り探り作ってみた。リストの操作すら忘れてた人間が突貫工事で書いてます…笑 # -*- coding: utf-8 -*- """ SBI証券から保有資産をとってきますん(∩´∀｀)∩ """ i
PythonでSeleniumを使ってWebページ内のテーブルの内容を取得する - 管理人Kのひとりごと
Webページを取得して操作する方法に、Seleniumというのがあるのを最近知りました。 Selenium テーブルが使われたWebページから内容を取得したかったので、その方法を調べました。 Seleniumはいろんな言語からアクセスすることが出来るようですが、今回はPythonを使ってみました。 対象となるページは以下のような感じ。 <html> <head></head> <body> <table class="table_desu"> <tr> <th>No</th><th>品目</th><th>価格</th> </tr> <tr> <td>1</td><td>りんご</td><td>150</td> </tr> <tr> <td>2</td><td>みかん</td><td>120</td> </tr> <tr> <td>3</td><td>ぶどう</td><td>200</td>
PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - bisguzar/twitter-scraper: Scrape the Twitter Frontend API without authentication.
記事のスクレイピングを機械学習で自動化 - Qiita
Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応@追記あり6/12 - Qiita
PythonでさくっとWebスクレイピングする (JavaScript読み込みにも対応しつつ) - Qiita