Python requests deep dive
I just finished replacing httplib in a very large project, Apache Libcloud. When httplib was selected, requests wasn’t around (it only hit v1 in 2012). We needed to provide a set of base classes that would handle HTTP and HTTPS REST/JSON, REST/XML and various other bizarre HTTP APIs. Libcloud has over 80 client libraries for every major cloud service out there. Each of those libraries share a sing
Python's Requests Library (Guide) – Real Python
The Requests library is the go-to package for making HTTP requests in Python. It abstracts the complexities of making requests behind an intuitive API. Though not part of Python’s standard library, it’s worth considering Requests to perform HTTP actions like GET, POST, and more. By the end of this tutorial, you’ll understand that: Requests is not a built-in Python module—it’s a third-party library
Python の型ヒントで JSON の型チェックをする - Nekostack
Python, Swift, Machine Learning, Cat, Coffee, Beer, Game 型、つけてますか？Python の関数にアノテーションを付与するための構文が導入されて以来、型情報の付与について着々と規約・ツールが整備されてきました。 こういった最近の流れをみると、やはり人類は JSON はじめとする型のゆるいデータに対する型チェックをうまくやりたくなるというものです。 そういうわけで、今回は Proof of Concept 的に typedjson という小さなライブラリを実装してみたので、歴史の話も少し混ぜつつ紹介します。 アノテーションの構文の導入から型ヒントまで 動的型付け言語である Python においても、3.0.x から現在最新である 3.7.x になるまで、型の情報を付与するための規約などの整備がおこなわれてきました。 特に関連のありそうな
JSON ファイルを CSV ファイルに変換したい | IIJ Engineers Blog
IIJ ネットワーク本部アプリケーションサービス2部所属。 メールサービスの運用業務に従事し、日々世界の悪と戦う一児の父親。社内 Power Automate エバンジェリスト(自称)。M3AAWG member / openSUSE Users / WIDE Project メンバー。趣味は大喜利。はがき職人。 【IIJ 2017TECHアドベントカレンダー 12/6（水）の記事です】 JSON ファイルを CSV ファイルに変換したい 異なったサービスやアーキテクチャ間でデータをやり取りをしたいときに、JSON 形式を使うことはよくある話です。構造化されたデータを適切に表現するのにもってこいですし、大規模運用に欠かせない Elasticsearch も一瞬で JSON 形式の結果を返してくれます。 しかし、この JSON 形式、何らかの理由があって目で紐解こうとすると厄介です。大変読み
numpyオブジェクトをjson.dumpできるようにエンコーダーを拡張する方法 - 微忘録
最近、友人の運営する大学講義の検索サイトを、機械学習で良い感じにしてます。 地味に悩んだのが「JSON形式でのデータ入出力」の部分。具体的には、「JSON形式で渡されたデータに、推定結果の一部numpyオブジェクトを加えたJSONデータを返す」作業。 Pythonなど動的言語はデータ型をよしなに判断してくれますが、少し例外に触れた時には指定してあげる必要があります。 今回はその例外のためにクラスを自作して指定する方法を備忘録。 問題 解決策 最後に 参考記事 問題 何も引数に指定せず、ただ以下の様にjson.dumps()メソッドにnumpy.int64などを渡すと、以下の様なエラーに遭遇する。 json.dumps(numpy.int64(111)) ---------------------------------------------------------------------
Scraping a JSON response with Scrapy
How do you use Scrapy to scrape web requests that return JSON? For example, the JSON would look like this: { "firstName": "John", "lastName": "Smith", "age": 25, "address": { "streetAddress": "21 2nd Street", "city": "New York", "state": "NY", "postalCode": "10021" }, "phoneNumber": [ { "type": "home", "number": "212 555-1234" }, { "type": "fax", "number": "646 555-4567" } ] } I would be looking t
話題のクローラー・スクレイピング！PythonならScrapyが超優秀な件
Rubyによるクローラー開発技法 読書会 第2回(兵庫県)に参加しました Nov 1st, 2014 1:05 pm | Comments 11月1日 Rubyによるクローラー開発技法 読... [amazonjs asin="4797380357" locale="JP" tmpl="Small" title="Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例"] こういう会に参加すると、自分の知識の狭さを痛感してもっと勉強しなきゃなぁという気になります。また次回も参加させてもらいたいです。参加者の皆さん、色々ご教示いただき、ありがとうございました。 読書会では本の内容から広がった話がとても面白かったです。個人的には、Rubyのクローラー本の中身を実際に使うということは少ない気がしましたが、他の人がどのようにスクレイピングをしているのかということを知ることができたのは
PythonでRESAS APIを使ってデータをダウンロード | note.nkmk.me
RESASは「Regional Economy Society Analyzing System（地域経済分析システム）」の略。読み方は「リーサス」。市区町村別の産業・経済の情報が提供されており、APIを利用して生データをダウンロードできる。 トップページ - RESAS 地域経済分析システム ここでは、PythonからRESAS APIを利用してデータをJSONやCSV形式でダウンロードする方法を説明する。 RESAS APIの基本的な使い方 APIキーを取得 仕様と使い方 RESAS-API一覧 例: 都道府県コード データを取得 JSONで保存 pandas.DataFrameに変換 CSVで保存 例: 市区町村コード 都道府県を指定して個別にダウンロード 全都道府県のデータを一括ダウンロード pandas.DataFrameに変換して連結 CSVで保存 JSONで保存 例: 一人当
PythonでFilmarksから映画レビューを全件取得する - sushi.py
はじめに 本記事では、Python, BeautifulSoup4, requestsをつかってFilmarksから特定の映画のレビューをすべて取得する方法について説明します。 Filmarksは「国内最大級の映画レビューサービス」です。現時点(2018年8月23日22時頃)で5314万3638件のレビューが掲載されています。 よほどマイナーか人気のない映画でない限りレビューが投稿されている、と思います。 映画レビューサイトはFilmarks以外にもYahoo!映画や映画.com、みんなのシネマレビューなどがあります。 ほかにも映画レビューサイトはあるのになぜFilmarksからレビューを取得するのかというとまず「HTMLの構造が単純でスクレイピングしやすい」というのがあります。複雑なHTML構造をしていないため、スクレイピング初心者の方やPython初心者の方がスクレイピングを学ぶ入り口
Scrapy, はてなブックマークAPIで件数やコメントを一括取得 | note.nkmk.me
はてなブックマークAPIを使うと、特定のURLのブックマーク数や詳細情報（ブックマークした日時やユーザー、コメントなどの一覧）をシンプルなGETリクエストで取得できる。 はてな API一覧 - Hatena Developer Center 指定したURLとそれ以下のパスのURL（＝指定したサイト内のURL）のブックマークの詳細情報はScrapyと組み合わせると一括で取得できる。ブックマークの合計数はAPIで取得可能。 以下の内容について説明する。 はてなブックマークAPIの種類と使い方 はてなブックマーク件数取得API はてなブックマークエントリー情報取得API はてなブックマークWebページで取得できる情報 Scrapyでクローリング・スクレイピング サイト内のURLのブックマーク数を一括取得 サイト内のURLのブックマーク日時・コメントなどを一括取得 pandasによる分析 なお、サ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - blue1616/twitter-dump: Get tweets and save file in JSON format without Twitter API
bing_api.py
Define a jsonable type using mypy / PEP-526
pythonでjson出力する際に対応していない型(e.g. datetime)の値を変換しながら出力したい - Qiita
Type checking with JSON Schema in Python
curlで返却されるJSONを見やすく整形して表示する - Qiita
How to make a class JSON serializable
Serializing class instance to JSON
json を pretty print するPythonワンライナー。日本語をエスケープしない。 - Qiita
Setting headers on Scrapy to request JSON versions of websites/APIs