PythonでISO8601(RFC3339)を扱う - Qiita
はじめに APIでスタンダードな日付形式であるISO8601について、Pythonで扱うのに軽くはまったのでメモ。 ISO8601形式は様々な書き方ができますが、有名どころのAPIでは以下の2種類が多いと思います。 UTC 2016-12-31T20:02:05.123456Z APIのパラメータやサービスで設定したタイムゾーン 2016-12-31T20:02:05.123456+0900 文字列 -> datetime APIからJsonで戻ってきた文字列をPythonのdatetimeに変換します。常にJSTで統一しています。 datetimeはそのまま、>, < での比較ができ、timedeltaによる日付の計算ができるため、プログラム内では常にdatetimeで表現するのがよいかと思います。 def iso_to_jstdt(iso_str): dt = None try: dt
Scrapyの複数Spiderを同時に実行する3つのパターン | OUTPUTおじさん
はじめに Scrapyで作ったプロジェクトに複数のSpiderを実装し、一回の実行コマンドで複数のSpiderを同時に動かすための方法を調べてみました！ この記事では以下の3パターンの実行方法について解説しています。 パターン1 : 複数のSpiderを並列に実行 パターン2 : 複数のSpiderを順番に実行 パターン3 : パターン1とパターン2の組み合わせ 実施環境 # Mac OS $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.2 BuildVersion: 18C54 $ python3 --version Python 3.7.0 # Scrapyのバージョン Scrapy==1.5.1 解説 動作を確認するために、簡単なScrapyプロジェクトを作成してみました。 githubへアップロードしているので、確認してみ
Scrapy&Twitter Streaming APIを使ったTweetのクローリング - Qiita
はじめに インフルで1週間潰しました。辛かった。。。 ということで、クローリングについてです。 Pythonでクローリングするとなると、Scrapyはかなりよく出てくると思います。 僕も初めて触ってからかれこれ2年以上経っているように思います。 弊社Liaroでも使ってますし、何と言っても3系対応したのが嬉しいですね。 何を書くか チュートリアルとかは散々落ちてますので、TwitterをクローリングするときにAPIとどう連携させたかを書こうかと。どこか参考にしたはずなのですが忘れてしまい。。。見つけ次第リンク貼っておきます。 やってみた 方針 基本的には下図で言うMiddlewareをTwitter用に書いて、settingsを書いておく感じです。 Pythonバージョンは3.5.1で、Twitterライブラリはpython-twitterを使いました。 Middleware TW_CON
Incremental crawler with Scrapy and MongoDB
updated on 25/12/2018 : fixed from_crawler method overriding In this post I will show you how to scrape a website incrementally. Each new scraping session will only scrape new items. We will be crawling Techcrunch blog posts as an example here. This tutorial will use Scrapy, a great Python scraping library. It’s simple yet very powerful. If you don’t know it, have a look at their overview page. We
スタティックメソッドは要らない子？ - atsuoishimoto's diary
Pythonでは、クラス内で定義することの出来るメソッドが三種類用意されている。メソッド・クラスメソッド・スタティックメソッドの3種類だ。それぞれどんな特徴を持っているのだろうか？ メソッド まず、メソッドはおなじみのインスタンスメソッドで、第一引数としてインスタンスを受け取り、呼び出す時には必ずインスタンスが必要となる。 class Foo(object): # メソッド def method(self, arg): pass Foo().method("arg") #OK Foo.method("arg") #これはエラー クラスメソッド クラスメソッドは第一引数としてクラスオブジェクトを受け取り、インスタンスが無くとも呼び出すことが出来る。 class Foo(object): # クラスメソッド @classmethod def clsmethod(cls, arg): pass
Scraping a JSON response with Scrapy
How do you use Scrapy to scrape web requests that return JSON? For example, the JSON would look like this: { "firstName": "John", "lastName": "Smith", "age": 25, "address": { "streetAddress": "21 2nd Street", "city": "New York", "state": "NY", "postalCode": "10021" }, "phoneNumber": [ { "type": "home", "number": "212 555-1234" }, { "type": "fax", "number": "646 555-4567" } ] } I would be looking t
python でよくわからないオブジェクトの中身を表示する - Qiita
Tensorflow 等を使っていると、このオブジェクトは一体なんのクラスのインスタンスで、どんな情報（プロパティ）を持っているのだろう、とわからなくなるときがしばしばあります。 しかも、まともなドキュメントが無いこともしばしばあります。 （例えば BeamSearchDecoderOutput など） このような時に便利な関数 explain を作りました。 例 tf.constant の戻り値を調べてみましょう。 In [7]: tensor = tf.constant([[1, 2], [3, 4]]) In [8]: explain(tensor) EXPLAIN ------------------ Tensor("Const_2:0", shape=(2, 2), dtype=int32) <class 'tensorflow.python.framework.ops.Tens
scrapy crawlコマンドでスパイダーに引数を渡す | note.nkmk.me
Pythonのスクレイピング・クローリングフレームワークScrapyで、scrapy crawlコマンドでクローリングを実行する際にスパイダーに引数を渡す方法について、以下の内容を説明する。 scrapy crawlコマンドの書き方 スパイダースクリプトのサンプル スパイダースクリプトの書き方・注意点 Scrapyの基本的な使い方は以下の記事を参照。 関連記事: Python, Scrapyの使い方（Webクローリング、スクレイピング） 公式ドキュメントの説明は以下。 Spiders Spider arguments — Scrapy 1.5.1 documentation scrapy crawlコマンドの書き方 scrapy crawlコマンドから引数を渡すには-aオプションを使う。 以下のように引数名=値の形で指定する。複数指定する場合は-aから繰り返す。 スパイダースクリプトのサン
Pythonの補完環境をjedi-vimからvim-lspに移行した話
Pythonの補完環境をjedi-vimからvim-lspに移行した話¶ VimでPython書いてますか？ 長らくPythonの補完用プラグインとして davidhalter/jedi-vim を使用してきましたが、 あの mattn (@mattn_jp) さんがCollaboratorになった prabirshrestha/vim-lsp や palantir/python-language-server がいよいよ実用的になってきたので移行してみました。 とはいえ実際に使うにはまだ設定するところもちょこちょこあるので、一度まとめておこうと思います。 前提とする環境¶ Vim: 8.0以上、かつコンパイルオプションで jobs, timer, channel, lambda が有効になっている Python: 2.7もしくは3.4以降 (pyenvやAnacondaでインストールした
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - dloss/python-pentest-tools: Python tools for penetration testers
GitHub - laramies/theHarvester: E-mails, subdomains and names Harvester - OSINT
GitHub - PaulSec/API-dnsdumpster.com: (Unofficial) Python API for https://dnsdumpster.com/
GitHub - zeropwn/dnsdmpstr: Unofficial API & Client for dnsdumpster.com and hackertarget.com
PythonでISO 8601形式の文字列と日時datetimeを相互変換 | note.nkmk.me
Failure when filtering string list with re.match
GitHub - edx/pa11ycrawler: Python crawler (using Scrapy) that uses Pa11y to check accessibility of pages as it crawls.
Wantedly（ウォンテッドリー）はたらくを面白くするビジネスSNS
[python] モジュールに定義されているクラス一覧を取得する - Qiita![[python] モジュールに定義されているクラス一覧を取得する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b781a69e7f5fd72bd896138746b9fa86aa33aaab/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.1.1%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGOTY1MzclMkZwcm9maWxlLWltYWdlcyUyRjE0NzM3MDY5MTg_aXhsaWI9cmItNC4xLjEmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmJnPUZGRkZGRiZmbT1wbmczMiZzPTQzM2ViZWE3NWU0YTQ4MjIwMWU4ZTRlY2ZhZmI4MTg0%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Df7f947dd352da28b05193b05fa918c43%3Fixlib%3Drb-4.1.1%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjEuMSZ3PTk2MCZoPTMyNCZ0eHQ9JTVCcHl0aG9uJTVEJTIwJUUzJTgzJUEyJUUzJTgyJUI4JUUzJTgzJUE1JUUzJTgzJUJDJUUzJTgzJUFCJUUzJTgxJUFCJUU1JUFFJTlBJUU3JUJFJUE5JUUzJTgxJTk1JUUzJTgyJThDJUUzJTgxJUE2JUUzJTgxJTg0JUUzJTgyJThCJUUzJTgyJUFGJUUzJTgzJUE5JUUzJTgyJUI5JUU0JUI4JTgwJUU4JUE2JUE3JUUzJTgyJTkyJUU1JThGJTk2JUU1JUJFJTk3JUUzJTgxJTk5JUUzJTgyJThCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9YTBjZThkN2RjNjdlMDcxMWFhZWVjYjdhMzRlNjRjMWQ%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjEuMSZ3PTgzOCZoPTU4JnR4dD0lNDBpbm9uMzEzNSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTg0NWZlZDJkNDY1MDg3YTM5OTJjNGZhYjNkNDgxYmQ2%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D0c6be7806d45d5e8886cb1016d3f3ca5)
Pipenv で flake8 / autopep8 を上手く使う - Qiita
[Pycon Kyushu 2019] Pythonでの開発を効率的に進めるためのツール設定
