長いURLに対して Scrapy するときの覚書 - 人生100年!生涯エンジニア人生!
結論 Scrapy で長いURLを対象にするときは、設定ファイルのsettings.pyにURLLENGTH_LIMITを書いてURLの最大長を記載する。 自分がやったときはURLの長さが3,800文字だったので、4,000文字に設定した。 # URL LENGTH URLLENGTH_LIMIT = 4000 ログレベルについて あるサイトを対象にScrapyしてたとき、次のページを取らないというバグが発生する。 ログを眺めているとDEBUGの文字とともにURLが長いからリンクを無視と出ている。 [scrapy.spidermiddlewares.urllength] DEBUG: Ignoring link (url length > 2083): 対象URL いや、気付けたから良いのですが、URLを無視するのはdebugでは無いと思っております。 私の考えですがdebugは開発時に使
Scrapy, はてなブックマークAPIで件数やコメントを一括取得 | note.nkmk.me
はてなブックマークAPIを使うと、特定のURLのブックマーク数や詳細情報（ブックマークした日時やユーザー、コメントなどの一覧）をシンプルなGETリクエストで取得できる。 はてな API一覧 - Hatena Developer Center 指定したURLとそれ以下のパスのURL（＝指定したサイト内のURL）のブックマークの詳細情報はScrapyと組み合わせると一括で取得できる。ブックマークの合計数はAPIで取得可能。 以下の内容について説明する。 はてなブックマークAPIの種類と使い方 はてなブックマーク件数取得API はてなブックマークエントリー情報取得API はてなブックマークWebページで取得できる情報 Scrapyでクローリング・スクレイピング サイト内のURLのブックマーク数を一括取得 サイト内のURLのブックマーク日時・コメントなどを一括取得 pandasによる分析 なお、サ
pythonanywhereを試してみた - stMind
Python Programming in your Browser: PythonAnywhere フリープランのアカウントを作成して試してみました。 pythonやipythonを使ったり、フリーだと500MBまでのスペースがあるので、pythonファイルを置いてbashで実行したり出来る。Dropboxと連携することも出来るみたいだけど、試してはない。 ipythonの画面。（文字が小さいな・・・） numpyやscipyなど普通に使うことが出来るけれど、matplotlibを使うときに一つだけ注意。 matplotlibを使ってグラフを作るときにはshow()で表示は出来ず、一度savefig('graph.png')としてファイルに保存してから、http://www.pythonanywhere.com/user/your-username/files/home/your-use
iOS上で動作する革命的ものづくり環境「Pythonista 3」の魅力をとくと語る
iOS用のアプリは通常、開発アカウントを取得し、Macを使って開発します。 開発アカウントを取得するほどではないが、iOSデバイス上で何かやりたい処理がある、という人はいるでしょう。 あるいは、プログラム好きな人なら率先してiOSデバイス上でプログラミングをしたいと思うのではないでしょうか。 そうしたニーズに存分にこたえることができる、iOSデバイス上で動作する統合開発環境がPythonista 3です。 2016年9月21日に開催されたPyCon JP 2016で @equal_001 さんがPythonistaについて発表されていたのでご紹介。 Python支持者のことをPythonistaといいますが、アプリ名はそこから取ったんでしょうね。 正真正銘のPythonが内蔵されていて、ローカルで動きます。 [参考] Kazuhiro AbeさんはTwitterを使っています: 「インタプ
furl: 使い易いPythonのURLライブラリ - karasuyamatenguの日記
https://github.com/gruns/furl インストール $ git clone https://github.com/gruns/furl.git $ cd furl $ ls API.md furl.py furl.pyc LICENSE.md README.md tests/setup.pyなどはない。 python2.7以上 python2.6でも使えるようにしたフォーク：https://github.com/tengu/furl $ python Python 2.6.6 (r266:84292, Sep 15 2010, 16:22:56) [GCC 4.4.5] on linux2 Type "help", "copyright", "credits" or "license" for more information. >>> from furl impor
The jonki
年1ぐらいは日記書かなきゃ…と思ってたらもうこの時期です。 プライベート 2年連続で年末年始は子供が高熱を出していましたが、今年はなんとか大丈夫そう（鼻水ずびずびですが）。口はどんどん達者になるも頭が追いついていない感じもあり日々叱られていますが元気です。まだ可愛いが一応買っています。 仕事ではNLPerをやっていたつもりがいつの間にか音声合成屋になっていて色々と苦労も多かったです。 ただ論文を出したり、その伝手でコロナ以来初となる海外出張があり、中々充実していたかなぁと思います。ただAI系の進化も早いのでキャッチアップも大変ですたい。。 また去年はたくさん本を読みましたが今年は反動で全然読みませんでしたね。今年はちょっと取り戻したい。 買ってよかったもの Switch2買うつもりなかったのですが、シャインポストが歌声合成使っていたり、そもそも神ゲーと名高かったので、半ば冗談半分で買ってみ
辞書(Dictionary).appを使い倒そう : 紹介マニア
辞書(Dictionary).appを使い倒そう¶ published: 2010-03-21 created: 2009-05-17 Mac OS X 10.4から標準で「辞書(Dictionary).app」というアプリケーションが付属しています。 名前の通り辞書ツールです。 この文書では Mac OS X 10.5以降の「辞書(Dictionary).app」の機能に関して記述しています。 概要¶ Mac OS X 10.5 からは「大辞泉(国語辞書)」、「プログレッシブ英和・和英中辞典」、「類語例解辞典」、「Apple用語辞典」、「New Oxford American Dictionary(英英辞典)」、「Oxford American Writes's Thesaurus(英語類語辞典)」、「Wikipedia」が初期インストールされています。 「Wikipedia」はインター
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - xnl-h4ck3r/urless: De-clutter a list of URLs
GitHub - s0md3v/uro: declutters url lists for crawling/pentesting
GitHub - hogehuga/redirectChk: redirect URL checker
GitHub - domantasm96/URL-categorization-using-machine-learning
GitHub - lhw-1/pytorch-phishing-rnn: Recurrent Neural Network (RNN) project for NUS CS module CS3244: Machine Learning
GitHub - barseghyanartur/tld: Extracts the top level domain (TLD) from the URL given.
How to extract top-level domain name (TLD) from URL
GitHub - ghostlulzhacks/commoncrawl: Gathers urls from common crawl
GitHub - HamzaAnis/py-waybackurls: Mapping of https://github.com/tomnomnom/waybackurls in Python
GitHub - andripwn/waybackurl
GitHub - s0md3v/Photon: Incredibly fast crawler designed for OSINT.
PythonのURLとクエリパラメータのパースまとめ - Qiita