結論 Scrapy で長いURLを対象にするときは、設定ファイルのsettings.pyにURLLENGTH_LIMITを書いてURLの最大長を記載する。 自分がやったときはURLの長さが3,800文字だったので、4,000文字に設定した。 # URL LENGTH URLLENGTH_LIMIT = 4000 ログレベルについて あるサイトを対象にScrapyしてたとき、次のページを取らないというバグが発生する。 ログを眺めているとDEBUGの文字とともにURLが長いからリンクを無視と出ている。 [scrapy.spidermiddlewares.urllength] DEBUG: Ignoring link (url length > 2083): 対象URL いや、気付けたから良いのですが、URLを無視するのはdebugでは無いと思っております。 私の考えですがdebugは開発時に使
はてなブックマークAPIを使うと、特定のURLのブックマーク数や詳細情報(ブックマークした日時やユーザー、コメントなどの一覧)をシンプルなGETリクエストで取得できる。 はてな API一覧 - Hatena Developer Center 指定したURLとそれ以下のパスのURL(=指定したサイト内のURL)のブックマークの詳細情報はScrapyと組み合わせると一括で取得できる。ブックマークの合計数はAPIで取得可能。 以下の内容について説明する。 はてなブックマークAPIの種類と使い方 はてなブックマーク件数取得API はてなブックマークエントリー情報取得API はてなブックマークWebページで取得できる情報 Scrapyでクローリング・スクレイピング サイト内のURLのブックマーク数を一括取得 サイト内のURLのブックマーク日時・コメントなどを一括取得 pandasによる分析 なお、サ
Python Programming in your Browser: PythonAnywhere フリープランのアカウントを作成して試してみました。 pythonやipythonを使ったり、フリーだと500MBまでのスペースがあるので、pythonファイルを置いてbashで実行したり出来る。Dropboxと連携することも出来るみたいだけど、試してはない。 ipythonの画面。(文字が小さいな・・・) numpyやscipyなど普通に使うことが出来るけれど、matplotlibを使うときに一つだけ注意。 matplotlibを使ってグラフを作るときにはshow()で表示は出来ず、一度savefig('graph.png')としてファイルに保存してから、http://www.pythonanywhere.com/user/your-username/files/home/your-use
iOS用のアプリは通常、開発アカウントを取得し、Macを使って開発します。 開発アカウントを取得するほどではないが、iOSデバイス上で何かやりたい処理がある、という人はいるでしょう。 あるいは、プログラム好きな人なら率先してiOSデバイス上でプログラミングをしたいと思うのではないでしょうか。 そうしたニーズに存分にこたえることができる、iOSデバイス上で動作する統合開発環境がPythonista 3です。 2016年9月21日に開催されたPyCon JP 2016で @equal_001 さんがPythonistaについて発表されていたのでご紹介。 Python支持者のことをPythonistaといいますが、アプリ名はそこから取ったんでしょうね。 正真正銘のPythonが内蔵されていて、ローカルで動きます。 [参考] Kazuhiro AbeさんはTwitterを使っています: 「インタプ
https://github.com/gruns/furl インストール $ git clone https://github.com/gruns/furl.git $ cd furl $ ls API.md furl.py furl.pyc LICENSE.md README.md tests/setup.pyなどはない。 python2.7以上 python2.6でも使えるようにしたフォーク:https://github.com/tengu/furl $ python Python 2.6.6 (r266:84292, Sep 15 2010, 16:22:56) [GCC 4.4.5] on linux2 Type "help", "copyright", "credits" or "license" for more information. >>> from furl impor
年1ぐらいは日記書かなきゃ…と思ってたらもうこの時期です。 プライベート 2年連続で年末年始は子供が高熱を出していましたが、今年はなんとか大丈夫そう(鼻水ずびずびですが)。口はどんどん達者になるも頭が追いついていない感じもあり日々叱られていますが元気です。まだ可愛いが一応買っています。 仕事ではNLPerをやっていたつもりがいつの間にか音声合成屋になっていて色々と苦労も多かったです。 ただ論文を出したり、その伝手でコロナ以来初となる海外出張があり、中々充実していたかなぁと思います。ただAI系の進化も早いのでキャッチアップも大変ですたい。。 また去年はたくさん本を読みましたが今年は反動で全然読みませんでしたね。今年はちょっと取り戻したい。 買ってよかったもの Switch2買うつもりなかったのですが、シャインポストが歌声合成使っていたり、そもそも神ゲーと名高かったので、半ば冗談半分で買ってみ
辞書(Dictionary).appを使い倒そう¶ published: 2010-03-21 created: 2009-05-17 Mac OS X 10.4から標準で「辞書(Dictionary).app」というアプリケーションが付属しています。 名前の通り辞書ツールです。 この文書では Mac OS X 10.5以降の「辞書(Dictionary).app」の機能に関して記述しています。 概要¶ Mac OS X 10.5 からは「大辞泉(国語辞書)」、「プログレッシブ英和・和英中辞典」、「類語例解辞典」、「Apple用語辞典」、「New Oxford American Dictionary(英英辞典)」、「Oxford American Writes's Thesaurus(英語類語辞典)」、「Wikipedia」が初期インストールされています。 「Wikipedia」はインター
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く