はてなブックマーク

こんにちわ、Takaです。最近仕事でPythonの『Scrapy』を多く使用するのですが、今回はそのScrapyでクローリングする際にダウンロードエラーを取得してハンドリングする方法を備忘録も兼ねて紹介したいと思います。 Scrapyとは、Pythonのクローリング・スクレイピングのフルスタックフレームワークになります。とても強力で便利なフレームワークになり、冗長的な処理をフレームワーク側がやってくれるので、クローリング・スクレイピング処理に集中することができます。 なお、今回のコードはScrapyのバージョン1.4.0をベースにしたものです。 さて、まずはScrapyのSpiderクラスのサンプルコードをみていきましょう。 import scrapy class MySpider(scrapy.Spider): name = 'example' allowed_domains = ['e

こんにちわ、平昌オリンピックのスノーボードハーフパイプ、平野くんの銀メダルに興奮しましたね。さて、今回はjavascriptネタを一つ。ちょっと仕事でバーコードを読み取る機能を作らないといけなくなったのですが、探してみたらjavascriptでもバーコードを読み取ってくれる便利なライブラリがあったので紹介したいと思います。 ネイティブアプリにはたくさんのバーコードリーダーがありますし、今ではiosの標準ライブラリ「AVFoundation」でも読み取ることもできる（NW-7は非対応）など、そこまで難易度は高くないんですが、webアプリで読み取るとなるとなかなかよさそうなライブラリがありませんでした。しかし、検索してみたところ「JOB」という優秀なライブラリがありました。 JOBとは？ JOBとは、「Javascript Only Barcodereader」の略語で、その名の通りjavas