オープンソース Web 検索エンジン Apache Nutch の概要 - 木曜不足
Apache Nutch はオープンソースの Web 検索エンジン。 今年になってバージョン 1.0 が出て、Apache の TLP(トップレベルプロジェクト) になった。現在最新は v1.2。 Apache Nutch http://nutch.apache.org/ 乱暴に言うと、「検索エンジン Lucene ＋全文検索 Solr ＋ Web クローラー＋スコアリング(Page Rank)＋分散実行の仕組み」が Nutch。 ちなみに検索インデックスを作成＆格納するための mapper / reducer および分散ファイルシステムが Nutch から spin out したのが話題の Hadoop。 の割りには知名度が低い気がするのは、Web 検索エンジンを作りたいという要求が少ないせい？(サイト内全文検索なら Solr でいい) プラグインの組み合わせで virtical sea
Pythonにおける非同期処理: asyncio逆引きリファレンス - Qiita
Pythonのasyncio、またasync/awaitについてはあまり実践的な例が出回っていなかったため、収集した情報をもとに用例ベースの逆引きリファレンスを作ってみました。 ただ、この辺はほんとに情報がなくて何が真実なのか謎に包まれている点があるので、情報をお持ちの方はぜひご連絡をいただければと思います。 今回紹介する例は、以下のgistにまとめてあります。実装時の参考にしていただければと思います。 icoxfog417/asyncio_examples.py はじめに Pythonにはthreading、multiprocessing、asyncioとどれも並列処理に使えそうなパッケージが3つあります。これらの違いをまず押さえておきます。 これらのパッケージの違いは、そのまま「マルチスレッド」、「マルチプロセス」、「ノンブロッキング」の違いに相当します。まず、マルチスレッドとマルチプ
RQ: Simple job queues for Python
RQ (Redis Queue) is a simple Python library for queueing jobs and processing them in the background with workers. It is backed by Redis and it is designed to have a low barrier to entry. It can be integrated in your web stack easily. RQ requires Redis >= 3.0.0. Getting started First, run a Redis server. You can use an existing one. To put jobs on queues, you don’t have to do anything special, just
scrapy-splashを使ってJavaScript利用ページを簡単スクレイピング - amacbee's blog
これは，クローラー／Webスクレイピング Advent Calendar 2016の1日目の記事です． JavaScriptを利用したページをスクレイピングするためには，スクリプトを実行し，ページを適切にレンダリングする必要があります． 本記事では，そのようなケースに便利なPythonライブラリscrapy-splashを紹介します． 前置き ScrapyやSplashを既にご存知の方は読み飛ばして下さい． Scrapyとは？ Scrapyとは，Python製のクローリング・スクレイピングフレームワークです．フレームワークというだけあって，Scrapyにはクローリング・スクレイピングに便利なオプションがあらかじめ用意されています． Scrapyに用意されている便利なオプション例 サイトクローリング間隔を設定 robots.txtを解釈したクローリングを自動的に実行可能 Scrapyを利用す
JSON Lines
Documentation for the JSON Lines text file format This page describes the JSON Lines text format, also called newline-delimited JSON. JSON Lines is a convenient format for storing structured data that may be processed one record at a time. It works well with unix-style text processing tools and shell pipelines. It's a great format for log files. It's also a flexible format for passing messages bet
Scrapy入門（１） - Qiita
Spiderの作成 次にコンポーネントの一つであるSpiderを作成します。 Spiderにはクロールの処理を開始するためのURLのエンドポイントと、 URLの抽出するための処理を記述します。 # -*- coding: utf-8 -*- import scrapy class QiitaSpider(scrapy.Spider): name = 'qiita_spider' # エンドポイント（クローリングを開始するURLを記載する） start_urls = ['http://qiita.com/advent-calendar/2015/categories/programming_languages'] custom_settings = { "DOWNLOAD_DELAY": 1, } # URLの抽出処理を記載 def parse(self, response): for hr
DBpedia Japanese
SPARQL Endpoint 東京都 SELECT DISTINCT * WHERE { <http://ja.dbpedia.org/resource/東京都> ?p ?o . } SPARQL結果 ロック音楽のリスト (もしあれば画像uriも) SELECT DISTINCT ?label ?depiction WHERE { ?s <http://ja.dbpedia.org/property/genre> <http://ja.dbpedia.org/resource/ロック_(音楽)> ; rdfs:label ?label . OPTIONAL { ?s foaf:depiction ?depiction . } } SPARQL結果 誕生日が1月1日 SELECT DISTINCT ?label ?birthYear WHERE { ?s <http://ja.dbpedi
サポートページ：Pythonクローリング＆スクレイピング ―データ収集・解析のための実践開発ガイド―
Webサイトの変更等により動作しなくなった箇所の修正情報を一部掲載します。 著者のブログにていくつかフォローしている箇所もあるので，こちらもご覧ください。 https://orangain.hatenablog.com/entry/supplement-for-scraping-book-1st P.279 broad.py import scrapy from myproject.items import Page from myproject.utils import get_content class BroadSpider(scrapy.Spider): name = 'broad' # はてなブックマークの新着エントリーページ。 start_urls = ['http://b.hatena.ne.jp/entrylist/all'] def parse(self, respons
RDFを記述する構文｜LOD Diary｜RDF/Linked Open Data等の最新情報ブログ【Infocom デジタルアーカイブシステム】
神崎 正英 RDFのモデルと構文 情報をコンピュータに理解しやすく、共有・再利用しやすい形で記述するための枠組みとして、RDF（Resource Description Framework）を紹介してきました。これはデータを「主語」「述語」「目的語」の3要素で構成されるトリプルの組合せとして表現し、それぞれのトリプルを有向グラフで表すというものでした。 このようなノード（円もしくは長方形）を矢印で結んだ図は人間が見て関係を理解するためには分かりやすいですが、データ表現としてコンピュータが直接扱うのには向いていません。RDFで記述したデータ（グラフ）をコンピュータ処理させるためには、この有向グラフの関係を文字列として表現する具象構文が必要です。 トリプルの直訳：N-Triples RDFのトリプルは主語（S）、述語（P）、目的語（O）の3つでできており、それぞれはURI、リテラル、空白ノード
RDF用クエリ言語SPARQL
【注意】 このドキュメントは、W3CのSPARQL Query Language for RDF W3C Recommendation 15 January 2008の和訳です。 このドキュメントの正式版はW3Cのサイト上にある英語版であり、このドキュメントには翻訳に起因する誤りがありえます。誤訳、誤植などのご指摘は、訳者までお願い致します。 First Update: 2013年7月21日 RDF用クエリ言語SPARQL W3C勧告 2008年1月15日 本バージョン: http://www.w3.org/TR/2008/REC-rdf-sparql-query-20080115/ 最新バージョン: http://www.w3.org/TR/rdf-sparql-query/ 旧バージョン: http://www.w3.org/TR/2007/PR-rdf-sparql-query-20
Data validation in Python with voluptuous
Continuing my post series on the tools I use these days in Python, this time I would like to talk about a library I really like, named voluptuous. It's no secret that most of the time, when a program receives data from the outside, it's a big deal to handle it. Indeed, most of the time your program has no guarantee that the stream is valid and that it contains what is expected. The robustness prin
Polipoの設定とチューニング
とりあえずUP。 落ち着いたら導入方法を始め、もうちょっと書き直すつもり。 自分が触ったところだけ色を変えてあります、参考まで。 ### Basic configuration ### ******************* # Uncomment one of these if you want to allow remote clients to # connect: # クライアントが使うIPを、片方だけコメントアウトして明示する。 # proxyAddress = "::0" # IPv4 と IPv6 proxyAddress = "0.0.0.0" # IPv4 だけ明示してみた。 # If you do that, you'll want to restrict the set of hosts allowed to # connect: # 接続を許可するクライアントのIP
PyQuery で再びスクレイピング入門 - present
Python でスクレイピングするときに便利なライブラリで、BeautifulSoup の他によく見かけるのが PyQuery。名前から想像つくと思いますが、HTML を jQuery と同じ感覚で操作できるライブラリです。 前回、BeautifulSoup を使ってはじめてのスクレイピングに挑戦しました。 Python と BeautifulSoup でスクレイピング入門 - present スクレイピングの練習がこれで終わり、というのは味気ない気がします。PyQuery と使い比べてみましょうか。 PyQuery を easy_install でインストールします。次のコマンドを実行すると、PyQuery が依存している lxml もインストールされます。 easy_install pyquery 今回もクックパッドのレシピから情報を抽出してみます。 # -*- coding:utf-
Python(lxml)でhtmlを処理する まとめ - Gentleちゃれんじ Tips
Python(lxml)でhtmlを処理する まとめ Pythonにはxml/htmlを取り扱うためのlxmlという便利なサードパーティモジュールがあります。 ここでは、lxmlを使ってhtmlを処理する際に、使えるメソッドなどを簡単にまとめています。 (例がHTML5を使ったものなので気をつけてください。) 初歩的なものを細かくまとめたものは、 「lxmlでhtmlを処理する」にあります。 また、 lxml にある全てのメソッドを紹介しているわけではありませんのでご注意を。 1. htmlの読み込み >>> dom = lxml.html.fromstring(html) >>> dom <Element html at 1967ed8> >>> dom2 = lxml.html.parse('python_tips_003.html') >>> dom2 <lxml.etree._El
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Deep Learning基礎講座演習コンテンツ 公開ページ
CSV Geocoding Service
GitHub - jmcarp/robobrowser
commercial break #12