goop - Google検索結果をスクレイピング
Googleの検索結果を取得して分析に使いたいと考える人は大勢います。しかし機械的に収集しようとすると、GoogleからCAPTCHA入力が求められます。そのため自動化しづらく、手作業で収集している人も多いでしょう。 しかし裏道がありそうです。Facebookを経由するとそのトラップに引っかからないようです。その実証として作られたのがgoopです。 goopの使い方 goopで検索を行います。その際、Facebookのクッキーを適用するのがコツです。 from goop import goop page_1 = goop.search('open source', '<facebook cookie>') print(page_1) ちゃんと検索結果が返ってきます。 {0: { 'url': 'https://opensource.org/osd-annotated', 'text': '
ishideoのブックマーク / 2008年12月4日 - はてなブックマーク
RESTfulデータベースというと何のことやらといった感があるが、言わばキーと値のデータベースで、通信をHTTP経由で行うものだ。キーを指定してポストすれば新規追加され、ゲットを使ってデータを取得する。PUTで更新、DELETEで削除と言った具合だ。 Google App EngineをRESTfulなデータベースに！ そんなキーと値のデータベースは様々に存在する。リレーショナルデータベースと違って、単純なデータ構造だがテキストや文字列を扱うのに都合がいい場合もある。それをGoogle App Engineを使って実現するのがApp3だ。 App3はPythonで作られたオープンソース・ソフトウェアで、GPLの下に公開されている。 筆者環境ではまだうまくいっていないのだが、データはキーとともにJSON形式で保存できる。そしてGETを使ってデータを取得する。リストを使ってデータの一覧を取得す
Google App EngineをRESTfulデータベースに·App3 MOONGIFT
RESTfulデータベースというと何のことやらといった感があるが、言わばキーと値のデータベースで、通信をHTTP経由で行うものだ。キーを指定してポストすれば新規追加され、ゲットを使ってデータを取得する。PUTで更新、DELETEで削除と言った具合だ。 Google App EngineをRESTfulなデータベースに！ そんなキーと値のデータベースは様々に存在する。リレーショナルデータベースと違って、単純なデータ構造だがテキストや文字列を扱うのに都合がいい場合もある。それをGoogle App Engineを使って実現するのがApp3だ。 App3はPythonで作られたオープンソース・ソフトウェアで、GPLの下に公開されている。 筆者環境ではまだうまくいっていないのだが、データはキーとともにJSON形式で保存できる。そしてGETを使ってデータを取得する。リストを使ってデータの一覧を取得す
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
