robots.txtとは？意味やSEO効果、設定方法を徹底解説 | ウィルゲート
「robots.txtでSEO対策ができるってどういうこと？」「robots.txtとはそもそも何？」とサイトの内部対策に関する悩みを持っていませんか。 robots.txtを活用することで、重要でないページのクロールを制御して、インデックスさせたいページを効率よくクロールさせることができます。 本記事では、robots.txtの意味やSEO効果、設定方法について解説します。 robots.txtとは、サイトのルートディレクトリに設置するテキストファイルで、コンテンツごとにクロールを拒否できます。 robots.txtのファイルのなかにクローラーの巡回を禁止する構文を記述し、ドメインのルートディイレクトリに設置することで、ページごとのクロール頻度を制御できます。 つまり、検索エンジンのクローラーを、自サイトの重要なコンテンツを中心にクロールさせることができます。 robots.txtのSE
Pythonでかんたんスクレイピング （JavaScript・Proxy・Cookie対応版）
ソース 以下のようになると思います． スクレイピングしたいページのURLと出力ファイル名を指定すると，ページのタイトルなどがJSON形式で帰ってくる仕組みです． 関数scrapingが本体です． import sys import json import requests from bs4 import BeautifulSoup import codecs def scraping(url, output_name): # get a HTML response response = requests.get(url) html = response.text.encode(response.encoding) # prevent encoding errors # parse the response soup = BeautifulSoup(html, "lxml") # extra
Python による Web スクレイピング - RAMBO
Web スクレイピングとは、プログラムによって自動的に Web から情報を取得する技術のことを指します。 本稿では、Python によって Web スクレイピングをする際の注意点、およびその方法について記載します。 まず、Web スクレイピングについて Wikipedia から引用します。 ウェブスクレイピング（英: Web scraping）とは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。ウェブ・クローラー[1]あるいはウェブ・スパイダー[2]とも呼ばれる。 通常このようなソフトウェアプログラムは低レベルのHTTPを実装することで、もしくはウェブブラウザを埋め込むことによって、WWWのコンテンツを取得する。 ウェブスクレイピングは多くの検索エンジンによって採用されている、ボットを利用してウェブ上の情報にインデックス付けを行うウェブインデクシングと密接な関係がある。
GETとPOSTの使い分け ついでにPUTとDELETE - Qiita
PHP 5.5.31 CakePHP 2.8.0 GETとPOSTの違いをよく忘れるので、CakePHPの時の使い分けとともにまとめます。 以下を参考に、ところどころ引用しています。 http://techtipshoge.blogspot.jp/2012/08/getpost.html GETとPOSTの役割 入力フォームのデータをサーバへリクエストするときに使用する。 定義 GETの定義 リクエストとして送信されるデータはURLに含まれる (「URL?パラメータ名=値」という形式) 「?」パラメータのはじまり 「&」パラメータの切れ目 「=」挟んだ左側がGETの変数名、右側が渡される値 データを取得したい時に使用 データベースの書き換えが必要ない場合。 POSTの定義 リクエストとして送信されるデータはメッセージボディ部に含まれる メッセージボディは、HTTPリクエストのパラメータ内容
Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の久保 (@beatinaniwa) です。 今日は義務教育で教えても良いんじゃないかとよく思うWebクロールとスクレイピングの話です。 私自身、日頃は社内に蓄積されるニュース記事データや行動ログをSQLやPythonを使って取得・分析することが多いですが、Web上にある外部データを使って分析に役立てたいというシーンはままあります。 単独のページをガリガリスクレイピングしたいときなどは、下の1年半ぐらい前の会社アドベントカレンダーに書いたような方法でやっていけば良いんですが、いくつもの階層にわかれたニュースポータルサイトやグルメポータルサイトを効率よくクロール+スクレイピングするためには、それに適したツールを使うのがすごく便利です。 qiita.com そこでPython用スクレイピングフレームワークScrapyの登場です。 Scrapy | A Fast
サーチコンソールの登録方法と初心者でも分かる使い方【最新版】 | LISKUL
1.Google検索での表示回数やクリック数などの表示状況の確認サーチコンソールでは、Google検索における表示回数やクリック数、クリック率といった「Web上でユーザーに視認されている数」を確認することができます。 ユーザーの検索クエリ（キーワード）も確認できるので、自サイトがどんなキーワードで検索されているのか、どんな情報を求めらているのかを把握できることで対象ページの改善やSEO対策コンテンツの作成につなげられます。 2.外部被リンクや内部リンクなどのサイトに関係するリンク状況の確認サーチコンソールのリンク機能では、外部被リンクや内部リンクなどのサイトに関係するリンク状況を確認することができます。 サイトのリンクを把握することはSEO対策をする上で必須になります。Googleの検索エンジンでは「質のいい外部被リンクが多いサイト」は、評価が高いと認識されているためです。 Webサイトの
Node.jsによるWebクローラー開発テクニック - クジラ机ブログ
「JS+Node.jsによるWebクローラー/ネットエージェント開発テクニック」という長いタイトルの本を書きました。先日より、Amazonで予約注文ができるようになっています。 内容は、JavaScript(主にNode.js)を利用して、クローラーを作ったり、形態素解析をしたり、人工無能（会話ボット）を作ったり、機械学習をしたりと、盛りだくさんの内容になっています。 中級者向け（脱初心者のため）の本となっています。JavaScriptをもう少し頑張ろうと思っている方、尖ったことに挑戦したい方、アフィリエイターや自動ページ生成系で広告収入を狙っている方など、多くの方に読んでいただければと思っています。よろしくお願いします。 補足 * 2015/09/04 2016/06/17 書籍の内容(p.26)に対するフォローです。 Vagrantで仮想マシンをセットアップする際、設定ファイル「Va
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
oinume journal