Chrome拡張「Scraper」でWEBページ情報を手軽にスクレイピングしてデータ化する方法
Scraperとは Scraperは、WEBページ上の規則性のあるデータを手軽に取得することができるChrome拡張です。 例えば、テーブルデータや、Aリンクデータ、のような特定のHTML要素に入っている情報を、片っ端から取得してテーブルデータ化することができます。 また、その取得したデータをワンクリックでGoogleスプレッドシートに保存することができます。 テーブルデータのスクレイピングは以下の動画を見た方が分かりやすいかも。 以下では、その使い道などをいくつか考えてみました。 テーブルデータの取得 最もオーソドックスな使い方と言えば、動画にも出てきたテーブルデータの取得です。 例えば、信長の野望の以下のような武将データテーブルがあったとします。 これを、以下のように選択して、Chromeの右クリックメニューから「Scrape similar（似たものをスクレイプ）」を選択します。 す
URLを入力するだけ！コンテンツをスクレイピングしてデータ化してくれる無料ツール「import.io」
import.ioとは import.ioは、データ化したいページのURLを入力するだけで、自動でデータ箇所を判断して情報を集めてくれるスクレイピングサービスです。 無料で利用することができ、セットアップも、データ収集用のトレーニングなども必要ありません。 URLを入力して、ボタンを押すだけという簡単さから、誰にでも利用できるデータ収集ツールだと思います。 以下では、その簡単な使い方や、利用例などを紹介したいと思います。 定期的なサイトへのスクレイピングは相手サイトの負荷になるので、一日に何度も何度も同一サイトに使用するのはやめましょう。加えて、取得したデータを、そのまま何かに利用すると著作権違反になる恐れもあります。 基本的な使い方 import.ioの最大の特徴は、使い方の簡単さです。 以下では、その使い方の例として、IKEAのソファー検索結果ページのデータを取得してみたいと思います。
はてなブログカードのような美しい外部リンクをクリック一発で作成する方法
はてなブログでは、先日公開した「ブログカード」を拡張し、インターネットの一般的なWebサイトに対応しました。URLを貼るだけで、さまざまなWebページをコンパクトな「ブログカード」形式で紹介することができます。 （中略）今回の改善では、ソーシャルメディアのシェアで参照されるOGP（Open Graph Protocol）をはじめとして、Webページに記述されているmeta要素などのデータを利用し、はてなブログ外の任意のWebサイトに対応しました。 簡単に言うと、はてなではOGPというブログ概要情報を利用して、ブログカードを作成しているようです。OGPがない場合は、ヘッダーにあるmeta要素や、titleからブログ情報を取得しているようです。 今回はその、はてなのブログカード機能とiframeを利用してブログカードを表示する方法です。 ブログカード作成方法 はてなでは、以下のように書くと、ブ
URLを記入するだけ！WordPressに内部ブログカードを実装するカスタマイズ方法
作成したWordpressブログカード 今回作成したブログカードは、以下のような表示になります。（追記：はてブ数やサイトリンクは、後に機能追加されたもので以下の方法では表示されません。） サムネイルを左側にした以外は、はてなみたいな感じにしてみました。 これは、単に以下のようにエディターで書いたのみです。 WordPressブログカードの仕様 今回試しにカスタマイズしてみたブログカードの仕様は以下のようになっています。 本文記事の1行にサイト内URLのみが記載されていたらブログカード化する 1行にURL以外も記載されているとブログカード化しない カード化されるのは「投稿ページ」「固定ページ」のみ あくまで自サイトURLのみで他サイトのURLではカード化されない WordPressエディターなどで編集していて、その本文中の1行を「サイト内URL」のみで使用していれば、URLがブログカードに置
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
