タグ

Scrapingに関するkeijixのブックマーク (9)

  • 厳選!あなたの引き出しを増やすデザインスクラップツールまとめ

    皆さんはお気に入りデザインの管理をどうやっていますか? はじめまして! 14新卒デザイナーとして面白法人カヤックに入社しました、トダエミです。 ソーシャルゲームチームでデザイン修行しながら、写真撮ったり絵を描いたりしています。 今回は、新卒デザイナーにとって関門の一つデザインの引き出しを増やせ! を攻略するための方法として、 デザインスクラップツールの紹介をします! 1.デスクトップ系ツール バナーもボタンもキャプチャも、これ一つ!「Spark Box」 >> http://www.icyblaze.com/sparkbox/ (対応:macUIやバナーなど単体のものをストックするのに大活躍! 私はソーシャルゲームのバナーをストックするのに使っています。 サイトに使われている画像が一覧で表示され、一つずつまたはすべてライブラリに読み込めます。 魅力的なのはソート機能! なんと自動でカラ

    厳選!あなたの引き出しを増やすデザインスクラップツールまとめ
  • スクレイピングするなら ScraperWiki 使うといいよ - ヤルキデナイズドだった

    Web ページからデータを抽出してデータベースに突っ込むことに性的興奮を覚えるみなさん、 ScraperWiki 使うとキモチイイですよ。以上です。 そうではないみなさんには少々の説明が必要かと思いますので少々書きます。 ScraperWiki はスクレーパ(Web ページをスクレイピングするスクリプト)とスクレイピングで得られたデータを共有しようぜっという Web サービスです。Wiki と名が付いていますが Wiki っぽいページ構成になってるわけではなく、スクレーパやデータを誰でも編集できるようにして成果を共有するという理念が Wiki と共通しているのが由来みたいです。 ScraperWiki を使うとスクレーパを作るのがラクになります: Web ベースのエディタでスクレーパを書き、その場で実行できる PHPPython または Ruby が使える(HTML パーサなどのモジュ

    スクレイピングするなら ScraperWiki 使うといいよ - ヤルキデナイズドだった
  • phpでxpathを使ってスクレイピング(WEBページの取得)|PHPプログラムメモ|プログラムメモ

    ■ 1. まず php-xml のインストール >|| yum install php-xml |||| $url='http://test.server.com'; // file_get_contents を使うより高速、ただしメモリはう require_once 'HTTP/Client.php'; $client =& new HTTP_Client(); $client->get($url); $response = $client->currentResponse(); $dom = @DOMDocument::loadHTML( $response['body']); $xml = simplexml_import_dom($dom); $t = $xml->xpath('id("myid")'); if (! $t){ die('xpath error'); } prin

  • node.jsでスクレイピングしてみた - あと味

    node.jsの記事を最近チラホラ見かけるので、入門してみました。 node.jsはサーバー書いてこそって感じなんだろうと思いますが、ネットワークプログラミングの経験がないので、まずは他の言語で簡単にできることをnode.jsで書いてみようという趣旨です。 node.jsのインストールとか node.jsのパッケージマネージャである、npmを使いたかったので、GitHubのnpmのページの方法でインストールしました。 MacPortsにnode.jsはあったんですけど、npmはないし、Homebrewにはnode.jsもnpmもあったんですけど、インストールしたらnpmがうまく動かなかったので、なんだか面倒な方法でインストールすることになった気がしてます。 作ったツール コマンドラインで以下のように打ち込むと、任意のディレクトリにYahoo!画像検索APIで取得できる画像を保存するサンプル

  • はてなブログ | 無料ブログを作成しよう

    水風呂のすゝめ 毎日めちゃくちゃに暑い。 ここ数年「およげ!たいやきくん」のように昼間は太陽とオフィスビルとアスファルトの三方向から押し寄せる35℃オーバーの熱に挟まれ、夜になっても最低気温が27℃くらいまでしか下がらない。そんな理不尽な東京鍋の中の暮らしが毎年のことにな…

    はてなブログ | 無料ブログを作成しよう
  • [PHP] スクレイピング 基本|WEBプログラム覚書

    Tidyは、「Tidy HTML clean and repair utility」用のバインディングで、 HTML文書の誤りを直すだけでなく、操作することやドキュメントツリーを操作することも可能となります。 とありますが、目的のノードを取得するのはhtml、bodyから辿っていかないとダメっぽい?ので面倒です。なのでtidyではぶっ壊れてるかもしれないhtml/xmlを修正して、パースは別のライブラリ使ったほうが便利です。 お手軽なのはSimpleXMLでしょうか。xpathも利用できるし。ただxpathは重い処理になるとのことですが。。。 またamp;が存在するとどういうわけかSimpleXMLが解釈できないため、 tidyのオプションでquote-nbspをfalseに指定するも下記掲示板の記述にあるように動かず。一体どういうことなんだ?? まぁ仕方ないのでereg_replaceで

  • Python向けスクレイピングライブラリ·Scrapy MOONGIFT

    ScrapyPython製のオープンソース・ソフトウェア。Webサービスから必要な情報を抜き出したり、自動操作をしたりと未だに利用されているのがスクレイピングと呼ばれる技術だ。求人、不動産、Eコマース…様々なサイトの情報を機械的に収集し、データベースに蓄積している。 Pythonで外部サイトからデータを収集する際に RubyでWebシステムを開発している場合、HpricotやNokogiriを使っていたが、Pythonによる開発の場合はどうしたら良いだろう。そこで使えるのがScrapyだ。ScrapyPythonで開発されたスクレイピングとクローリング用フレームワークだ。 ScrapyではWebサイトにアクセスしてデータを取得し、そのデータからXPathを使ってコンテンツにアクセスできる。オブジェクト指向に従って、柔軟に操作ができるのが便利だ。スクレイピングしたデータを使ってWebサイ

    Python向けスクレイピングライブラリ·Scrapy MOONGIFT
  • BIGLOBE SimplyBox(シンプリーボックス)の紹介、日本語版インストール

    僕は、接待やランチMTGデートで使えるお店なんかを仲間たちと共有してるんだ。 え!? SimplyBoxは個人的に楽しむものだって?おいおい、そいつを気で言ってるとしたら問題だな。 SimplyBoxは、集めた情報をメールで送ったり、オープンにしたりできるクールなツールだってこと知らないのかい? 最近、仲間とランチMAPづくりを始めたんだけど、ジャンのヤツ“夜のお店”ばかりピックアップしてくるんだ。 まったく困ったヤツだよ。 だから言ってやったんだ「なんで俺の好みがわかるんだ?」ってね 。 ● サービスは、米国SimplyBox社が提供するサービスです。 ● インストールをもって利用規約にご同意頂いたとみなしますので必ずご確認ください。 利用規約 SimplyBoxヘルプはこちら ● 動作環境 (インストールの際には必ず動作環境をご確認ください。) 【CPU】 1GHz以上 【メモリ

  • phpによるスクレイピング処理入門

    1. はじめに このサイトは php を利用したスクレイピング処理の具体的手法について記載されたサイトにしようと思っています。なので、あまり面白いサイトではありません。内容も偏重していることと思いますが、ご質問などがございましたら、りょーちまでご連絡ください。 1.1. スクレイピングとは スクレイピングの話しを始める前に、現在のWebサービスについて幾つか言及しておきます。 現在様々な会社が様々なWebサービスを展開しています。かなり昔、今よりWebサイトそのものが少ない頃の時代は、HTMLファイルを手動で作成することが殆どでした。しかし、現在はバックグラウンドにデータベースが存在し、データベースの内容を動的に表示し、ページを作成するようなサイトがかなり多くなっています。 さて、データベースを利用するメリットは何でしょうか? 幾つかの視点が挙げられると思います。 最も重要な点は、ひとつひ

  • 1