Macで少し生産性の上がるBashエイリアス集 | RickyNews
Qualityandstyle Macでは基本的にターミナルを開けばShellでコントロール可能です。 これがあるから使っている！という人も多いかと思います。 Finderをターミナルにドラッグドロップするとパスが表示されたりなど、 CUIとGUIの親和性も非常に高いです。さて個人的に作成した便利なエイリアス達を紹介します。 基本的に~/.bashrcや~/.zshrcなどに下記の行をコピーすれば動く簡単な仕様です。 md [Linux/MacOSX] カレントディレクトリにあるmarkdownファイルを全てvimバッファに載せ開きます。 alias 'md'='vim ./*.md' 複数バッファを同時に開きますが、あまりその動きは想定していません。 現在のGitのプロジェクト等ではMarkdown形式のREADMEファイルなどが必ず置かれていると思います。 そういったディレクトリに移動
ScalaのPartialFunctionが便利ですよ - ( ꒪⌓꒪) ゆるよろ日記
Scalaには、PartialFunctionというものがあります。 直訳すると部分関数ですが、これはなにかっていうと「特定の引数に対しては結果を返すけど、結果を返せない引数もあるような中途半端な関数」です。 どうやって使うのん? まぁ、ちょっと例を見てましょうや。PartialFunctionであるfooPfは、引数が"foo"だったら"bar"を返して、"foo"以外は知らんというてきとーな関数です。 scala> val fooPf:PartialFunction[String,String] = { case "foo" => "bar" } fooPf: PartialFunction[String,String] = <function1> scala> fooPf("foo") res5: String = bar scala> fooPf("hoge") scala.Mat
Partial function - kmizuの日記
http://d.hatena.ne.jp/kmizushima/20080930/1222759243のコメント欄より それ以外の使い道に興味津々ですｗ { case p1 ... }という形の式は、関数型(A => B, (A, B) => C など)が要求されている箇所で出現した場合、たとえば、 val succ: Int => Int = { case x => x + 1 }の場合、 val succ: Int => Int = (s1: Int) => s1 match { case x => x + 1 }のような、無名関数＋パターンマッチ式の形に展開されます。これが通常の場合です。しかし、PartialFunction型(これ自体はscalaパッケージにあるtraitであり、言語組み込みの特別な型ではありません)が要求されている箇所に出現した場合、たとえば、 val suc
HtmlUnitDriverを使ってHTMLスクレイピング in Scala - Qiita
package com.github.rkaneko.scalahtmlunit import scala.collection.JavaConversions._ import org.openqa.selenium.htmlunit.HtmlUnitDriver import org.openqa.selenium.{ By, WebElement } object App { def main(args: Array[String]) = { val urlOfSuumoTokyoNew = "http://suumo.jp/jj/chintai/ichiran/FR301FC001/?ar=030&bs=040&ta=13&sc=13101&sc=13102&sc=13103&sc=13104&sc=13105&sc=13113&sc=13106&sc=13107&sc=13108
人間にはわかるのに、なぜ機械にはそれがわからないのか。A.I.とスクレイピング - かれ4
この投稿は クローラー／スクレイピング Advent Calendar 2014の12月23日用です。 はじめに人間って凄い。 まずはこの画像を御覧ください。 図1 各国のECサイトの画像 Eコマースのサイトで、商品の詳細のページを見るだけですぐに商品名、価格を判断出来ましたよね？ それが英語のサイトでも中国語のサイトでも、韓国語のページでも分かりましたよね？ 凄いですね。 人間のスクレイピング能力人間は恐ろしいほどのスクレイピング能力を持っている事が分かりました。 ソースも見ない、タグも見ないで、なんとなく雰囲気だけでスクレイピングしています。 もしこの能力をコンピュータに移植できたら凄いことですね。 もし、先ほどの画像を身の回りのインターネットに一番疎い人に見せてみて下さい。 きちんとスクレイピング出来たでしょうか？ おそらく出来なかった事が多いのではないかと思います。 こんな事させて
Lambdaで作るクローラー／スクレイピング - プログラマでありたい
話題のAWS Lambda Advent Calendar 2014の14日目です。クロスポストで、クローラー／スクレイピング Advent Calendar 2014の14日目でもあります。 re:Inventで発表されて以来、注目のLambdaです。サーバを用意しなくても、バッチを直接実行できるとあって、ユースケースを考えるだけで夢が広がります。今年はクローラー本を出したこともあって、Lambdaで作るクローラー／スクレイピングをテーマにします。 クローラー／スクレイピングとは？ Webクローラーは、Webサイトを巡回してデータを取得するプログラムです。スクレイピングは、取得したデータから目的の情報を抜き出すことを指します。一般的には、クローラーの中に、スクレイピングの機能を包含していることが多いです。また、特定のページだけ取得してデータを抜き出すことを、スクレイピングと呼ぶことが多い
クローラーとAWSが出会ったら？第3回Webスクレイピング勉強会@東京 - プログラマでありたい
2014/10/26に開催された第3回Webスクレイピング勉強会@東京に参加して、発表してきました。今回は、スクレイピングと少し離れてAWSを使ってクローリングするという話です。クローラー／スクレイピングとAWSは相性が良いというのは、昔から思っていたのでテーマとして扱うことは早めに決めていました。しかし、話の構成を、具体的なテクニックの話にするか、概念的な話にするか、少し悩みました。なるべき多くの人に伝わるように、概念的な話をしたつもりです。具体的な部分についてはRubyによるクローラー開発技法を読んで頂ければと思いますw 発表資料 Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス from Takuro Sasaki Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス 資料の構成としては、クローリングする際の悩み
実践 Selenium WebDriver
本書は、Seleniumの導入と構成の仕方、テストの書き方について、包括的に解説する書籍です。IE、Firefox、Chrome、Safariなどのブラウザに対応するWebDriverの機能から、iOSとAndroidアプリケーションのテスト、さらにUIテストツールのPageObjectパターンまで、サンプルコードを使って具体的に説明します。日本語版では玉川紘子氏による「CI（継続的インテグレーション）ツールの活用」を付録として追加。WebアプリケーションのUIテストを自動化したい技術者必携の一冊です。 訳者まえがき はじめに 1章 WebDriverとWebElementの紹介 1.1 Seleniumの歴史 1.1.1 Selenium 1、別名Selenium Remote Control、別名 Selenium RC 1.1.2 Selenium 2、別名Selenium WebD
Not Found |ミレスポ！ - Millennials Sports Marketing
横浜F・マリノスユース同期6人による新たな挑戦「ROOTS.」。新時代に適応するアスリートに必要な素質とは。
ccc_privacy_bot を支える技術 - くりにっき
はじめに これは クローラー／スクレイピング Advent Calendar 2014 - Qiita の9日目です 8日目 id:dkfj さんの クローラー／スクレイピングのWebサービス 「Kimono」のユースケース - プログラマになりたい でした 9日目：ccc_privacy_bot を支える技術 先日書いたエントリがめでたく580はてブいきました。 気づいたらGIGAZINEさんにも取り上げてもらえました。 ﾌｧｯ!? / “Tカードが個人情報を提供する企業を通知してくれる「Tカード個人情報提供先新着bot」 - GIGAZINE” http://t.co/8j0JNPylod— sue445 (@sue445) 2014, 11月 20 このボットで使ってるスクレイピングとクローリングのTipについて解説します ソースコード ソースコードはgithubに公開しています。
Headless Browser and scraping - solutions
I'm trying to put list of possible solutions for browser automatic tests suits and headless browser platforms capable of scraping. BROWSER TESTING / SCRAPING: Selenium - polyglot flagship in browser automation, bindings for Python, Ruby, JavaScript, C#, Haskell and more, IDE for Firefox (as an extension) for faster test deployment. Can act as a Server and has tons of features. JAVASCRIPT PhantomJS
まだmechanizeで消耗してるの? WebDriverで銀行をスクレイピング（ProtractorとWebdriverIOを例に） - 詩と創作・思索のひろば
今日はスクレイピングの話をします。 今回のターゲットは三菱東京UFJダイレクト。金融機関もウェブサービスを提供するようになり、金にまつわる情報を電子化しやすくなりましたが、かれらが API を提供しているわけではないので、私たちのほうで取得・加工をしてやる必要があります。今やウェブサイトであれば当然のように JavaScript を使っているわけなので、いわゆる mechanize、つまり HTML の解釈をおこない、リンクのクリックやフォームの送信をシンプルに実装するようなやり方でのスクレイピングはすでに無理筋だといえます。 もちろん今日においてはブラウザオートメーションという方法がすでにありますので、これを利用してやれば、なんの憂いもなく実際に人間が使うようなブラウザをプログラマティックに操作することができます。現在は Selenium WebDriver がデファクトで、これが使用す
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://filippodeluca.com/programming/2012/11/02/Pimping-Jsoup/
Schedule — AAFW
GitHub - Rovak/ScalaWebscraper: Scala Webscraper
GitHub - chimerast/scala-html-scraper: Jericho + Jaxen を使用してHTMLスクレイピングをするプログラムのサンプル
Introducing Metascraper - a Scala library for scraping page metadata
GitHub - lloydmeta/metascraper: Scala library for scraping metadata from specified URLs (e.g. OpenGraph)
GitHub - Glamdring/state-alerts: Get email alerts whenever a certain keyword is used in publications from set of state institutions - government, parliament, agencies, etc.
Blogger
Getting started
GitHub - bplawler/crawler: Scala DSL for web crawling
GitHub - punchdrunker/AppReviewViewer
第3回Webスクレイピング勉強会@東京 happyou.info
クローラー／スクレイピングのカレンダー | Advent Calendar 2014 - Qiita
Using the command line
http://scraping.pro/using-selenium-webdriver-for-website-scraping/
http://scraping.pro/web-scraping-python-scrapy-blog-series/
10分でわかるPythonの開発環境
Import.io
Resources Archive - Import.io
import.io
http://scraping.pro/
Downloading Item Images — Scrapy 0.24.4 documentation