ScalaでWebスクレイピングしようとしたメモ | mwSoft
概要 極力Scalaの標準機能を使って、HTMLをスクレイピングしてみようと思っていろいろ試したメモ。手探り状態なので、かなりうだうだとしています。 HTMLパーサはいろんな意味で手に負えないので、Validator.nu HTML Parserを使用。 前書き Scalaは標準でXPathっぽくXMLを扱う機能が用意されている。ので、Webスクレイピングという用途にはわりと向いていると思う。 フルセットのXPathのような多様な指定ができるわけではないので、専用のライブラリを使った方がかゆいところに手は届く部分も多いけど、細かいライブラリの使い方を勉強しなくても、普段使ってるScalaのCollectionみたいな気分で要素を操作できるのは、なかなかに心地良い。 ScalaのXML操作の基本 ScalaでXMLを扱う場合は、scala.xml配下のXML、Elem、Node、NodeSe
一つのカラーから配色セオリーに基づいてカラースキームを作りだす配色設計に役立つツールのまとめ
コーポレートカラーなど、一つのカラーをベースに配色セオリーからカラースキームを設計したり、同系色やグラデーションを作りだしたりできるオンラインツールを紹介します。 またカラーのストックを増やしたり、カラーをベースにしたムードボード作りに役立つツールもいくつか。 最初は、国産のツールから。 配色の見本帳 | キーカラーで選ぶ配色パターン 一つのカラーをベースに、さまざまな色の法則から配色パターンを表示します。 上は緑みの青（#0099CE）をベースにしたもの。キャプチャの他に、彩度や明度による配色、色相環による配色など、さまざまな配色を表示します。説明付きなのも嬉しいポイントです。
2013年買ってよかったもの
普段あまりものを買うことがないのだが、諸々の事情で今年の後半は衝動買いに近い買い物を何度かやらかした。 割と当たりが多かったので、買って正解だと思ったものを紹介しようと思う。 iRobot Roomba 780 言わずと知れた、全自動掃除機。 タイマーをセットしておけば、曜日ごとに決められた時間に部屋の中を掃除してくれる。 床に物を置きっぱなしにしておくと大惨事になるため、床に物を置かない習慣が身につくという副次的な効果がある。 掃除が終わったら自動的に充電器まで戻ってくるのだが、たまに迷子になって電池切れを起こしていることがあって、それがなぜか可愛く思えてくる。 普通の掃除機よりは静かだが、目が覚める程度の動作音があるので、「家を出ないと確実に遅刻する時間のX分前」にタイマーをセットしておくと、遅刻を防げるというライフハックがある(Xは最短で身支度できる時間)。何度か救われた。 Macb
ScalaでWebスクレイピングして画像収集する - tototoshi の日記
2011年も相変わらず「Scalaは実用的なのか？」という 「え、実用的も何も、普通に使ってますが、、、」としか答えられない質問を幾度も受けました。 Scalaは実用的で、例えばコミケのコスプレ画像の収集などができます。*1 【コミケ81】コスプレイヤー画像まとめ：１日目【C81】さとろぐ。 からjpg画像を一括ダウンロードし "data/(画像のURLの最後の/以下)"というファイル名で保存しようと思います。 ポイント dispatchでHTMLを取得する LiftのHTMLパーサでHTMLをxmlに変換する ScalaのXMLサポートでxmlを解析して画像のURLを抜き出す ExtractorでURLの分解 scala-ioを使ってファイルに保存 dispatchでHTMLを取得する 別にdispatchでなくてもscala標準のscala.io.sourceでもできるし、scalaj
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
