Webスクレイピングのノウハウを公開します | 東北ギーク
photo credit: the local eye sore : man scraping illegal billboard, castro, san francisco (2014) via photopin (license) こんにちは。リスペクトの木村です。 今回は「スクレイピング」についての話題をお送りします。 スクレイピングとは ウェブスクレイピング（Web scraping）とは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。ウェブ・クローラー(Web crawler) あるいはウェブ・スパイダー(Web spider)とも呼ばれる。 ウェブスクレイピング – Wikipediaより 要するに、「APIを利用せずにWebページのHTMLデータを収集して、データを抽出したり整形する技術」の事を指します。 収集方法も様々で、最近ではkimonoのようなサ
プログラミングでよく使う英単語のまとめ【随時更新】
プログラミングでよく使う英単語のまとめ【随時更新】 随時追加、整理していきます。 名前をつけるときには、名詞、動詞の違い、複数形、過去形などに注意しましょう。 オブジェクト指向では、クラス名は名詞、メソッドは動詞とします。 使ってはいけない言葉 get / set アクセサ (getter / setter) やプロパティによく使われている。 それ以外に使うと混乱を招くのでよくない。 get は軽量な処理と考えるので、中に重い処理は書いてはいけない。 単純な取得/設定以外で使いたくなったら他の言葉を考える。 load, save, commit, store, enable, disable, fetch, register, configure, add, etc... check 意味が広すぎて何をしているかわからない。 できるだけ別の言葉を使う。 具体的に何をしているかに分解して考え
マッチングルール
テキストの検索言語は、Proxomitron のフィルタがどのように働くのかを理解する鍵になります。複雑な HTML タグにマッチさせることができるようになりますし、マッチした部分を変数に入れておいて、後から置換テキストで利用したりできるようになります。 もしあなたが、DOS や UNIX で使われるファイル名のワイルドカード（*,?,[...]）とか、正規表現に詳しければ、それが Proxomitron で使われるマッチングルールとよく似ていることに気が付くでしょう。実際、私自身のゴールは、ワイルドカードと同じくらい簡単に使えて、しかもそれに正規表現の力を加えた検索言語を作ることなのです。私がそれに成功したかどうかはわかりませんが、どうにかして動くようにはなりました！ ;-) もし、あなたがこのようなことに馴染みがないのであれば、まずは テキストマッチング入門 をご覧ください。 多くのル
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
