おつかれさま、MYM 〜僕とMYMのフロントエンド戦争〜 - Yahoo! JAPAN Tech Blog
部屋への入室は招待かURL欄に部屋名を直接入力で可能です。もし入力した部屋が存在しなかった場合、新規に部屋が生成されます。 非公開設定はいらないのではないか、とよく言われるのですが「入室を拒んでいるわけではないが検索を汚したいわけではない」という日本人的なニーズを満たしていて僕は気に入っています。先の記事で数字が載っていた通りMYM上には部屋が全部で15万ほど存在しますが、この公開設定のおかげかこれだけの部屋数になっていても検索性をあまり損なっていません。 ヘビーに利用するユーザーであれば数百を超える部屋に入室するのは当たり前で、2000をオーバーすることも珍しくはありません。例えば僕は1000部屋以上入室しています。 > document.querySelectorAll('.list-myroom li').length 1109ぱっとこの数字だけ聞くと、まともに処理できる量を超えてい
ヘッドレスブラウザ(Chrome)を使ってSPAをスクレイピングする - Qiita
一般的なスクレイピング手法とその問題点 スクレイピングというと、HTTPクライアントライブラリを用いてHTML取得し、HTML/XMLパーサーで解析するというのが一般的だと思います。 この手法の場合、以下の場合にうまく処理できません。 ターゲットのページがJavaScriptにより動的にDOMを操作する場合 HTML/XMLパーサーが取得したHTMLを正しく解釈できない場合(正しくないHTMLでもブラウザはなんとか処理するが、パーサーライブラリは正確なHTMLでないと処理できないことがある) 特に問題になるのは前者でしょう。最近のWebサイトではJavaScriptでDOMを操作することは珍しくなくなってきています。SPAであればなおさら難しく、もはやこういった手法によるスクレイピングは不可能でしょう。 ヘッドレスブラウザによるスクレイピング 動的なDOMやパーサーがうまく解釈できないとい
Node.jsでスクレイピングするならば - プログラマでありたい
昔、Rubyでクローラー/Webスクレイピングの本を書きました。今でもちょくちょくとスクレイピングのコードを書いたりはするのですが、実行基盤についてはサーバの運用管理が面倒くさいのでAWS Lambdaを使うことが多いです。そうなると、Lambdaは基本的にはRubyが使えないので、言語はPythonかNode.jsを利用することになります。Pythonもいいけど、今後のことを考えるとNode.js力を高めておきたいと考えています。ということで、Node.js縛りでスクレイピングの仕方です。 スクレイピング対象のページの種類 私の中の勝手な定義ですが、スクレイピングには3種類あります。 1. 静的サイト／JavaScript不要なページに関するスクレイピング 2. 対話型サイト／JavaScript不要なページに関するスクレイピング 3. JavaScript前提のページに関するスクレイピ
IDCFクラウドをゴリゴリに使ってクローラを運用してみた - ROOTING LAB
山本ゆうごです。会社ブログ一個めです。 ルーターはIDCFクラウドを使っています。 IDCFクラウド -使いやすく、パワフル｜IDCフロンティア 一台ミニマム月額500円というお安い値段ですね。チカッパとかそういうれんたるサーバ並です。 これを実際に業務（大半はクローラー）で使ってみるとどうなるかをお披露目したいと思います。あんまり節約を考えずにさくっと業務に使うと、１月は２０万ちょっとのコストでした。 一ヶ月２０万円の内訳 仮想マシン ¥46,860 IPアドレス ¥5,000 ボリューム（ルートディスク・データディスク）¥26,964 アーカイブデータ ¥108,714 ネットワーク転送 ¥0 CPUスペックは一番下でオッケー クローラーは相手サーバに負荷をかけないようにsleepを挟むので、実はCPU負荷ってあんまりないんですね。だからCPUは一番下の、light.S1 というタイプ
【Ruby】セッション管理されてるWebページのソースをRubyで取得する | ITベンチャーで働くエンジニアのメモ帳
こんばんは、最近すっかり暑くなりましたね。 最近Webサイトをクロールする（サイトの方には許可をもらってます）仕事をよくやっていて、セッションをきちんとみて画面遷移をコントロールしているサイトをクロールするときに勉強になったことをまとめます。 今回も言語はRubyで作ってみました。 当初open-uriを使ってWebページのhtmlソース取得していました。 require 'open-uri' require 'kconv' CHROME_USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.75 Safari/535.7' html = open(url, {"User-Agent" => CHROME_USER_
Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ
今まで何度もスクレイピングとかクローリングをしてきたので、マエショリストの端くれとしてコツを公開すべきかなあ、と思い、公開します。 今日の題材は、CNET Newsです。私はウェブ文書にタグ付けをするという研究をしているのですが、そのための教師データとしてクローリングをします。 photo by Sean MacEntee 要件定義 CNET Newsから全ニュースを保存し、その本文をデータベースに保存します。これは、次のようなフローに書き下すことができます。 全URLを取得し、データベースに保存 データベースにある全URLをダウンロードする 保存した全ページを解析して、本文をデータベースに保存する という流れです。これらは独立していますから、それぞれどの言語で解析しても構いません。しかし後述しますが、「あとから追いやすくする」「適材適所」といったあたりを気をつけて、言語選択をするべきだと
capybara-webkit を headless（画面なし・Xなし）で動かした - babie, you're my home
どうも皆さんこんにちは、GW返上で頑張る babie でございます。日中にキャッキャウフフ行楽してる奴は殺人光線を浴びて死ぬ。 Rails のインテグレーションテストで一般的となった Capybara ですが、JavaScript のテストには選択肢が色々あります。envjs, selenium, akephalos, celerity, culerity などなどです。迷いますねー。 ですが、当方、Ruby 1.9.2 p136 on VPS の関係のため、 envjs ―― 依存してる johnson が Ruby 1.9 系列ではコンパイルできないので× selenium ―― X ごっそり入れるのイヤなので× akephalos ―― 依存してる HTMLUnit が jQuery 1.2 までしか対応してないので× celerity ―― JRuby 専用なので× culerit
ブログの本文抽出にチャレンジ - Ceekz Logs (Move to y.ceek.jp)
zuzara.com を読んでいると、ブログの本文抽出にチャレンジしているのを見つけました。 tdかdivで囲まれた文字列で、文章と比べてHTMLのタグがあまり多くないもののうち、一番文字数が多いのが本文だろう、というアルゴリズム。 PHP で書かれたコードを Perl に移植しながら、もっと効率的なアルゴリズムが無いかを考えていました。 まずは、『タグの数』ではなく、比率をで判定するように改良（？）しました。 スコア = タグ除去後（length） / タグ除去前（length） タグが含まれていないときが最大値になるので、スコアは 1 が最大となります。タグの数よりもこっちの方が良さそうだったのだけど、コメント部分を抽出してしまう可能性が非常に高い。だめぽ。 牛乳を飲みつつ考えていると（カルシウムを摂取して身長を伸ばす）、ひらめきましたよ！要は、長い文章を取り出せればいいのだから、句読
MOONGIFT: » タイトル・本文抽出クローラー「Webstemmer」:オープンソースを毎日紹介
これはやばい！凄すぎる。 現在進めようと思っているプロジェクトでは、サイト上の本文抽出が重要な技術になっていた。だが、それを一から開発していたのではあまりに時間がかかってしまう。さらに重要な技術ではあるが、それが売りと言う訳ではなかった。 そこで見つけたのがこのソフトウェアだ。まさに理想的な方法かも知れない。 今回紹介するオープンソース・ソフトウェアはWebstemmer、タイトル・本文抽出クローラーだ。 WebstemmerはPythonで作られたクローラーで、Webクローラー/レイアウト分析/テキスト抽出/URL DB操作/簡易的なテキスト抽出の5つの機能が提供されている。 動作原理については公式サイトを参考にして欲しいが、個人的にも考えていた（考えていただけ）方法に近い。学習時間が長いのが難点だが、複数台のPCで分散化できれば問題なくなるだろう。 特徴的なのは、特定の言語に左右される
クローラーも分散型コンピューティング·Grub MOONGIFT
Open Tech Press | 米Wikia：分散型ウェブ巡回ツールを買収、オープンソース化より。 分散型コンピューティングという手法は面白い。古くはSETI@HOMEやUD Agent等があった。コンピュータが高性能化し、台数が急増している中、利用度はむしろ低くなっている可能性は否めない。 そして、Web巡回を行うクローラーもまた、分散型コンピューティングに名乗りを上げた。 今回紹介するオープンソース・ソフトウェアはGrub、分散型コンピューティングを利用したWebクローラーだ。尚、オープンソース化するとの事だが、現状配布されているバージョンではライセンスはLooksmartのものになっているのでご注意いただきたい。 GrubはWindows、Linux向けに提供されており、インストールするとタスクトレイに常駐する。そして、PCが利用されていない時にクローリングを行うソフトウェアだ。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
puppeteer/docs/troubleshooting.md at main · puppeteer/puppeteer
GitHub - schickling/chromeless: 🖥 Chrome automation made simple. Runs locally or headless on AWS Lambda.
第一回機械学習若手勉強会にて「みんなの就職活動日記」クロールについて話した - 糞ネット弁慶
TechCrunch Japanese アーカイブ » Cuill―スーパーステルス検索エンジン。Googleも注目