PHPでjQueryチックにWebサイトをクローリングする方法 | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
あ、どうも僕です。 今日はPHPでWebサイトをクローリングしてjQueryチックにDOMを操作して、データを取得したり、画像などをダウンロードする方法について書こうと思うよ！ これができると何がうれしいかって、いつも手動で巡回しているサイトなんかにアップされてる画像データを自動でダウンロードできるようになるんだよね。 人がやっていた作業をコマンド一発で自動化できるから、捗ること間違いなしだよ！ あれ、この人、この前node.js使って同じことやってなかったっけか？ node.jsを使ってjQueryチックにWebサイトをクローリングする方法 なんで同じことをPHPでやってんだ？とか思っていやしないだろうか。ああそうさ！ついこの前、node.jsで全く同じことをやって記事を書いたさ！なぜかって！？それは、node.jsの非同期地獄にやられたからさ！ やつめ、データのダウンロードからデータベ
testem + mocha on Travis-CI - ブラウザでのテストを自動化する - 四角革命前夜
Travis-CIでブラウザのテストできないのかなー、できないよなーと思いつつ、いろいろ探してみたら出来るような事を知り、今ホット（なのかな？）なtestemを使う事でmochaでのテストも実行できるらしい！という事を知ったので試してみました。 準備 package.jsonの記述を変更します。 package.json "scripts": { "pretest": "./node_modules/.bin/bower install", "test": "./node_modules/.bin/mocha && ./node_modules/.bin/testem ci" }, "devDependencies": { "bower": "~0.8", "chai": "~1.5", "mocha": "~1.8", "testem": "~0.2" } testemが必要なのでtes
[Sublime Text2]SublimeLinter+jshintでJavaScriptコードを自動チェック | バシャログ。
最近、JavaScriptの新刊が本当に増えててうれしいなーと思うtanakaです。Web+DB PRESS vol.73 の連載で、JavaScriptのユニットテストについて書かれていたのを読みました。主に3つのツール・ライブラリが紹介されていましたが、中でも複数のブラウザに対して一斉にテスト実行させるtestemがすごい便利そうです。以前、同様のツールであるjsTestDriverをバシャログで紹介しましたが、testemはnpmコマンドでインストールしたらすぐテストを書き始められるし、設定を書けば、自動でブラウザを起動してくれるので楽でした。(Windows,Macともに導入できました)テスト書きたいと思っている方がいましたら是非読んでみてください。 さて、testemはまだあんまりいじってないので、今日は JavaScript のコードをjshintというツールでチェックする方法
![[Sublime Text2]SublimeLinter+jshintでJavaScriptコードを自動チェック | バシャログ。](https://cdn-ak-scissors.b.st-hatena.com/image/square/e09ad8f655ea0962c3fc07c12b65c5a618375e0d/height=288;version=1;width=512/https%3A%2F%2Fbashalog.c-brains.jp%2Fimages%2Fcat_tools.png)
Node.js + Express を Heroku で動かすまでの手順まとめ - tacamy--blog
普通の JavaScript も jQuery もまともに書けないけど、はじめての Web アプリを Node.js でつくってみるという奮闘記。 環境つくるだけなのに何も分からなすぎてハマりすぎて、この一連の流れだけで丸 2 日潰れるという大惨事だったので、ちゃんとブログに残しておく。 Node.js のインストール Node.js の INSTALL ボタンから、インストーラを使って入れることもできるけど、Node.js のバージョンを切り替えて使える方が便利だと思うので、前回のエントリを参考に nodebrew を使ってインストールするのがオススメ。 node.js 入れるなら nodebrew が超簡単 - tacamy memo インストールが正しくできているか確認のため、Node.js のバージョンを表示。 $ node -v npm のインストール Node.js にはたくさ
node.jsを使ってjQueryチックにWebサイトをクローリングする方法 | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
どうも僕です。 今日は、サーバサイドJavaScript（node.js）でjQueryチックにDOMを操作して、Webサイトをクローリングする方法についてまとめようと思うよ！ 要は、既存のWebサイトから必要な情報を収集してきて、データベースに突っ込もうということ。 これができると何がうれしいかって、簡単にまとめサイトが作れるんだよね。 クローリングする方法は数々あれど、なにゆえサーバサイドJavaScriptのnode.jsを使ってこれをするかというと、「クローリング対象の部分をjQueryのセレクタで指定できる」のが大きいわけです。 みんな、好きだよね！jQuery！とっても便利だよね！jQuery！ 好みにもよるかと思うが、JavaScriptのようなふにゃふにゃした言語をあえて使う理由は、クライアントサイドプログラミングを組むか、JQueryの恩恵を受けるためといっても過言ではあ
node.jsでHTMLスクレイピングをjQuery記法でやるライブラリみっつの比較 - たごもりすメモ
某イベントのためのコードを書くのにHTMLのスクレイピングをやりたいなー、nodeで書くかなー、去年は jsdom で書いたけど今はどうなんだろね、とか調べてたら、どうもこういうあたりのがあるらしい。 jsdom たぶん一番有名で高機能、だけど重い。 node-jquery jQuery読むだけならコレ！みたいな感じ、だけどあんまりアップデートされてないかも。使いかたはいちばんシンプル。 依存関係がちゃんと書かれてなくて、追加で手で xmlhttprequest をインストールしておかないと動かなかった。 cheerio お前ら重い！ 俺がjQuery記法を再実装してやる！ という男らしいライブラリ。 zombie ブラウザの挙動をシミュレートする的なライブラリ、Mechanizeみたいなやつかな。いまの用途では前段でHTTPレイヤをいじる必要があるので今回は用途に合わない。 sqrape
Scraping Web Pages with jQuery, Node.js and Jsdom - Liam Kaufman
I always found it odd that accessing DOM elements with Ruby, or Python, wasn’t as easy as it was with jQuery. Many HTML parsing libraries employ Simple API for XML (SAX) that can handle extremely large XML documents, but is cumbersome and adds complexity. Other parsing libraries use XML Path Language (XPath), which is conceptually simpler than SAX, but still more of an effort than jQuery. I was pl
Node.js+jQuery Mobile+MongoDBでCRUDアプリケーションを作る（その１） - Ken's Blog
はじめに この記事は、JavaScript Advent Calendar 2011 (Node.js/WebSocketsコース) の 11 日目の記事です。 Node.jsを最初に見たときの印象は、「これで簡単なWebアプリケーションをサクサク作れそう！」というものでした。スレッドではなくイベントループで、リアルタイムなWebアプリケーションの開発を容易するという特徴があるのですが、何よりも、javascriptで簡単にプロトタイプできそうという点が気に入りました。 #もともとGateway屋さんなので、イベントループで、ステートマシン的なプログラムの方が親しみがあったという点もあるかもしれません。 そこで本記事では、Node.js+jQuery Mobile+MongoDBを使ってシンプルなCRUDアプリケーションを作ってみようと思います。作るアプリケーションはMemoアプリで、今回
今更ですが、node.jsでbasic認証にかかったサイトをjqueryでスクレイピングをした。そして困った。 - ろむのシ的メモ+α
きっかけ Conkyというデスクトップ上で色々表示できるプログラムで使うスクリプトをNode JSを使って書いてます。 どういった物かというと、ルータ(年代物のCoregaのBAR FX2)から外部IPを取得するもの。 UPnPが使えるルータなので本来ならUPnPで取得したいのですが、色々やってみてもうまくとれない・・・ そこでbasic認証がかかったルータの設定画面(Web)から取得する事にしました。 環境 Node.js -> 0.4.12 // 2011/10/30でstableのやつです npm -> 1.0.101 // 最初apt-getでinstallしたら0.2.19なんてものが入った。これだと問題が発生したので入れなおした。 jsdom -> 0.2.8 // スクレイピングとかに使います jquery -> 1.6.4 // 今回指定したバージョン 取得する為にする事
注目！サーバサイドからjQueryを使ってDOM操作·nodeQuery MOONGIFT
nodeQueryはnode.js用のサーバサイドjQueryで、サーバサイドでクライアントサイドのDOMを変更できたりします。 node.jsでjQueryライブラリを読み込むと、jQueryが提供するメソッドを使えますが、さらに一歩進めたのがnodeQueryです。サーバサイドからクライアントサイドの描画を変更できたりしてとても面白い実装ができます。 インストールはnpmで行います。 まずサンプルのブログです。普通に表示されているのが分かります。 サーバサイドです。node.jsのスクリプトの中でHTMLタグを出力しているのが分かります。構文にjQueryが使われているのも分かります。 ブログの新規投稿です。 投稿できました。 Twitter検索です。 時間が更新されるデモです。サーバサイドの時間であるのがミソです。 サーバサイドのソースです。 nodeQueryを使うとサーバサイドと
nodejsでjQueryでスクレイピングしながら本文抽出にかける - mizchi log
バイトで本文抽出器を作成する必要あったのでいろいろ試していた 用意 npm install extract-contet request jquery jsdomid:yssk22さんのextractcontentを使う。 やる hackers newsのエントリ一覧にかけてみる。 coffee-script request = require('request') jsdom = require('jsdom').jsdom jquery = require('jquery') extractor = require('extractcontent') fetch = (uri,fn)-> request uri:uri, (error, response, body)-> fn error,jquery.create jsdom(body).createWindow() extract
絶賛開発中 - Web屋の人の日記 || WebJourney 開発ログ
今こんなのを作っています。 exports.setup = function(site, done){ site.all('/posts/admin/*', oauth.requiredWith('twitter')); site.install('posts', function(app){ var posts = app.model; site.get('/', $.title('Home'), posts.byTag('news'), $.render('index.ejs')); done(); }); } node.js とCouchDB で動く、アプリケーションコンテナ的な何か。 フロントエンドからサーバーサイド、果てはデータベースまですべてJavaScriptでやってやろーじゃん、的な勢いで。 普通にアプリを作るだけならCouchDBだけでもいいんですが、認証情報を持ちたくな
ryuone日記(2011-05-07)
■ [JavaScript] data.jsの1.5.2と1.6の差分 .dataメソッドは自動で、"data-"属性のデータをdataオブジェクトに設定しているが、これをHTML5の仕様に適合するように修正している。 "data-max-width-length='200'"という属性が設定されている場合、{maxWidthLength : 200}という形式で保存するようになった。 参加表明はここから。 前回途中まで読んだんだけど、1.6がリリースされたので、data.jsを最初から読みました。 data.js(1.5.2)は以前纏めたので、こちらを参照してください。1.5.2と1.6の差分に関しては、こちら。 data.jsは今回の一回のみで無事に終了。読むの確かに早くなってる。継続は力なり。 今回の読書会で、結構話題になっていたのが、正規表現の部分。 rmultiDash = /(
【１】Cubeで遊ぼう！ 迷路生成編 - はじめてのthree.js
はじめに three.jsはレンダラを変えるだけで、Canvas(2D)にもWebGLにも書き出せるっていう、色々と技術遷移中の今の時代にピッタリなJavascript 3D Engineです。 node.jsも楽しいけど、表現系でも遊んでみたい！って時に手軽にさわれる逸品です。(3Dよくわかりませんが・・・) とりあえずは準備 まず、GitHubからソース落としてきます。gitで落としてもいいし、zipファイル(右の方にダウンロードボタンがあるよ)でも落とせます。 展開すると色々入ってますが、基本必要なのは "build/Three.js" です。サンプルでは他のも利用しますが、随時配置してください。 あー、それとthree.jsのデモを見た人は、3Dモデリングソフトで作ったモデルを読み込んでグリグリ・・・みたいなのを期待してるかもしれませんが、今回そーいうの無いですよ、自分、3Dソフト
223Soft -
Document Data Structure in MongoDB Express MongoDB lets you easily store structured and unstructured data in a flexible and dynamic database schema. It supports CRUD operations on complex data objects using JSON as the main data type. Its an open source solution so it may not be as robust or well supported as commercial management tools. However it is easy to deploy and works well for most use cas
node.jsとjQueryでスクレイピングするウェブアプリの作り方
やっぱ jQuery 便利ですよ(*´・ω・)(・ω・｀*)ﾈｰ セレクタ使って jQuery でダカダカやってると、DOM とか正規表現でネチネチやるのがバカらしくなっちゃいます。 と日頃から思ってたりしてまして、サーバサイド JavaScript がメインストリームになって、jQuery でウェブアプリをコーディングできれば超ラクできるかもと期待しています。 で、先日サーバサイドJavaScriptとjQueryでスクレイピングという記事をうpったところ、やっぱ Rhino じゃなくて node.js がえーんよ(´･ω･｀)というコメントを頂きましたので、node.js と jQuery でサーバサイド JavaScript スクレイピングしてみることにしました。 今回は node.js ですので、単にスクレイピングする（コマンドラインから実行する）スクリプトだけじゃなくて、スクレイ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Swift および Objective-C を使用した iOS メモリー管理で絶対に失敗しないための 7 つのヒント