NodeJS + Selenium IDE/WebDriverで最強スクレイピング - Itsukaraの日記
ここ数日、「DIGAの番組表」と「東京電力の『でんき家計簿』」でスクレイピング用のプログラムを作成してみましたが、NodeJS+CasperJS+PhantomJSよりも、NodeJS+Selenium IDE/WebDriverの方が、簡単でした。スクレイピングには、NodeJS+Selenium IDE/WebDriverが最強な気がします。そこで、NodeJS+Selenium IDE/WebDriverを使ったスクレイピングの簡単な手順をメモとして残しておきたいと思います。 DIGA番組名一括変更ツールの一部をCasperJSで記述 - Itsukaraの日記 DIGA番組名一括変更ツールの一部をSelenium WebDriverを使って記述 - Itsukaraの日記 東京電力「でんき家計簿」の時間別グラフのデータ自動抽出 - Itsukaraの日記 NodeJS + Sele
橋本商会 » node-webkitでNHK Newsを連続自動再生するアプリ作った
あまりにも世情にうといので作った。 NHKのRSSを定期的にチェックして、新着ニュースの動画を連続自動再生する。 とてもテレビっぽい。おかげで4日後にオリンピックが開催されるという事を知れた。 ソースコード https://github.com/shokai/nhk-news-app zipでダウンロード https://github.com/shokai/nhk-news-app/releases node-webkitはネイティブアプリ作成のためにwebkitが改造されたwebブラウザで、HTML/JavaScript/CSSが実行できるだけでなくnode.jsのAPIもそのまま呼び出せる。 つまりjQueryでDOM操作すると同時にnodeのライブラリを使うような処理が、同じプログラムファイルにまとめて書ける。変にブリッジを書く事なくいつものnodeのように require(‘モジュ
node-webkitでNode.jsをいろんなことに使う - 素人がプログラミングを勉強していたブログ
node-webkitとは node-webkit wiki 日本ではあまりnode-webkitは知名度が高くないが、簡単に言うとIntelが開発に関わっている、nodeとWebKitを統合し、DOMコンテキスト上でnode.jsの機能を使えるようにするソフトウェア。一言でいうと言うと、ウェブでnode.jsを動かすプラットフォーム。 何ができるのか node.jsで出来ることと、ウェブで出来ることと、node-webkitが用意している機能（GUIの操作など）が使える。 例えば/etc/hostsを読み込む場合 node-webkitと同一のディレクトリに下記のようなindex.htmlを用意して <!doctype html> <html> <body> <pre id="hosts"></pre> </body> <script> var fs = require('fs'); f
Node.js 0.12 では yield が使えるのでコールバック地獄にサヨナラできる話
Node.js の次のメジャーバージョン 0.12 で yield が使えるようになります。 そのおかげで、JavaScript のコールバック地獄に光が差し込むのです。ああ、さようなら、コールバック地獄。 7 年ごしで実現した yield 2006 年、Firefox 2 のリリースと同時に yield は JavaScript 界に登場しました。随分と前の話ですね。 登場した当時は JavaScript 界隈でけっこう話題になっていました。 JavaScript 1.7 の yield が凄すぎる件について - IT戦記 Latest topics > JavaScript 1.7のyield文ってなんじゃらほ - outsider reflex JavaScript 1.7 の新機能: Days on the Moon 登場したときにはインパクト大きかったものの、結局 Firefox
Goodbye node-forever, hello PM2 | devo.ps
It’s no secret that the devo.ps team has a crush on Javascript; node.js in the backend, AngularJS for our clients, there isn’t much of our stack that isn’t at least in part built with it. Our approach of building static clients and RESTful JSON APIs means that we run a lot of node.js and I must admit that, despite all of it awesomeness, node.js still is a bit of a headache when it comes to running
Node.js : exports と module.exports の違い（解説編） - ぼちぼち日記
JavaScript Advent Calendar 2011 (Node.js/WebSocketsコース) : ATNDも皆さんのご協力で25日間終わり、無事新しい年が迎えられそうです。参加された方、ご苦労様でした。もしアドカレに穴が空きそうだったら書いてみようと思ってたネタを作っていましたので、アドカレ終了記念の番外編で書いてみます。 ちょっと前のブログになりますが、Node.js Module – exports vs module.exportsな記事が掲載されていました。 Node.js のモジュールを作成する際に使用する exports 変数と module.exports 変数の違いについての記事です。私も以前から「 module や exports って変数はいったい何だろう？」とか、「require()関数って突然どこから現れてくるのだろうか？」など実際その仕組みはどう
JSON - をnodeで整形する : 404 Blog Not Found
2013年04月02日23:00 カテゴリTipsLightweight Languages JSON - をnodeで整形する Nodeクックブック David Mark Clements / 和田祐一郎訳 [原著:Node Cookbook] \u201cって、Pythonきしょい。 CLIでJSONの整形をする - ( ꒪⌓꒪) ゆるよろ日記 パイプで`python -mjson.tool`に渡すだけ。pythonすごい。 それに、 JSONは本来JavaScriptから生じたものだからどうせならJavaScriptでやりたいし そのJavaScriptに今や標準搭載のJSON.stringify()は実はpretty printできるし どうせなら標準入力だけではなくURIやファイル名で直アクセスしたいし というわけで書きなぐったのがこちら。 node-voorhees ・ Git
第3回 Express.jsを使ったWebアプリケーションを構築 | gihyo.jp
はじめに 前回までは、Node.jsについての基礎的な説明からnpmによるパッケージ管理まで、紹介してきました。今回から、いよいよNode.jsを使ったWebアプリケーションを実装していきます。前々回に単純なHTTPサーバの実装についてコードとともに紹介しました。あれをみるとわかるとおり、nodeが提供するHTTPサーバの機能はプロトコルに沿ったローレベルなものになっています。例えば、リクエストが来たら、そのURLパスに従った処理を実行するために、リクエストURIの解析から実装していかなくてはなりません。そういったことが簡単に定義して処理を書けるWebアプリケーションフレームワークがnodeにも存在します。本連載では、その代表格のExpressを使って実装してみたいと思います。 Expressのインストール Express（Express.jsと表記されることが多い）は、非常に手軽にnod
【Android】リアルタイム通信へ挑戦
スマートフォン向けアプリ開発やサーバサイドの開発に関する技術ブログです。 エンジニアdommyのつぶやきは@shonanshachu、ソースコードはGitHubで配信中。 Android Advent Calendar 2012に参加したdommyです。 2012年もあと2日、今年も山あり谷ありの1年でした。 12月30日はすでにAdvent Calendarに載るべき日付でも無いですが、 Androidに関する記事ならなんでも良いとの事だったので、 リアルタイム通信関連の記事を書いてみたいと思います。 前提として、Androidでの通信といえばHTTPになります。 これはクライアントからのリクエストに対して、サーバがレスポンスを返すという形で、 サーバからリクエストする事は出来ないので、 リアルタイム通信とは違います。 socket通信AndroidはNDKを使えばC言語でも実装可能なの
メイキング「Birthday Song for ミク | miku-39.jp」こと技術解説 - 甘味志向＠はてな
「初音ミク」というキャラクターが登場して5年。彼女の存在は世界中へと広がり、数の多くの人を魅了してきました。 その驚きと感動を盛大に祝ってあげるためのパーティの準備、そんな気持ちでこのミュージックビデオを制作いたしました。 http://miku-39.jp 初音ミク生誕5周年おめでとう！ ということで「Birthday Song for ミク | miku-39.jp」というサイトを作りました。 せっかくなのでメイキングっぽい技術解説を書いてみたいと思います。 とりあえず miku-39.jp とはなんぞやってことなんですが、 Mitchie M ([twitter:@Tukada])さんが作った「Birthday song for ミク」という曲にあわせて Tatsuro Ogata ([twitter:@llcheesell])さんが作ったミュージックビデオにインタラクティブな感じの
Node.js、Socket.IO、MongoDBでリアルタイムWeb
Node.js＋Socket.IO＋MongoDB こんにちは！ 著者は、マインドフリーという会社でNode.jsを使ってWebアプリなどを作成している。この連載では、最新Webテクノロジを使った研究開発の事例や実績を発信する弊社のサイト“Tech Release”のリニューアルで培ったNode.jsに関する知識を分かりやすくお伝えする。 Tech Releaseは一見、普通のブログに見えるが、実は記事の更新内容がリアルタイムにView画面に反映されている。管理者が、記事の文章（データ）に変更を加えると、その記事を見ている人にもページをリロードせずに、リアルタイムに文章（データ）が変化していく。 このUXを実現するために開発したシステムが、REALTIME BLOG ENGINE「REABLO」というエンジンだ。「REABLO」はNode.jsとSocket.IO、MongoDBを使用して
なんてこった…CPANモジュールをnode.jsで動かしてしまうライブラリ「node-perl」 - tokuhirom's blog
https://github.com/tokuhirom/node-perl/ ここ最近、プログラミング言語同士の壁が徐々に破壊されている気がします。あるプログラミング言語上で別なプログラミング言語を動くようにしたり、置き換えてしまったりするような類です。今回はその一つ、CPAN moduleをnode.js上で動かすという、かなり無茶な気がしなくもない、そんなソフトウェアnode-perlを紹介します。 var Perl = require('../index.js').Perl; var perl = new Perl(); perl.use('LWP::UserAgent'); var ua = perl.getClass('LWP::UserAgent').new(); var res = ua.get('http://mixi.jp/'); console.log(res.as_
第1回 Meteorをはじめよう | gihyo.jp
Meteorとは？ Meteorは、2012年4月に彗星のように登場した、新たなアプリケーションプラットフォームです。この原稿の執筆時で、バージョンは0.3.6とされており、まだまだプレビュー版の域は超えていません。また、現状ではUNIX環境（MacOS Xを含む）でしかうまく動作しないようです。 しかし、Webアプリケーション開発をとことんまで素早く、楽に行えるようにするためのさまざまな仕組みが盛り込まれていることから、登場直後からかなりの注目を集めています（公式サイトには、「1日か2日でプロトタイプを、2～3週間で製品レベルのアプリを構築できるようにする」とあります）。 MeteorはMITライセンスに基づくオープンソースプロジェクトとして、Github上で公開されています。現在4人の開発者がフルタイムで開発に従事しており、1年以内に1.0をリリースする予定だとされています。 M
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - movableink/api-stub: Fake API server for simulating response times
GitHub - yaronn/blessed-contrib: Build terminal dashboards using ascii/ansi art and javascript
【Node.js】PassportでFacebookとTwitterのOAuth認証する方法
passport-yj
Nodeコアの歩き方 ～Nodeの開発に参加しよう～ [Node.js]![Nodeコアの歩き方 ～Nodeの開発に参加しよう～ [Node.js]](https://cdn-ak-scissors.b.st-hatena.com/image/square/7dc90afed20fc94ba0a2959f08e0a295b5041482/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F956bf01012da0130f91e12313d142636%2Fslide_0.jpg%3F780973)
Node.jsで書かれてwebベースのlog streamer「Supergrep」を試してみた - Glide Note
not found