プログラミング・レスで5分でサックリWebスクレイピング「kimonolabs」 - プログラマでありたい
「Rubyによるクローラー開発技法」で付録か何かで書こうか悩んだ末に書かなかったのが、kimonolabsの話です。kimonolabsは、クローラー／スクレイピングをオンラインで実行できるWebサービス（SaaS）です。クローラー本を書いておいて何ですが、９割の人は自分でクローラーを作らずに、この手のサービスを利用すれば事足りると思います。（書かなかった理由は、Ruby縛りサービスの継続性とスケジュールの問題です。主に最後） kimonolabsとは？ kimonolabsは、先述のとおりWebスクレイピングをしてくれるSaaSです。会員登録してChromeの拡張をいれれば、すぐに使えるようになります。一般的に、Webスクレイピングする場合は、次のような手順が必要です。 対象ページのダウンロード ダウンロードしたページから、特定の箇所を抜き出す 抜き出したデータの保存 対象ページのダウン
Rails3 + omniauthでログイン処理をTwitterやFacebookに丸投げする | みのわーるど
ログイン機能は当然ながら、Webサービスで必須の機能の1つです。しかし、自前で認証機能を持つと面倒だったり、ユーザに対して壁を与えてしまう場合があるかもしれません。そんな時は、omniauthを使ってTwitter, Facebook認証を実装すると良いと思います。いわゆる「Twitterでログイン」ボタンみたいなやつです。 omniauthによって、例えばTwitterで認証を行いたいときは、http://yourapp.com/auth/twittterにリンクすればtwitter認証ページに飛び、認証が成功すればhttp://yourapp.com/auth/twitter/callbackがコールバックされます。規約の力ってすごいですね！ 尚、対象とするRailsのバージョンは3です。 1) omniauthのインストール Gemfileの末尾に、 gem "omniauth" と
扱い勝手の悪いCSVに立ち向かえ·Fight CSV! MOONGIFT
Fight CSV!はCSVの各行をオブジェクト化することでシステムからの扱いを容易にするライブラリ。 Fight CSV!はRuby製のオープンソース・ソフトウェア。システム開発を行う際にCSVを扱うケースは多々ある。データをまとめて放り込んだり、一括更新したりする時に使われるケースが多い。しかしシステムで扱う時にはとても面倒なフォーマットだ。 利用中 CSVを扱いやすくするライブラリは多いが、項目をばらす程度で後は配列のキーごとに処理を書いていかなければいかない。これはバグをはらみやすいし、値のチェックも大変だ。そこで使ってみたいのがFight CSV!だ。 Fight CSV!はクラスを定義して、CSVのヘッダーに定義されている項目ごとに処理分けを書くことで、CSVの各行をオブジェクトとして扱えるようにするライブラリだ。各カラムごとに処理を書けるので、バリデーションしたり、文字列を日
Gitを使って誰でもDropboxを作れる·RubyDrop MOONGIFT
RubyDropはRuby製のオープンソース・ソフトウェア。個人的にDropboxはとても便利に使っている。これなしの生活は考えられないくらい便利だ。有料であれば50GBまで使えるが、無料版の2GBでは物足りないと感じる人も多いだろう。だがお金は払いたくないという人もいるだろう。 サーバ起動中 そこで考えたいのが自分だけのDropbox構築だ。重要なのは自動的に同期されるシステムであること、バージョン管理されること、複数のコンピュータ間でデータが同じ状態に保てることだろう。それらを実現するのがRubyDropだ。 RubyDropはRuby1.9系で動作するソフトウェアだ。簡単に言えば、特定のフォルダに関してRubyDropが監視を行う。そして変更があると内容をリモートのGitリポジトリにアップデートする。Gitリポジトリ側で変更があれば、Pullする仕組みだ。 自動的に同期されている G
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Av-jyo.com
