Mechanizeによるスクレイピングの基本的なことまとめ - そのねこが学ぶとき
Exhibiの内部的な話を書こう書こうと思って忘れてた。とりあえずMechanizeについて。 Mechanizeはスクレイピングを楽にしてくれるRubygemsです。ExhibiではMechanizeを使ったスクレイピングのRakeタスクを作成し、それを日次で実行することで、各美術館のサイトから展覧会情報を抽出しています。抽出した情報がDB内に存在していれば無視。存在しないのならDBに追加。こういうクローリングに関しては、ちょうど時同じくしてRubyのクロール入門本が去年出たんですけど未読です。技術的な話のみならず、人様のサイトへ機械的にアクセスする際のお作法的なことも載っているらしく、いつかは読みたいところ。 Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例posted with amazlet at 15.02.07るびきち 佐々木 拓郎 SBクリエイティブ 売り
モダンなRails開発をしてみての振り返り - 130単位
Rails3.2/GitHub/Pivotalという割とモダンな環境で2ヶ月間開発してました。その契約期間が終了したので、振り返ってみます。 Gems 自分の担当で、初めて(本格的に)使ったGemたち no title 帳票PDF出力 no title PDF解析(テスト用) no title Zip圧縮 no title ユーザー認証 no title HTML加工 no title 検索フォーム補助 no title よりよいフィクスチャ no title RSpecマッチャ拡張 no title 並列テスト no title プログレスバー型RSpecフォーマッタ 日に日にテスト実行時間が長くなっていて、どうにかしたいと思って最終日に探してすぐ導入したParallel testsが印象的です。 Retrospection ひとり開発でやっていたことが活かせた Railsは経験の蓄積が
Ruby を利用した大規模ウェブサービスの開発・運用 - RubyKaigi 2011 発表資料 - クックパッド開発者ブログ
技術部開発基盤グループの id:secondlife こと @hotchpotch こと舘野です。 先日の RubyKaigi 2011 で、「Ruby を利用した大規模ウェブサービスの開発・運用」という内容で発表させていただきました。 前半はクックパッドのサーバアーキテクチャ、各種サーバのアプリがどんな風に動いているのかの紹介を、後半では「開発」→「デプロイ」→「フィードバック」→「開発」…という、サービス開発で行われているサイクルを30人以上エンジニアが居るクックパッドでどう高速に回し続けているかのお話しです。 Ruby を利用した大規模ウェブサービスの開発・運用 [slideshare id=8630511&w=425&h=355&sc=no] View more presentations from hotchpotch 当日のRubyKaigi 2011 での発表の動画は、以下を
Stranger in Paradigm | Just another WordPress weblog
You pay a fixed amount, and receive total ownership of this domain. Ideas for showqase.com Here are some possible uses for this domain name: Digital Portfolio Showcase. Showqase could offer a platform for artists, designers, photographers, and other creative professionals to showcase their work online. With customizable templates and user-friendly interface, this platform would attract individuals
ubuntuでrails環境構築～ubuntu9.10改訂版～ | ダオカオス☆D流のライフスタイル
去年4月に書いたubuntuでrails環境構築は、予想外の反響を頂き、いまだにこのブログのアクセスする人の2割がこの記事目当てにきているみたいです。 しかし、この記事を書いてから9ヶ月たちubuntuのバージョンも2つ上がって、最新のubuntuではパッケージがなくなったりしてうまくいかないところがちらほら出てきたので、改めてubuntu9.10用に書き直してみました。 今回も基本的にパッケージからインストールするようにして、さくっと開発環境を作る方向で書いています。 今回の検証環境 ubuntu9.10(server版) windowsXP上のVMWareで動作 今回インストールしたもの(主なもの) paco 2.0.7 ruby 1.8.7 rubygems 1.3.5 rails 2.3.5 SQLite 3.6.16 MySQL 5.1.37 PostgreSQL 8.4.2
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
