Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ
今まで何度もスクレイピングとかクローリングをしてきたので、マエショリストの端くれとしてコツを公開すべきかなあ、と思い、公開します。 今日の題材は、CNET Newsです。私はウェブ文書にタグ付けをするという研究をしているのですが、そのための教師データとしてクローリングをします。 photo by Sean MacEntee 要件定義 CNET Newsから全ニュースを保存し、その本文をデータベースに保存します。これは、次のようなフローに書き下すことができます。 全URLを取得し、データベースに保存 データベースにある全URLをダウンロードする 保存した全ページを解析して、本文をデータベースに保存する という流れです。これらは独立していますから、それぞれどの言語で解析しても構いません。しかし後述しますが、「あとから追いやすくする」「適材適所」といったあたりを気をつけて、言語選択をするべきだと
Mac で Vagrant を GUI で操作できる「VagrantX」をリリースしました
Shin x blog Advent Calendar 2013 の最終日です。 12/1 から毎日書いてきた Shin x blog Advent Calendar 2013 ですが、いよいよ今日が最終日です。 今日は、クリスマスということで、ささやかながらちょっとしたプレゼントを用意してみました:D VagrantX GUI で Vagrant が利用できる VagrantX というツールをリリースしました。 http://shin1x1.github.io/vagrantx/ Vagrant は、とても良いツールなのですが、いかんせんターミナル（黒い画面）で操作するものなので、それに慣れていない人にとっては、少し敬遠されている面があります。Vagrantfile を自分で書くような人はターミナルでどんどん使うべきなのですが、用意された Vagrantfile をただ使うだけであれば、
RubyでGUIアプリを作るならJRuby JavaFX Rawrで決まり！
Ruby大好きな私としては、一般配布するGUIアプリケーションとかもRubyで書きたい訳です。しかし、Windowsには標準でRubyは入っていないし、Macもバージョンが古い1.8.7が標準だしで、普段プログラミングなんかしない一般ユーザーさんでも簡単に起動できるアプリケーションを作るのがなかなか難しいという問題があります。 そういった問題から、クロスプラットフォームな言語・ライブラリ、例えばC++のQtなんかに一時期浮気したりもしたのですが、やっぱりRubyで書きたい。だってRubyが好きだから。 そして、色々調べまくった結果、はい、ついに「これだ！」と思えるRubyによるGUIアプリケーション開発環境を揃えることができました。それは… JRuby JavaFX jrubyfx Rawrこの組み合わせです…！それぞれ解説していきましょう。 JRuby … JavaでRuby！JRuby
moji 日本語の文字種判定、文字種変換(半角→全角、ひらがな→カタカナなど)を行います。
Moji モジュール 日本語の文字種判定、文字種変換(半角→全角、ひらがな→カタカナなど)を行います。 インストール: 以下のコマンドを実行してください。 $ sudo gem install moji 使い方: Ruby 1.8: $KCODE を指定してから require "moji" してください。 Moji モジュールの関数に渡す文字列の文字コードは $KCODE と一致させてください。 Ruby 1.9: どの文字コードの文字列を渡しても大丈夫ですが、 String#encoding が正しく設定されている 必要があります。正規表現を返す関数( Moji.kata など)は Encoding.default_internal (設定されてない場合はUTF-8)用の正規表現を返します。その他のエンコーディング用の正規表現は Moji.kata(Encoding::SJIS) など
Mac を使っているなら必ず使うべき2つの機能 "Automator" と "サービス" - kurainの壺
Automator ってなんか超高機能なマクロみたいなイメージがありますが、とても便利なのでご紹介。 もともとは、会社の上司が Windows から Mac に移行したのだけれど、"秀丸みたいに選択範囲を ruby で evalできないの" とおっしゃっており、しかも Emacs は微妙とのことなので、Automator でどうにかしてみた。Service でできるんじゃないかねと教えてくれた同僚に感謝。 追記(2013/02/24) デバッグ方法を別エントリに書きました できること 文字列選択して Ctrl+= を押すと選択文字列が ruby で実行されます。編集可能なテキストエリアならだいたい何処でも。 作り方 アプリケーション ディレクトリにある Automator を起動します。 新しくサービスを作ります ユーティリティ > "シェルクスクリプトを実行"というアクションを選んで右の
中西泰人研究室 » Blog Archive » 体育状況をrubyで取得する
中西研の北原です。SFCでは体育を30回もとらないと卒業出来ません。しかし体育は予約制なので運がわるいと抽選から漏れてしまいます。しかし、予約を解除する人は毎回でるので、うまく予約したいものです。そこで前々から興味があったrubyで作られているパーサのnokogiriを使ってgrowlに体育の状況を通知させてみました。 今回使ったライブラリはパーサであるnokogiri、ブラウザのようなアクセスを可能にするmechanize、rubyから簡単にgrowl通知を行うruby-growlです。どれもrubyのパッケージ管理システムであるgemsからインストールできます。 rubyでは通常簡単なhttpアクセスではopen-uriを使いますが、今回のようなhttps通信には対応していません。そこでmechanizeを利用することで簡単に取得します。ちなみにmechanizeはinputフィール
irbでコード補完
cles::blog 平常心是道 blogs: cles::blog NP_cles() « そばよし :: ケータイも ATOK vs Google日本語入力 になるのかも » 2009/12/08 irbでコード補完 ruby 256 0へぇ irbはちょっとしたコードの実行を確認するときにとても便利ですが、それをさらに便利にするtipsがRuby Advent Calendar jp: 2009 : ATNDにに載っていたのでメモ。 irb を快適に使うための Tips - まさにっき（コードで世界を変えたい人の記録） まとめると * よく使うライブラリは requier しておくと良いよ * Wirble 入れると色付きや補完機能が有効になるよ * でも Windows では色がつかないよ(追記に記載したとおり、win32console を入れると色が付きます！) * 色の表示意
Rubyを利用したiPhoneアプリ開発環境「Rhodes」 - builder by ZDNet Japan
年間5,000件の問い合わせに対応 疑問を解消したいユーザーも答える情シスも みんな幸せになるヘルプデスクの最適解 勝つためのクラウド活用術 New Value on Azure ビジネスを次のステージへ！ オリジナルコンテンツが満載！ 意外と知らないNutanix HCI の情報を集約 読めばわかる！いまHCIが注目される理由 エッジ市場の活性化へ 高まるIoTを中心としたエッジ分野への期待 OSS活用が新しい時代のビジネスを拓く 膨大なアクセスを支える屋台骨 高い安定性とパフォーマンスを両立 ZOZOTOWNが選んだストレージ基盤を解説 データ活用は次のステージへ トラディショナルからモダンへ進化するBI 未来への挑戦の成功はデータとともにある 仮想環境データ保護の新次元 高度化・複雑化するIT環境の課題への解決策 最新鋭データ保護・管理ソフトウェア基盤 すぐに実践できる仕事効率アップ
Twitter Streaming APIをRubyで試してみる - しばそんノート
Streaming APIとは TwitterのStreaming APIをご存知でしょうか。 Twitter API Wiki / Streaming API Documentation 2009年4月頃から試験的に公開されているAPIなので、ご存知な方も多いと思います。2009年8月現在でまだαテスト中ですが、これを利用すると、push型でリアルタイムに情報を受け取ることができます。 TwitterのAPIは基本的にpull型なので、クライアントが能動的にリクエストを発行しなければ情報を受け取ることができません。しかし、1時間あたりのリクエスト回数、1リクエストあたりの最大データ数など、APIには様々な制限がかけられていますので、例えばリアルタイム性の必要なプログラムや、大量のtweetsが必要な統計プログラムなどの用途で通常のAPIを利用するのは厳しいものがあります。 そのような時は
Rubyの脆弱性が発見されました - おもしろwebサービス開発日記
RubyにDOS攻撃の脆弱性が発見されたようです。 Riding Rails: DoS Vulnerability in Ruby DoS vulnerability in BigDecimal どんな脆弱性か BigDecimalからFloatに変換する部分に問題があるらしく、下記のように、大きい数値をRubyにパースさせることでDOS攻撃ができるみたいです。ActiveRecordが下記のようなコードを使っているようで、ほとんどのRailsアプリが脆弱性の対象になっています。 BigDecimal("9E69999999").to_s("F") 対象 1.8.6-p368以前 1.8.7-p160以前 1.9.1は問題ないようです。 最善の解決方法 Rubyを1.8.6-p369またはruby-1.8.7-p173にアップグレードする。 とりあえずの解決方法 Rubyのアップグレードが
Twitterの自動follow返しをRubyで - N.E.E.T―Never Ending Engineer’s Tragicomedy別館
Twitter でイチイチ follow するのが面倒くさい んだけど自前でメールサーバも立ててない - Djangoへの片思い日記 関連． Rubyだとこんな感じかな? 以下，付属ライブラリのみ使用． 自前のIMAP4サーバに対してしかテストしてないけど，たぶんGmailでも動くんじゃないかと思う． #!/usr/local/bin/ruby require 'net/imap' require 'open-uri' # IMAP4 configuration: SERVER = 'imap.gmail.com' USER = 'exampleuser@gmail.com' PASSWD = 'gmail_password_here' class Twitter USER = 'twitter_username_here' PASSWD = 'twitter_password_here'
Kazuhiro's Weblog: Googleの「勝手にREST API」を利用して検索する (Ruby編)
Googleからは、多くのWeb APIが提供されています。もちろん検索用のAPIも公開されています。その名も「Google AJAX Search API」です。 しかし、「REST」形式のAPIは公開されていないようです。「REST」形式のAPIは直感的でとても利用しやすいので残念です。 そこで、「勝手にREST API」を利用してみようと思います。「勝手にREST API」とは、Googleで検索をした際に検索結果が表示されるURLをプログラムで作ってアクセスし、その検索結果(HTML形式)をうまく利用しようというプロジェクト名です（笑)。 始めに、あるキーワードを入力して、検索を行った結果を表示するために必要なURLをつくるための情報を調べてみました。非常に有用な以下のサイトを見つけることができました。 ○「Google 検索の URL パラメータリスト」 次に、Rubyで、Goo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
今すぐ辞めて欲しい、「Ruby on Rails勉強してます」「CakePHP勉強してます」 – sumyapp
ホッテントリを上位10件だけ集めたサイト「ho10try」を作りました - #inalog
Ｒｕｂｙの女神降臨！池澤あやかのプログラミング｜【Tech総研】
Ruby Quicktips
jugyo.org
http://www.machu.jp/posts/20090818/p01/
Ruby - RSS::Parser.parseで簡易RSS: プログラミング研究室
deadbeaf.org