Webページの本文抽出 (nakatani @ cybozu labs)
Webページの自動カテゴライズ の続き。 前回書いたとおり、パストラックで行っている Web ページのカテゴライズでは、Web ページの本文抽出がひとつの鍵になっています。今回はその本文抽出モジュールを公開しつつ、使っている技法をざっくり解説などしてみます。 本モジュールの利用は至極簡単。require して analyse メソッドに解析したい html を与えるだけ。文字コードは UTF-8 です。 【追記】大事なこと書き忘れ。本モジュールは Ruby1.8.5 で動作確認していますが、特別なことはしていないので、1.8.x なら動くと思います。 $KCODE="u" # 文字コードは utf-8 require 'extractcontent.rb' # オプション値の指定 opt = {:waste_expressions => /お問い合わせ|会社概要/} ExtractCont
http://clipboarded.blogspot.com/
No hay ninguna entrada con la etiqueta patterns. Mostrar todas las entradas No hay ninguna entrada con la etiqueta patterns. Mostrar todas las entradas Inicio Suscribirse a: Entradas (Atom)
Geekなぺーじ : Rubyネットワークプログラミング
ここでは、Rubyによるネットワークプログラミングの説明を行いたいと思います。 ここで対象としている読者は、ネットワークプログラミング初心者（もしくは入門者）です。 TCP 簡単なTCPサーバとクライアント TCPクライアント(エラー処理付き) 何度も受信できるTCPサーバ TCPサーバ(acceptした相手の確認) UDP UDPを使う UDPでブロードキャストを使う UDPでマルチキャストを使う(マルチキャストを送信する) UDPでマルチキャストを使う(マルチキャストを受信する) UDPでマルチキャストを使う(TTLを設定する) Web 簡単なHTTP GET（Net::HTTP） HTTP HEADと全てのHTTPヘッダの表示（Net::HTTP） HTTP POST（Net::HTTP） 簡単なRSSクライアント その他 IO::selectを使う IPアドレスからホスト名への変換
Rubyist Magazine - 解説 Ruby Refactoring Browser - Emacs でリファクタリング
『るびま』は、Ruby に関する技術記事はもちろんのこと、Rubyist へのインタビューやエッセイ、その他をお届けするウェブ雑誌です。 Rubyist Magazine について 『Rubyist Magazine』、略して『るびま』は、日本 Ruby の会の有志による Rubyist の Rubyist による、Rubyist とそうでない人のためのウェブ雑誌です。 最新号 Rubyist Magazine 0058 号 バックナンバー Rubyist Magazine 0058 号 RubyKaigi 2018 直前特集号 Rubyist Magazine 0057 号 RubyKaigi 2017 直前特集号 Rubyist Magazine 0056 号 Rubyist Magazine 0055 号 Rubyist Magazine 0054 号 東京 Ruby 会議 11 直
Ruby認定試験対策問題
お知らせ 2007年11月27日 参加希望者が少ないため、Ruby認定試験の第二回に向けた勉強会は行わないことにしました。 総合的な問題を11問追加しました。合計で、20問公開してます。 ご活用ください。 総合問題 No.1 2007年11月21日 総合的な問題を9問を公開しました。 11月26日(月)までに、10問程度を追加する予定です。 総合問題 No.1 2007年10月26日 解答と解説を公開しました。ご覧ください。 回答と解説 2007年10月26日 第15回オープンソースサロンで， 問題のいくつかを解説しました。ご参加いただきありがとうございました。 はじめに Ruby認定試験 の対策として、NaCl の有志で模擬試験問題を作成しました。 Ruby認定試験は次の日程で行われます。 第一回 2007年10月27日(土) - 終了 第二回 2007年12月1日(土) - 終了 第
プログラミング言語Ruby ― ありえるえりあ
方針 Rubyをまったく知らない前提で始めます Java、JavaScript、elispのようなメジャーな言語と対比しながら説明します なるべく手を動かして目に見える形で説明を進めます 次回Ruby on Railsの勉強会をするので、それにつながることに重点を置きます 逆に言うと、RoRであまり使わない知識は流します。例えば、ファイル操作周りやスレッド周りなど 開発環境(2) .emacs.elに書くべき記述 ; ruby (autoload 'ruby-mode "ruby-mode") (setq auto-mode-alist (cons '("\\.rb$" . ruby-mode) auto-mode-alist)) (setq interpreter-mode-alist (append '(("ruby" . ruby-mode)) interpreter-mode-al
スクリプト言語の比較
スクリプト言語の比較 *1 *2 *3 *4 *5 *6 *7 コメント 行の継続 定数 未代入の変数へのアクセス 変数の展開 入出力 出力 フォーマット出力 出力先変更 標準入力 __END__ 演算 +1 整数／整数 負数の除算 文字列 真と偽 多重代入 多岐分岐 関数 関数 関数引き数 関数引数に対する副作用 関数のデフォルト引数の値の評価タイミング 関数のデフォルト引数にコンテナ型を使用した場合の振舞 関数戻り値 関数の再帰 関数の別名 関数定義内関数定義 関数の引数の順番 関数にファイルハンドルを渡す オブジェクト指向 クラスの定義 インスタンスメソッドの定義 メソッドのクラス内での利用 インスタンスメソッドの可視性 インスタンスメソッドの追加 インスタンス変数 インスタンス変数の可視性 インスタンス変数の追加 クラス変数 クラスの継承 多重継承 スーパクラスのメソッド呼び出し
いやなブログ: 配列操作の比較表: Ruby, Python, JavaScript, Perl, C++
配列操作の比較表: Ruby, Python, JavaScript, Perl, C++ プログラムを書いていると、他のプログラミング言語の記憶とごっちゃになって、「配列の後ろに要素を追加するのは push だっけ、 append だっけ」などと混乱することがあります。特に Ruby, Python, JavaScript はコードの書き方が似ているので、この問題が起きがちです。 そこで、備忘録として、 Ruby, Python, JavaScript, Perl, C++ の配列操作の比較表を作りました。一番慣れている Ruby を基準にしています。間違いなどがあったらご指摘いただけると助かります。他の言語のもあるといいなあ。 Ruby (Array) Python (list) JavaScript (Array) Perl (@) C++ (std::vector)
プログラミングは素晴らしい - [Rails] Rails の動作環境と Location について
最近、プログラミング系のトピックについて全然書いていなかったので、今日は久しぶりに Ruby On Rails について書きます。 今回は複数 Rails 環境を VirtualHost ではなく、Location の違いによって実装する方法についてです。 背景 多くの Ruby On Rails アプリケーションを解説する文章では、virtual host 機能を利用して、/ の Location が Ruby On Rails として使われていることを前提に説明がなされています。 しかしながら、DNS の設定の権限を持っていない場合などでは、virtual host の利用は現実的な解ではありません。他に、http://localhost:3000/ などと、ポート番号指定で行うという方法もありますが、ポート番号指定はあまり好きではない方もいらっしゃるでしょう。そういう人たちのために、
![プログラミングは素晴らしい - [Rails] Rails の動作環境と Location について](https://cdn-ak-scissors.b.st-hatena.com/image/square/cfa89b12da2dca0057619c004dbe11af44691e31/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127082240160%2F17680117127082249643%2F1556344930)
プログラミングスレまとめ in VIP - 初心者用課題
初心者用の課題を集めて見ました。言語は問いません。入力出力は特に問いません。キー入力でもファイルでもソースにべた書きでもいいです。答えは誰かが書いてくれます。それまではスレで聞いてください。 ループ練習 Hello World![改行]を5回表示させてください。 print(或いはprintf,cout等)を5回コピーすれば当然可能ですが、ループ構文(for,while等)を利用して、print等は1回の使用にとどめてみてください。 出力結果 Hello World! Hello World! Hello World! Hello World! Hello World! 可能ならコマンドラインから入力を受け取って、n回表示するように改造してください。 何回目のHello World!かも表示してみてください。 実行例(Java) java hellos 7(ここはコマンドラインの入力) H
Ruby Filter - odz buffer
ref:Life is beautiful: オブジェクトを次々に渡す「Ruby Filter」ってどうだろう どうせやるなら、Ruby の中でもパイプラインを構築できるようにすればいいのに。 require 'pp' require 'uri' require 'open-uri' require 'rubygems' require 'scrapi' class Filter def initialize(&block) @proc = block end def |(filter) Filter.new do |arg| filter.execute(execute(arg)) end end def execute(arg) @proc.call(arg) end end def parseURI Filter.new do |arg| URI.parse(arg) end end
Ruby Scraping - FrontPage
RubyによるWeb Scrapingライブラリの情報をまとめるためのWikiです。 HpricotHTMLを「Rubyらしく」扱うライブラリ MechanizeWebサイトへ自動でアクセスするためのライブラリ scRUBYt!DSLを使って簡単にスクレイピングを行うライブラリ feedalizerhtmlからRSSフィードを作るのに役立つライブラリ scrAPIパーサを定義することでHTMLを解析するライブラリ ウェブサイトから必要なデータを抽出すること。(Scrape = 削り取る) ライブラリによっては、受信したデータの解析だけでなくデータの送信にも対応している。 例： RSSを配信していないウェブサイトのHTMLをスクレイピングして野良RSSを作る Googleの検索結果をスクレイピングして自動でGoogle検索するスクリプトを書く ブログの投稿ページを解析して、コマンドラインから
Don'tStopMusic - DB分散の次は非同期処理がウェブアプリのスケーリングのトレンドになる , るびま 21 号
_ [ソフトウェア] DB分散の次は非同期処理がウェブアプリのスケーリングのトレンドになる サイボウズも memcached + MySQL DB 分散 Cybozu Developer Network: MySQL Users Conference Japan 2007 講演概要 を読んで、memcached でキャッシュ＆ 複数の MySQL をアプリのロジックで分散化というのは、もうすっかりスケーラブルなウェブアプリの作り方として常套手段になったと思いました。 2004 年 4 月の MySQL カンファレンスでの Brad Fitzpatrick の発表 Inside LiveJournal's Backend (PDF)から約 3 年半。Mixi やはてなのようなエッジな企業はだいぶ前からこの構成を採用してますが、対法人のビジネスをしているサイボウズでも採用されたというのは一つ
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
[ruby] irbを使う前にしておくべき3つ( α)の設定 - Greenbear Diary (2007-08-01)
■ [ruby] irbを使う前にしておくべき3つ(+α)の設定 Rubyで試行錯誤しながら開発したいときにはirbを使うのが便利です。 今日はirbをさらに便利にする設定をいくつか紹介します。 ホームディレクトリ*1に .irbrc というファイルを 作り、そこに設定を書いていきます。 (1) タブ補完 # --- completion require 'irb/completion' メソッド名をTABキーで補完できるようになります。 例： yhara@meteor:~ % irb >> a = [] => [] >> a.ind[TAB] a.index a.indexes a.indices (2) リファレンス検索 川o・-・）＜2nd life - Irb/TipsAndTricksより。 IRB上から「r」というメソッドでrefeを引けるようになります。 例： >> r :p
![[ruby] irbを使う前にしておくべき3つ( α)の設定 - Greenbear Diary (2007-08-01)](https://cdn-ak-scissors.b.st-hatena.com/image/square/b0dd2a08b2c0fff30d70543ed7fa340ebfeb5697/height=288;version=1;width=512/https%3A%2F%2Froute477.net%2Fd%2Fassets%2Fogimage.png)
10分でできる初めてのRubyプログラム：CodeZine
Scaffoldで生成したアプリケーションは出発点にすぎず、自立した完成品のアプリケーションではありません。このため、開発者がプロジェクトに適した形になるように手を加える必要があります。しかし、毎回似たような修正を行うのであれば、生成した時点でその修正が反映されている方が、より生産性も向上します。そこで本稿では、Scaffoldをカスタマイズする方法を紹介します。 去る8月30日（土曜日）、ライトウェイトプログラミング言語（Lightweight programming Language）の総合カンファレンス「LL Future」が、なかのZERO（中野区もみじ山文化センター）大ホールで開催された。当日は前線の影響で時おり豪雨に見舞われる中、さまざまな言語のユーザーや開発者など千人近くが集まった。 第1回目では、品目情報と品目区分の入力部を画面上に配置し、フォーカスイン／アウト時の背景の表
Use the Ruby Captcha Gem for Rails User Registration | Ruby on Rails Blog
If you decide that you want to add captcha validation to the user registration of your ruby on rails application its really not that difficult. Make sure first to install the gem using gem install captcha. After installing the gem you can use / modify the following code to add captcha protection to your user signups: class NewCustomerController < ApplicationController require_gem 'captcha' layout
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM 軽量 Web サーバー - Japan
irbsh 〜IRB.extend ShellUtilities〜
プログラミング言語 Ruby リファレンスマニュアル