Webstemmer のしくみ
back [English] 基本的な原理 レイアウト分析ツール analyze.py 本文を抽出する extract.py パターンファイルの構造 おわりに 基本的な原理 Webstemmer では、以下のような仮定をもとにして Web ページを分析しています。 すべての記事には共通した (たかだか数種類の) レイアウトが使われている。 各ページにはメインとなる文章がひとつ含まれている。 (従って、この原理は日記や掲示板などのサイトには使えません) 記事の文章は毎日変わっても、そのレイアウトは変わらない。 バナー広告やナビゲーションの HTML タグは同一レイアウトのページで不変。 Webstemmer はこの仮定をもとに、 あるニュースサイトの同一レイアウトをもつページをまとめ、 それらのページ中で「変化していない部分」をさがします。 バナーやナビゲーション用のリンクなどはレイアウトが
Webstemmer（クローラーツール）
日本語サイトでは、具体的な性能は測定していませんが、 以下のようなサイトで正しく動くことがわかっています: アサヒ・コム Nikkei NET Mainichi INTERACTIVE Yomiuri On-line IT media 東京新聞 日刊スポーツ 信濃毎日新聞 livedoor ニュース 使いかた Webstemmer をつかったテキスト抽出は以下のようなステップになります: まず、特定のニュースサイトから種となる HTML ページを多数取得する。 取得したページのレイアウトを学習する。 別の日に、同一のニュースサイトから新しい HTML ページを取得する。 2. で学習した結果をつかって、新しい HTML ページから本文を抽出する。 1. および 2. のステップが必要なのは最初の 1回だけです。 ひとたびサイトのレイアウトを学習してしまえば、 あとはレイアウトが大きく変更さ
これぞ定番！ iMac＋iPod touchで始める音楽生活 (1/4)
今、iMacが売れている。国内販売店の実売データをまとめている「BCNランキング」では、2月末までは5〜7％のシェアだった国内デスクトップパソコンのシェアが、3月にいきなり15％まで上昇したという話もあった。この4月のBCNランキングを見ても、デスクトップの3位と4位がiMacだ（関連リンク、関連記事）。 春は新たな出発の季節。晴れて大学生になる人、新社会人になる人、転勤や転職などで環境が変わる人も多いだろう。心機一転、新しいマシンを調達しようとすると、普通ならWindowsマシンを買うところだが、iMacを選ぶ人も意外と増えているということだ。 そうした新しくiMacを手に入れた人々に、ぜひともお勧めしたいのがiMacとiPod touchを使った音楽生活だ。なぜiPodシリーズの中でiPod touchを選ぶのか？ その理由は…… スピーカー内蔵なので「ちょい聴き」したいときに便利 単
みんなもっと JavaScript Shell 使おうぜ!! - hagino3000's blog
今日の若手IT勉強会でちょっとしたデモをやるのに使ったのですが、そんなに知名度が高くなかったみたいなので紹介。簡単に説明するとブラウザ上で動作する対話式JavaScript実行環境です。Firebugのスクリプトコンソールと同等の機能ですが、シェルっぽい動作が私は好きなので使っています。フォントも大きくできるので、発表か何かでデモを見せる時にも活用できます。 JavaScript Shell http://www.squarefree.com/shell/ Firefoxの場合はブックマークレット版を使えば、開いているページのコンテキスト上で任意のコードが実行できます。 機能(一部) JavaScriptの実行(入力してEnterキー)。複数行入力する場合はShift+Enterで改行 TABキーでプロパティ名の補完 ↑↓キーで実行履歴の参照 ans で前回の評価結果の参照 print で
プラグインで独自ストレージを作ろう - mixi engineer blog
OpenSocialとかC++0xとか世の中の流れが早すぎて、いろいろと勉強しなきゃなと焦りつつも、ついついピクミン2にはまってしまうmikioです。今回はTokyo Tyrant（TT）を使ってユーザ独自のストレージシステムを簡単に構築する方法について説明します。 プラグインとは オブジェクト指向プログラミングに慣れた人にとっては、インターフェイスと実装を分離することによってプログラムの拡張性や保守性を向上させる技法（データ抽象）は常識ですよね。その考えをさらに進めると、インターフェイスのみをプログラムに記述しておいて、具体的な実装は実行時に割り当てるという、いわゆるプラグイン（plug-in）という技法に至ります。プラグインでカスタマイズできる能力をプラガブル（pluggable）などと言ったりもします。 例えばTokyo Cabinet（TC）では、レコードの挿入、削除、参照といった
Mozilla Re-Mix: Firefoxのデータベースを最適化して高速化を図るアドオン「SQLite Optimizer」
Firefox 3では、履歴やブックマーク、クッキーなどの他、一部アドオンの利用データもSQLite データベースで管理しています。 日々の利用により、このデータベースが大きくなってくると、Firefoxの起動に時間がかかったり、動作が緩慢になってくるということなどが考えられます。 このようなとき、データベースの最適化をすることによって、Firefoxの動作を軽くするという方法がブログなどにもよく書かれていますが、これを実行するには「SQLite Manager」というアドオンをFirefoxにインストールして起動し、お使いのプロファイルフォルダから該当データベースを探して[Reindex]を行うという作業が必要となり、初心者にはちょっと実行しにくいものがあります。 ＜参考記事＞ firefox 3が遅くなった→ SQLite reindexで解決＆高速化 via しおそると Firefo
GT Nitro: カーレーシング・ドラッグレーシングゲーム - Google Play のアプリ
GT Nitro: Car Game Drag Raceは、典型的なカーゲームではありません。これはスピード、パワー、スキル全開のカーレースゲームです。ブレーキは忘れて、これはドラッグレース、ベイビー！古典的なクラシックから未来的なビーストまで、最もクールで速い車とカーレースできます。スティックシフトをマスターし、ニトロを賢く使って競争を打ち破る必要があります。このカーレースゲームはそのリアルな物理学と素晴らしいグラフィックスであなたの心を爆発させます。これまでプレイしたことのないようなものです。 GT Nitroは、リフレックスとタイミングを試すカーレースゲームです。正しい瞬間にギアをシフトし、ガスを思い切り踏む必要があります。また、大物たちと競いつつ、車のチューニングとアップグレードも行わなければなりません。世界中で最高のドライバーと車とカーレースに挑むことになり、ドラッグレースの王冠
モドール (webやぎの目)
10年前の同僚に偶然あってびっくりした --- パスモが便利だ。定期を定期入れから出さなくていい。 しかしもともと（15年ぐらい前の）定期はそういうものだった。駅員に見せればよかったのだ。非接触。喜んでるけどもとにもどっただけという気がする。 携帯電話もメモリがあるので電話番号を意識せずに電話をかけられる。でも大昔の電話って交換手に話したい相手の名前をいえばよかったらしいじゃないか。番号を暗記しなければならない不便な時代を超えて、もとにもどっただけだ。 回転寿司も人気の店は食べたいネタを店員にいうのだ。これも元に戻ってる。 便利になったものは実は元に戻ってるということがわかったので、iPodの新型はカセットテープが入ってると思う。
403 Forbidden
＼閉鎖予定のサイトも売れるかも？／ アクセスがないサイトもコンテンツ価値で売れる場合も… ドメインの有効期限を更新してサイト売却にトライしてみましょう
Canonical Huffman Codes - naoyaのはてなダイアリー
1999年出版と少し古い書籍ですが Managing Gigabytes を読んでいます。理解のために 2.3 で出て来る Canonical Huffman Codes の習作を作りました。 ハフマン符号は情報圧縮で利用される古典的なアルゴリズムで、圧縮対象データに出現するシンボルの出現確率が分かっているときに、その各シンボルに最適な符号長の接頭語符号を求めるものです。 通常のハフマン符号はポインタで結ばれたハフマン木を構築して、ツリーを辿りながら各シンボルに対する接頭語符号を計算します。このハフマン木には曖昧な箇所が残されています。ハフマン木は木の辺を右に辿るか左に辿るかで符号のビットが決まりますが、右が 0 で左が 1 などというのはどちらでも良いという点です。(曖昧だから駄目、という話ではありません。) 従って、ハフマン木から生成される符号は一意には決まりません。 ここで各シンボル
東京モノレールの高架を追ってどこまでも行く、自転車で - 東京エスカレーター
行ってみた/やってみたのりもの三昧のゴールデンウィーク。突然だが私はモノレールがだいぶ好きだ。乗るのも好きだけど下から見るのも楽しい。それはどの高架だってそうだがモノレールは特にイケてると思う。例によって、どこがといわれても困る話なのでまずは見ていただきたい。 鎌倉で乗りまくってきた湘南モノレール。懸垂式はかっこいい。かっこよすぎる。 第五高炉を見に行った時に出会った千葉都市モノレール。これも懸垂式。母は、千葉より金沢（地元）のほうが都会だと言い張っていたが（金沢市民はなにかと加賀百万石をもちだして都会ぶる傾向がある）、私はこのモノレールを見た瞬間、負けたと思った。 そして横浜方面に行った帰りに羽田空港を通り過ぎたあたりでよく見かけるのが、激渋の東京モノレールの高架。なんかもうとにかくこげ茶色で、これは何かの遺構か？と思ったところで颯爽と上をぴかぴかの電車が走り抜けていく、あれだ。浜松町か
自転車初心者に学んで欲しいテクニック - kureのブログ
『自転車の国の王子様』のDVDを購入。定価２９４０円（税込み） 待ちに待った番組DVDが発売されましたよ。 これで貴女も自転車乗りへの一歩を踏み出せます！ サイン色紙プレゼントは２００９年２月２８日締め切りなのでお早めに〜 自転車の国の王子様~超初心者のための趣味ガイド~ [DVD] 出版社/メーカー: 東北新社発売日: 2008/11/14メディア: DVD クリック: 24回この商品を含むブログ (6件) を見る感想を書く為にじっくり見直して参りました！ まず、特典映像のインタビュー＆メイキングから 特に面白いシーンは無かったです… そしてあんまり自転車とは関係なく、タック王子への個人的なインタビューが多かった。 歯並びを気にしているとか判ってもどうしようもないや。 この特典映像は、完全に女性向け仕様だったか。 オタク向けに、ガナリアや姫との絡みも１シーンくらい欲しかったぜ！ 本編の内
巷で話題の anything.el を使ってみた ― ありえるえりあ
anything.el って何？ 「open anything」できるようになるらしいのですが、少し抽象的で分かりづらいと思います。簡単に言えば、複数の機能をひとつのインターフェースに統合してしまうということです。例えば、 M-x anything RET emacs と入力すれば、 find-file の候補として ~/.emacs 、 Info の候補として Emacs などが列挙され、さらに絞りこんだり、十字キーで直接選択して実際の機能を利用したりします。 動作原理 antyhing は入力されたパターンと anything-sources に定義されている複数の機能を使ってインクリメンタルに候補を生成します。つまり文字を入力してパターンを更新するたびに新しい候補が出てくるのです。 anything-sources は基本的に名前と候補関数のリストで構成されており、具体的な機能は候補
Emacs + GDB チートシート - higepon blog
Emacs + GDB を利用したいならば、何よりも GNU Emacs Manual: Debuggers（英語） を読むことを強くおすすめします。 和訳も存在しますが内容が古く、マウスを利用した操作やグラフィカルな機能についての記述がありませんでした。 マニュアルを読んで理解したあとは実践で覚えていくわけですが、以下にまとめたチートシートを利用すれば時間が節約できるかもしれません。 もしも便利な機能に関して漏れがあれば是非教えてください。 .emacs ;;; GDB 関連 ;;; 有用なバッファを開くモード (setq gdb-many-windows t) ;;; 変数の上にマウスカーソルを置くと値を表示 (add-hook 'gdb-mode-hook '(lambda () (gud-tooltip-mode t))) ;;; I/O バッファを表示 (setq gdb-use
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
JIS X0212 for pTeX - pTeX(sjis) JMacoros package for MacOSX (ppc/intel)
2024年3月15日 Drag & Drop UpTeXを、TeX Live 2023 scheme-smallベースのものに更新。なお開発環境の変化にともない、10.13 High Sierra以降での動作となった。 2023年3月21日 Drag & Drop UpTeXを、TeX Live 2023 scheme-smallベースのものに更新。 2022年4月5日 Drag & Drop UpTeXを、TeX Live 2022 scheme-smallベースのものに更新。 2021年4月3日 Drag & Drop UpTeXを、TeX Live 2021 scheme-smallベースのものに更新。また全てのソースコードをSwiftで書き直した。 2020年11月23日 Drag & Drop UpTeXについて、macOS 11.0 Big Surに対応しつつ、Catalina
第6回 Catalyst::Upgrading：検証はお早めに | gihyo.jp
3年前の大混乱 モダンPerl界を代表するウェブアプリケーションフレームワークといわれるCatalystが2006年半ばに5.6系統から5.7系統に移行したとき、創始者のゼバスティアン・リーデル氏を追い出す形で集団管理体制に移行した開発チームが最初にしたことは、プロジェクト開始当初から使われてきたCatalystという名のディストリビューションはそのままに、Catalyst-Runtimeという新しいディストリビューションをつくることでした。 このようなディストリビューション名の変更は、CPANクライアントを使っている分には（内部でモジュール名からディストリビューション名への変換が行われるので）問題にならないのですが、外部のパッケージ管理者たちには少なからぬ負担をかけました。なにしろ突然100を越す関連パッケージの依存が変更になるのです。基本的にはメタ情報だけ書き換えれば済む話とはいえ、従
Mac OSXでもWindows的なウィンドウの最大化を·Right Zoom MOONGIFT
WindowsとMac OSXの違いを最初に感じるのはウィンドウの最大化の違いかもしれない。Windowsの場合、全画面に渡って一つのウィンドウが表示されるが、Mac OSXの場合フィットする形で広げてくれる。表示項目が最大まで必要でなければ、いっぱいまで広がることはない。 通常の最大化 慣れるとMac OSX方式の方が便利なのだが（特にAppleは画面が横広なので）、スイッチャーの場合はWindows方式の方が便利かもしれない。もしそうであればRight Zoomを使ってみよう。 今回紹介するフリーウェアはRight Zoom、ウィンドウの最大化をWindows風にするソフトウェアだ。 Right Zoomを実行した後、ウィンドウの最大化ボタンを押すと、画面いっぱいにウィンドウが表示されるようになる。もう一度押すと押す前の状態に戻る。これはWindowsのウィンドウ最大化操作と同じ動作だ
コミュニティ的な何かに使えそうな無料サイトのメモ
コミュニティ的な何かに使えそうな無料サイトのメモ 2009-05-01-1 [WebTool] アカデミック系とかボランティア系とか勉強会系とか、 そういうコミュニティで活用できそうな無料サイトやツールのメモ。 無料で使えるやつ限定。 網羅的ではないです。 随時追加していきます。 Wiki ベースとなるページ作り。 - livedoor Wiki http://wiki.livedoor.com/ - @wiki（ アット ウィキ ） http://atwiki.jp/ メールまわり メーリングリストとニュースレター。 ニュースレターはリマインダー用途も含む。 - qwikWeb - qwik.jp http://qwik.jp/ - まぐまぐ！ http://www.mag2.com/ ニュース・告知 公開ニュース。 - twitter http://twitter.com/ - Tum
perl - もうやらなくてもいい昔のコーディングテクニック : 404 Blog Not Found
2009年05月05日13:00 カテゴリLightweight Languages perl - もうやらなくてもいい昔のコーディングテクニック ここに上がっているテクニックは、未だにときどき(確信犯的)に使(う|わざるを得ない中年プログラマーの弾です。 もうやらなくていい昔のコーディングテクニックあれこれ - スラッシュドット・ジャパン 特に、 あとはパンチャーのおばさんにお菓子を持って行くのも、ひとつのテクニックです。 は、 s/パンチャー/プログラマー/g すると現在に至るも最強のテクニックで、我が妻がこの使い手だというのは我が家で hackerthon に参加された方は一人残らずご存知だと思います。 と前おいた上で、それのPerl編を。 以下、順不同で8つほど。 0. use strict;とuse warnings;なしでスクリプトを書く やはり最初に書いておくべきでしょう。理
qwik.jp - Welcome to qwik.jp!
相続財産の中でも土地や建物などの不動産は高額なものになりますが、簡単に不動産取得税を計算する方法が分かれば相続税などの税金対策にも有効なものになって来ます。 ここでは、贈与・相続の場合などそれぞにかかる税金を簡単に計算する方法を解説するとともに良くある質問にも回答しているので参考にされることをおすすめします。 特に、課税対象になる不動産はあるのだろうか、計算式が分からない人、非課税枠があるみたいだけどその判断方法など、これらの質問にも回答しています。 そもそも不動産取得税とは？必ず課税されるもの？ 不動産取得税の計算を行うとき、自らが取得した不動産が本当に課税の対象になるのか知っておくことが大切です。課税の対象外になれば税金を納める必要がないわけですから、不動産取得税の計算そのものも不要です。 取得税の対象になる土地や行為、これは土地や家屋などの不動産の所有権を得た際に課税されるもので有償
ソースコードを読むための技術
$Id: readingcode.html,v 1.13 2003/12/06 00:01:08 aamine Exp $ 2006-05-02 gonzui 追加。thanks: 冨山さん 2003-12-03 ltrace と sotrace を追加 2003-12-03 ツールのところに DDD を追加。thanks: 和田さん 2003-05-27 VCG, SXT などについて追加。thanks: 梅沢さん 2003-05-27 これもすっかり忘れていた strace, ktrace, truss, etags などについて追加 2002-08-30 すっかり忘れていた ctags を追加 2002-07-07 匿名希望さんからメールでいただいた情報を追加 (動的コールグラフ) 2002-06-13 日記経由でいただいた意見をもとに文章を追加。thanks: 柳川さん、まつもとさ
ウェブリブログ：サービスは終了しました。
「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧
CPAN Authorになりました - 新だるろぐ跡地
やろうやろうと思ってたけど、案外さくっといけました、と。 hirafoo (HIRAFOO) - metacpan.org 何を作ったかというと、Ruby on Railsのlink_toメソッドみたいな動きをするもの。 Template-Plugin-LinkTo-0.093 - like link_to in Ruby on Rails - metacpan.org uri_forを拡張までいかないけど、自分の使いたいように使いたかったので。 Template::Plugin::URLが近い動きをするけど、自分の欲しい物はこれとも違う。 こんなこと書くとrailsが使えるみたいに思われるかもだけど、railsは全然扱えません。 初モジュールがTemplateのプラグインとな。どっかで聞いた話ですね。 ええ参考にさせてもらいましたとも → [僕] CPAN Author になりました。
ニコニコ大百科アラートでのメッセージキュー設計について。 - グニャラくんのグニャグニャ備忘録@はてな
お風呂でメモ。 要件 ニコニコ大百科で起こったイベントのうち、 ユーザが指定したものだけを通知するクライアントアプリケーションを作成したい。 なお、すべてのイベントは漏れなくユーザに伝わることとし、 すべてのユーザに送られる情報は同一とする。 イベントが起こった「直後」にイベントが通知されることが望ましい。 計算負荷・ネットワーク負荷が軽い方法がよい。 サーバ側はRuby、クライアント側はPythonを用いる。 さて、どのような通信方式でデータをやりとりすべきか。 RSS/ATOM まず考えられるのが、RSSやATOMなどの採用。クライアント側でもライブラリなどがあってお手軽。 feedのエントリ数が固定だと、pollingの間にすべてのイベントが流れてしまう恐れがある。 よって、feedのエントリ数は可変とし、一定の時間内に起こったイベントを全て記録することとする。 一定の時間内に起こっ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://blog.8-p.info/2009/05/test-apache2-released
世界史講義録