MeCab 0.92 を使ってみる (1) - 傀儡師の館.Python：楽天ブログ
2006.07.15 MeCab 0.92 を使ってみる (1) カテゴリ：ことばの処理 久々に MeCab を使って遊ぶことにした。最新のバージョン 0.92 をダウンロードしてインストール。その前にインストールしてあった、ちょっと古めのバージョン 0.90rc8 と比較してみる。形態素解析結果の違いを見てみると、何気にかなりの差分が出る。未知語で固有名詞に倒していたものが名詞に倒すようになったとかあるのかな。例えば、「ヒューレット・パッカード」を新しくできた -x オプションを付けて「mecab -x UNKNOWN」で解析してみると、 ヒューレット・パッカード UNKNOWN と解析される。辞書に登録されているかどうかは、辞書作成用の csv ファイルを検索しなくても、こうしてみれば簡単にチェックできるようになった。地味だが案外嬉しい。 以前のバージョンとの違いで気になるところを見て
HyperHyper EstraierEstraierのの 設計と実装設計と実装 株式会社ミクシィ 平林 幹雄 mikio@users.sourceforge.net 2006年11月6日 「オープンソースの全文検索、DBMSシステム」 講演資料 アジェンダアジェンダ
HyperHyper EstraierEstraierのの 設計と実装設計と実装 株式会社ミクシィ 平林 幹雄 mikio@users.sourceforge.net 2006年11月6日 「オープンソースの全文検索、DBMSシステム」 講演資料 アジェンダアジェンダ • Hyper Estraierの概要 • N.M-gramインデックス • スケールアウト戦略 HyperHyper EstraierEstraierの概要の概要 HyperHyper EstraierEstraierとはとは • 読み方 – ハイパーエストレイ(ア|ヤ)(ー)? – estraier： [古仏] 迷う、はぐれる = stray • 全文検索システム – 大量の文書を対象に「フリーワード検索」ができる – 予め転置インデックスを用意することで高速に処理 • 文書規模Nに対する時間計算量 – 全体のインデク
sort時にキャッシュを仕込んで効率化する - はこべにっき ♨
最近はPerl Best Practiceを読んでいることが多いので、おもしろかった部分をまとめて書いておこうかと思う。ということで、本日はPerl Best Practice 8.1章 ソートからのネタ。 sortはブロックを渡すことでソート方法を柔軟にコントロールできる。ただ、そのブロック内での計算量が大きくなるとソートの効率が落ちる。ソート中に何度も比較を行うちに同じ計算を何度もすることになってしまうからだ。 そこで、いろいろな工夫が考えられているらしい。PBPで紹介されていたもを以下にまとめてみた。 工夫なしでそのまま まず、一番ベタなソートが、以下のコード。 use Digest::SHA1 qw(sha1); my @sorted_titles = sort { sha1($a) cmp sha1($b) } @titles;このままだと、何度も同じ値のダイジェストを計算するこ
Test::Baseと数字のテスト - Practice of Programming
Test::Baseを使ってみてます。とても簡単。 use Test::Base; run_is; __END__ === --- i A --- e A意味はないけど。ミニマムだとこんなんでいい。 入力: A+改行 出力: A+改行 が、同じなので、テストはOK。run_is は「同じ」のテストです。 普通は、run_is i => 'e'; などと書きますが、別にそう書かなくても、Test::Baseは推測してくれます。 で、数字のテストをしてみました... use Test::Base; sub hoge{ $_[0] / 10;} filters { i => [ 'chomp', 'hoge'], e => [ 'chomp'], }; run_is i => 'e'; __END__ === sippai dayo --- i 1000 --- e 100これは、入力にフィルタ
US Presidential Speeches Tag Cloud - Chirag Mehta : chir.ag
About US Presidential Speeches Aging Tag Cloud Timeline The above tag cloud shows the popularity, frequency, and trends in the usages of words within speeches, official documents, declarations, and letters written by the Presidents of the US between 1776 - 2007 AD. The dataset consists of over 365 documents downloaded from Encyclopedia Britannica, ThisNation.com, and WhiteHouse.Gov. Once the docum
はてなダイアリーをタグクラウド化 - spiritlooseのはてなダイアリー
http://blog.bulknews.net/mt/archives/002078.html に影響されてちょっと作ってみた。 http://hdcloud.spiritloose.net/ こんな感じになる。 http://hdcloud.spiritloose.net/spiritloose/ IE6, Firefox 1.5, Opera 9.02で確認。他は知りません。 (Operaはスライダーが微妙におかしい) 同じくスライダーもつけたけど、機能は単語数を変更するやつにした。 せっかくなので、出来上がったタグクラウドを公開出来るようにした。 はてな認証APIでログインして、管理ツールでエクスポートしたCSVファイルをアップロードすると作れる。 環境は Catalyst + DBIC + mod_perl + MySQL。 そのほかは多分上のやつとほとんど同じ。HTML::Tr
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
YappoLogs: Geo::Coordinates::Converter - 緯度経度を簡単に変換する
Geo::Coordinates::Converter - 緯度経度を簡単に変換する だいぶ再発明感があるのですが、緯度経度データを簡単に変換出来るモジュールを作りました。 Geo::Coordinates::Converter CPANにうp済みです。 既存で似た者は結構あったのですが、どれも変換処理がdatumのメソッド名直書きとか値がハードコードされてたりで、自由度低めだったので新しく作りました。 測地系/フォーマット等をプラグインっぽく簡単に追加出来る様にして座標周りのフレームワークとして使える様に実装しました。 使い方は use strict; use warnings; use Geo::Coordinates::Converter; my $geo = Geo::Coordinates::Converter->new( lat => '35.65580', lng => '1
YappoLogs: Geo::Coordinates::Converter::Fomat::LocaPoint
Geo::Coordinates::Converter::Fomat::LocaPoint 折角Geo::Coordinates::Converterを作ったので、サンプル的にフォーマッタを作ってみました。 LocaPointという位置情報表現仕様があったので、これのフォーマッタを試しに作ってみました。 http://trac.yappo.jp/trac/browser/Geo-Coordinates-Converter-Format-Locapoint/trunk 緯度経度が一つの情報として表されている為、既存のGeo::Coordinates::Converterではうまく扱えないため、converterの戻り値で使われるGeo::Coordinates::Converter::Pointにlocapointと言うメソッドを生やして、それを使っています。 使い方は use Geo::C
Log::Log4perlの設定値に変数や関数も使える - 日向夏特殊応援部隊
はじめに d:id:ZIGOROu:20061105:1162736838の続き的な内容です。 Log::Log4perlのドキュメント Log::Log4perlの設定ファイルでの変数代入 Log::Log4perlの設定ファイルでPerlでhookを書く と思いっきり書いてあります。 Perlでのhookの制約 但し制約があります。このhookの中で呼び出せるユーザー関数はmainパッケージで定義されている必要があります。 例えばlogのファイル名の部分を前回の例では、 log4perl.appender.A1.filename = ../logs/myapp.logとしましたが、例えばmyapp_server.plとかで、 use Path::Class; use Catalyst::Utils; sub log_file { file(Catalyst::Utils::home('
Catalyst::Plugin::ConfigLoaderでconfigの切り替えを行う - 日向夏特殊応援部隊
はじめに Catalyst::Plugin::ConfigLoaderを使うと異なる環境の為の設定を環境変数のみで制御出来ます。 下準備 ちょっと癖物なのが下記のように設定しなきゃいけないって事です。 package MyApp; use Catalyst qw/ConfigLoader/; __PACKAGE__->config( file => __PACKAGE__->path_to(conf) ); で実際にconfディレクトリに下記のようにファイルを作ります。 $ ls conf/ myapp.json myapp_local.json myapp_service.jsonこうして例えば、 $ cat conf/myapp.json { name: 'MyApp', foo: 'foo' } $ cat conf/myapp_local.json { foo: 'bar', ba
[を] アマゾンでコーヒーストア
アマゾンでコーヒーストア 2006-11-06-2 [飲食物] 旧聞ですがアマゾンのホーム＆キッチンで「コーヒーストア」ができてた！ コーヒーストア - お手軽派から本格派まで インスタントコーヒーなんかも売ってますね。 ちなみに私の持っている電動ミルはこれ。当時は4800円で買ったのに、 3150円だよ、ぬぬぬ。(ref. [2001-12-04-4]) Kalita 電動コーヒーミル CM-50 (ブラック) うちでは、どこかからもらった陶器製のドリッパーをペーパーフィルター を使っています。今ほしいのは、先が細いドリップ用のケトル。 ref. - [を] コーヒーを飲みながら[2005-07-13-3] - [を] 電動コーヒーミル[2002-07-22-2][2001-12-04-4]
[を] Perlのプロファイラ - Devel::DProf
Perlのプロファイラ - Devel::DProf 2006-11-06-3 [Programming] Devel::DProf http://metatoys.org/propella/tips/Devel_DProf.html DProfの話は、「プログラミングPerl 第3版 VOLUME 1」の 第20章「Perlデバッガ」に載っています。 デバッガ(perl -de0)の話も詳しいです。 で、プロファイルの使い方。 例えば、foo.pl というプログラムをプロファイリング。 % perl -d:DProf foo.pl で、tmon.out というファイルができます。整形して見るには dprofpp。 % dprofpp Total Elapsed Time = 54.58411 Seconds User+System Time = 49.11048 Sec
[を] Log::Log4perlでログを取ることにしようかと
Log::Log4perlでログを取ることにしようかと 2006-11-06-4 [Programming] 下記を読みながらメモ。 - perl.com: Retire your debugger, log smartly with Log::Log4perl! http://www.perl.com/pub/a/2002/09/11/log4perl.html Log::Log4perl には5つの logging levels がある。 (低) DEBUG 例えば、DEBUG を指定すると全レベルのメッセージが出る。 これに関して、":easy" を使った例： #!/usr/bin/perl use strict; use warnings; use Log::Log4perl qw(:easy); test($DEBUG); test($WARN); test($FA
カイ氏伝: 「タダでロケフリ」できるMY-IPTVがすごい
【お知らせ】 新ブログ開設しました。 ショートカット導入しました。「N」で次のエントリー、「P」で前のエントリー、「M」でメインページ表示、「B」ではてなブックマーク該当ページを表示します ロケーションフリーでブレイクした「外出先から自宅のテレビ」ジャンルの中で、前々から注目していた「MY-IPTV Anywhere」を導入しました。これまじすごい。 MY-IPTV Anywhere http://www.honestech.co.jp/products/iptv/ 注目していたポイントは「タダ」ということ。無料の体験版であれば自宅のテレビを見ることに関してまったく制限がありません。有料版を購入すると録画機能やDVD書き込み機能などが追加されますが、そうした機能が必要なければ完全に無料なのです。どうやって儲ける気だろうこのソフト。 MY-IPTV Anywhere 体験版ダウンロード ht
Hatena Inc. 訪問 : にぽたん研究所
豚足インターフェース研究会の mala が、はてなの id:jkondo (近藤社長) のこの写真を見て「にぽたんに似てる。そっくり。本人かと思った。似すぎてる」だとか言ってて、「いや、それ髪型だけじゃね？」って言ってんのに、それでも、にすぎだのピーコだのってしつこく言うので、それを検証するために渡米し、つい先ほど、Silicon Valley の Hatena Inc. を訪問して、検証してみました。 検証結果 そんなに言うほど似てないと思いました。 ちなみに、近藤社長は昨日髪を切ったそうです。 とりあえずこれをもちまして、今回の渡米目的が果たされました。 その後、id:jkondo と id:stanaka と一緒にランチをしながら、インターネッツとか、id:secondlife の英語がひどすぎるとかの話をしました。←これはうそ とても楽しかったです。 突然の訪問に (いや、ちゃんと
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
講演してきたりした。 - グニャラくんのグニャグニャ備忘録@はてな
How to Use ZenTest with Ruby | Linux Journal