Java製形態素解析ライブラリ「lucene-gosen」を試してみる
概要 Javaの有名な形態素解析器でありながら、長らく「公式サイトどこ？」な状況だったSenとGoSenですが、最近はlucene-gosenなるGoSenベースのライブラリがちゃんと管理された状態で公開されてるとか。 lucene-gosen http://code.google.com/p/lucene-gosen/ しかもこの子は辞書内包なのでjarを落とすだけで使えて、Lucene用AnalyzerやSolr用Toknizerも付いていて、日本語の検索用インデックスを貼る時に便利な各種フィルタも用意されているという、至れり尽くせりな構成になっているとか。 これは触ってみねばということで、とりあえず簡単な形態素解析、辞書の追加、Luceneでの利用、Solrでの利用を試してみました。 ちなみに上のURLでCommiterのところに名前が出ているKoji SekiguchiさんはSol
Pig ユーザー定義関数メモ(Hishidama's Apache Pig UDF Memo)
S-JIS[2011-08-14/2011-09-22] 変更履歴 Pigユーザー定義関数 Pigのユーザー定義関数（User Defined Function：UDF）の作り方のメモ。 クラス作成 Pigで使う関数を作るには、org.apache.pig.EvalFuncを継承したクラスを作成し、exec()メソッドをオーバーライドする。 EvalFuncの型引数にはexec()の戻り型を指定する。 package pigudf; import java.io.IOException; import org.apache.pig.EvalFunc; import org.apache.pig.data.Tuple; public class SampleUDF extends EvalFunc<String> { @Override public String exec(Tuple in
mecabをmahoutで利用(mecabインストール編) » runliferun
http://mecab.sourceforge.net/ MeCabは定番のオープンソースの形態素解析エンジン。これをmahoutで利用したい。 方針としてMeCabをJNI経由で利用できるCMeCabを経由して利用。理由はMeCabを使ったLuceneのTokenFilterが含まれているため。あとはAnalyzerでラップするだけなので、このメリットは大きい。 http://code.google.com/p/cmecab-java/ MeCabインストールに当たってはすべてUTF-8でインストールすること。 $ tar zxfv mecab-X.X.tar.gz $ cd mecab-X.X $ ./configure --enable-utf8-only --with-charset=utf8 $ make $ make check $ su # make install 辞書も
LCP(Longest Common Prefix)を用いたSuffix Arrayの検索 - EchizenBlog-Zwei
Suffix Arrayは「インデックスの構築」と「キーワードの検索」からなる。それぞれ構築には文字列のsortが、検索には文字列の二分探索が必要になる。 以前にCompressed Suffix Arrayのライブラリtsubomiを実装したときにはsortについてはマルチキー・クイックソート(multikey-quicksort)というアルゴリズムを用いた。一方で二分探索については特に工夫をしていなかった。 さすがにこのまま放っておくのは気が引けたのでSuffix Array論文を読みなおしてみたらLCP(Longest Common Prefix)を用いた二分探索の方法が書いてあった。シンプルだが賢い方法だったのでメモしておく。これはすごい(というか今まで読み飛ばしてたことのほうが問題ですね。はい)。 さて。まずLCP(Longest Common Prefix)とは何かと言うとその
Intel SSD 320シリーズの大容量で低価格な“お得度”を試す
ケースはX25-Mと同じフレームタイプ ケースはIntel SSD 510シリーズとは異なり、厚み調整用フレームが本体の周囲に標準で取り付けられたX25-Mシリーズとほぼ同じだ。X-25Mシリーズのボディカラーがフラットシルバーであったのに対して、Intel SSD 320シリーズはステンレス調のシルバーを採用している。内部には、本体底面のネジを外すだけでアクセスできる。今回評価で使った300Gバイトモデルでは、Intelの「29F16B08CCMEI」が両面あわせて20個実装されており、空きスペースはない。 キャッシュメモリはhynixのMobile SDRAM 512Mビットモデル「H55S5162EFR」という組み合わせだ。SSDの性能を決めるパーツの1つであるコントローラは、X25-Mと同じ「PC29AS21BA0」だった。X25-Mと同じSerial ATA 3Gbpsモデルとい
Top 84 MySQL Performance Tips | Debian Admin
MySQL is a widely used and fast SQL database server. It is a client/server implementation that consists of a server daemon (mysqld) and many different client programs/libraries. You can check the same tips from here.Here is very useful tips for all mysql DBA’s,Developers these tips are noted from MySQL Camp 2006 suggested by mysql community experts. Kaj (Most Excellent Obvious Facilitator) Index s
簡潔データ構造超入門 〜つくって学ぶ簡潔ビットベクトル〜 - EchizenBlog-Zwei
簡潔データ構造は各種操作を高速に保ったままでデータサイズを情報理論的な下限近くまで圧縮できる。大規模データを扱うことの多くなってきた現在、特に注目を集めている技術である(※個人的な見解です)。 しかし有用性とは裏腹にまとまった教科書等がないこともあり入門者に対して敷居が高いようにも感じられる。そこで本記事では簡潔データ構造の基本であるビットベクトルに対する簡潔構造の実装方法をC/C++のコードを交えて解説してみる。 ビットベクトルに対する簡潔構造は、単純には疎ベクトルを表現するのに利用することができる。よって本記事でも簡潔ビットベクトルを実装し、疎ベクトルを実現してみようと思う。 今回は疎ベクトルとして値がint(4byte)の256次元のベクトルを考える。ただし疎ベクトルなので256次元のうちいくつかの次元にしか値が入っていないものを仮定する。例えば v[5] = 10 v[100] =
ECML/PKDD2011気になった論文リスト - kisa12012の日記
自分用メモ． 当日，チェックしておきたいAccepted Papersを以下に纏めておきます． ペーパーが公開されているものは，アブストをナナメ読みした感想を簡単に書いています． Frequency-aware Truncated methods for Sparse Online Learning Hidekazu Oiwa, Shin Matsushima, Hiroshi Nakagawa 手前味噌ですが，自分達の論文． Active learning with evolving streaming data Indrė Žliobaitė, Albert Bifet, Bernhard Pfahringer, Geoff Holmes ストリームデータ環境での能動学習． Manifold Coarse Graining for Online Semi-Supervised Lear
twitterで自然言語処理 - Preferred Networks Research & Development
勢い余ってスイカを買ったら、毎日食べるハメになってしまいました。海野です。 どんな業界もそうだと思いますが、世の中の流行りものの論文が増えるという面が自然言語処理界隈にもあります。Web、blog、と来て、最近のトレンドはやはりtwitterに代表されるmicro blogでしょうか。今年の言語処理学会の年次大会でtwitterセッションは大盛況でしたが、国際会議でもtwitterを題材として発表が増えています。 数えてみたら、重要国際会議であるACLで6件、EMNLPでも3件、twitterをタイトルに含む発表が今年ありました。ちなみに2010年の会議では1件もありませんでした。そんなわけで、私も今日はそんな流行りに乗っかって、twitter言語処理関連の論文を3つ紹介します。 Cooooooooooooooollllllllllllll!!!!!!!!!!!!!! UsingWord
NIPS 2003 Proceedings
Advances in Neural Information Processing Systems 16 (NIPS 2003) The papers below appear in Advances in Neural Information Processing Systems 16 edited by S. Thrun and L.K. Saul and B. Schölkopf. They are proceedings from the conference, "Neural Information Processing Systems 2003." Efficient Multiscale Sampling from Products of Gaussian Mixtures Alexander T. Ihler, Erik B. Sudderth, William T. Fr
Igo: GoogleAppEngineで形態素解析サーバ - sileのブログ
IgoをGoogleAppEngine上で動かしてみた。 URL URLと仕様。 トップ: http://igo-morp.appspot.com/ 形態素解析: http://igo-morp.appspot.com/parse 'text'パラメータに入力テキスト*1をセットしてリクエスト(POST or GET)を投げると、形態素解析結果がUTF-8で返ってくる。 分かち書き: http://igo-morp.appspot.com/wakati 'text'パラメータに入力テキストをセットしてリクエスト(POST or GET)を投げると、分かち書き結果がUTF-8で返ってくる。 形態素解析と分かち書きの結果の書式はmecabコマンドのそれと同様。 $ curl -d text='すもももももももものうち' http://igo-morp.appspot.com/parse すもも
Twitter 社採用面接受験記 - elm200 の日記(旧はてなダイアリー)
1ヶ月ほどまえに、私はシリコンバレーを訪れたのだが、そのときサンフランシスコの本社で Twitter の採用面接を受けてきた。結果は残念、ということだったのだが、その経緯について書いてみようと思う。 なぜ Twitter 社の面接を受けたのか。7月の終わりころ、私はシリコンバレーで働くにはどうすべきなのか、ということについて頭を悩ませていた。考えながらぼうっと Twitter のタイムラインを眺めていたのだが、Twitter が日本人エンジニアを求人しているという情報が飛び込んできた。おお〜、と思って軽い気持ちで職務経歴書を Twitter に送ってみたのだ。 相当数の人たちが職務経歴書を送ったはずだし、私は書類選考で落とされると高をくくっていた。ところが、数日してTwitter の人事担当者からメールがあり、電話面接をやるからいつがいいか？という。まさかの展開に私はやや慌てた。電話面接を
図で分かるgit-rebase - アジャイルSEを目指すブログ
世間的に「Gitはコミットログを書き換えられてキモい」と言われ、肩身が狭いので git-rebase の説明を書いてみた。 git help から引用 まずは基本に忠実に、ヘルプを読みましょう。 git help rebase SYNOPSIS git rebase [-i | --interactive] [options] [--onto <newbase>] <upstream> [<branch>] git rebase [-i | --interactive] [options] --onto <newbase> --root [<branch>] git rebase --continue | --skip | --abort DESCRIPTION If <branch> is specified, git rebase will perform an automatic g
分散リアルタイム処理フレームワーク Storm（その2） - 現場のためのソフトウェア開発プロセス - たかのり日記
今回は、Stormの構成要素について見てます。 Stormのコンセプトとしては、以下の要素が登場します。 Streams Spouts Bolts Topologies それぞれ、以下のようなモノを指しています。 Streams Streamとは、途切れずに連続するTuple（タプル：処理するメッセージを保持するStormのデータ構造）を意味します。 Spouts Spoutは、Streamのソースとなるものであり、Tupleを送り出すことが役割です。 Twitter APIで、メッセージを読み込む部分などがそれに該当します。 backtype.storm.spout.ISpout インタフェースを実装します。 Bolts Boltは、Streamの変換処理を行います。単一、または、複数のStreamからTupleを受信し、加工した上で、新たなStreamにメッセージを送信します。 関数処
Hadoop’s civil war: Does it matter who contributes most? – Old GigaOm
If you were going to buy a service contract for your open-source software, would you prefer your service provider actually be the certifiable authority on that very software? If “yes,” then you understand why Cloudera and Hortonworks have been playing a game of one-upmanship over the past few weeks in an attempt to prove whose contributions to the Apache Hadoop project matter most. However, while
『あの花』秩父龍勢祭りでの超特大ロケット花火打ち上げイベント すげー盛り上がったみたいだね - かくれオタのブログ
195 ：名無しさん＠お腹いっぱい。 投稿日：2011/10/09(日) 17:09:28.01 ID:wmyT0tKQ0 後半部分だけなら…… ttp://upload.restspace.jp/src/upload2377.jpg ttp://upload.restspace.jp/src/upload2379.jpg ちゃんと6基あった ttp://upload.restspace.jp/src/upload2381.jpg ttp://upload.restspace.jp/src/upload2383.jpg ttp://upload.restspace.jp/src/upload2384.jpg 198 ：名無しさん＠お腹いっぱい。 投稿日：2011/10/09(日) 17:14:29.60 ID:gQm9ZQHE0 >>195 4枚目の木っ端微塵感がすげーw 210 ：名無し
世界初の「考えるロボット」、東京工大研究所が開発 写真4枚 国際ニュース : AFPBB News
神奈川県横浜市の研究室で、川田工業（Kawada Industries）の人型ロボット「Hiro」が氷をコップに入れるのを見つめる、東京工業大学（Tokyo Insitute of Technology）像情報工学研究所の長谷川修（Osamu Hasegawa）准教授（2011年9月28日撮影）。(c)AFP/oshikazu TSUNO 【10月12日 AFP】人間のように経験を通じて学び、新たな問題を解決できるロボットは、まるで「SF（空想科学）」だ。 だが、これを「科学的事実」にしようと取り組んでいる日本の研究者がいる。彼らが作っているのは、一度も見たことのないモノを使って、プログラムされたことのない課題を処理するために、自己学習するロボットだ。 東京工業大学（Tokyo Insitute of Technology）像情報工学研究所の長谷川修（Osamu Hasegawa）准教授は
動的ダブル配列を実装してみた - Negative/Positive Thinking
はじめに 形態素解析器などで利用されている「ダブル配列(double array)」の勉強するため、実装をしてみた。 動作を確認するために書いただけなので重い。。。 ダブル配列とは 文字列の検索をO(1)で行えるTrie(トライ木)の効率的なデータ構造 2つの配列BASEとCHECKで木の遷移を表現する あるノードsにいるときに、次の文字がaだったとき、以下を満たす 次のノード : 現在のノード : ただし、N(a)は文字aを表す整数(内部コード) トライ木の遷移の(2次元)配列構造を圧縮したものに相当 2次元配列構造とは、縦をノード番号、横を文字にしたとき次のノード番号を保持する この構造では、かなり疎になる(無駄が多い)→圧縮！！！ コード 以下の論文の前半部分を参考に改良なしの動的ダブル配列を実装してみた http://ci.nii.ac.jp/naid/110002725995 追
第1回 レコメンドシステムと集合知 | gihyo.jp
はじめに 今回から9回に渡り、Hadoopを使ったレコメンドシステムの実装について紹介させていただくことになりました。 レコメンドシステムを構築した方は少ないと思いますが、レコメンドのサービスに触れている方は多いと思います。今回の連載で、読者の皆様にレコメンドシステムの可能性とその実装の面白さをお伝えできればと思います。よろしくお願い申し上げます。 連載の予定は次の通りです。 レコメンドシステムと集合知（今回） レコメンドシステムの実装と課題 協調フィルタリング（前・後編） コンテンツベースレコメンド（前・後編） 今回の記事のポイントは以下の通りです。 レコメンドシステムの目的は気付きと驚きを与えること 理想のレコメンドはソムリエのお薦め レコメンドシステムに必要なのは嗜好と専門性 では、早速はじめましょう。 レコメンドシステムとは？ レコメンドシステムは情報フィルタリングの一種で、大量の
Double Array 実装してみた - 木曜不足
今作りかけのもので、素性(文字列片)を格納するのに Trie を使っていたのだけど、50万件を超えたあたりからメモリに載らなくなってきて。 まあ dict を使っためちゃめちゃナイーブな実装だったので、そろそろダメかなあとは思っていたんだけど(苦笑)。 というわけで、それよりきっと省スペース＆きっと高速だろうと期待して Double Array を Python で実装してみた。 参考にしたのは WEB+DB Press vol. 64 の徳永さんの記事。 現時点での実装がこちら。 https://github.com/shuyo/iir/blob/master/trie/da.py ソート済みのテキスト列を与えると、Double Array を構築。 get を呼び出すと、最初に与えたテキスト列の中でのキー文字列のインデックスを返す。 シンプル機能。 trie = da.DoubleAr
改悪されて見辛くなったGoogleリーダーのデザインを簡単に元に戻す方法 - Gadget People跡地：ガジェットアクセサリーのまとめサイト
つい先日、Googleリーダーのデザインが一新されましたが、とてつもなく見辛いです。一新された直後は「見づらいけど、慣れの問題だろうな」と思っていましたが、慣れるどころかフラストレーションが溜まる一方！私以外にも同様の感想を抱く方がほとんどのようです。 これが諸悪の根源、改悪後のデザイン。1フィードあたりの幅が広がり、1画面に表示される情報量が以前と比較して減ってしまいました。そして、モノクロ基調になったせいでデザインにメリハリがなくなり、どこを強調したいのかよくわからないひどい有様。 さすがに我慢できなくなったので、デザインを元に戻す方法を調べて、実施してみました。その結果、旧デザインっぽくすることができました。手順を以下に記します。 1. デザイン変更で利用したものについて デザインを変更する手段はいくつかあります。今回はStylishを使用しました。Firefoxのアドオン、Chro
Python実装としてPyPy1.7をインストールする。 - rokujyouhitoma's blog
環境 MacOS 10.7.2 PyPy1.7がリリースされたので、いままで使ってたPyPy1.6をPyPy1.7へリプレースする。 pip freezeで一覧を作成する。 現状インストールされているパッケージ一覧を保存しておく。 $ pip freeze -l > packages_pypy1.6 PyPy1.7をインストール $ curl -O https://bitbucket.org/pypy/pypy/downloads/pypy-1.7-osx64.tar.bz2 $ tar -zxf pypy-1.7-osx64.tar.bz2 $ ./pypy-1.7/bin/pypy Python 2.7.1 (7773f8fc4223, Nov 18 2011, 22:15:49) [PyPy 1.7.0 with GCC 4.0.1] on darwin Type "help", "
衝撃を受けるTEDのプレゼン10選 - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoop StreamingでHDFS上のレコード数を数える - あらびき日記
http://blog.hackers-cafe.net/2011/04/use-gitpython-to-see-whats-going-in-git.html
文字列カーネルによる辞書なしツイート分類 〜文字列カーネル入門〜
Machine Learning and Hadoop
自キャラを動かすところまでは来ました。明日は敵キャラ(やる夫)とミサイル配置。
おすすめのエロゲのオープニングムービー教えてくれ あしたがみえない
The real reason for brains
Crowdsourcing 102: Mining Real-Time Data
Share Architectural Documentation | Code Maps
Data talks and keynotes from O’Reilly Strata conference