単語と文字の話 - Preferred Networks Research & Development
4月からPFIで働いてます。海野です。 今日は単語の話をします。読み物的な話なので軽く読んでください。 テキストデータなどの自然文を機械処理するときには、まず最初に単語に分割するということをよく行います。一般的にはMeCabやChasenといった形態素解析エンジンに投げて行います。形態素と単語の区別という話もあるのですが、ここでは大雑把に「連続した文字列の単位」くらいの意味で話します。 検索という文脈ですと形態素インデックスという言葉がありますが、これは検索の最小単位を文字単位ではなくて形態素の単位にするということです。例えば「東京都」は「東京」「都」に分かれるため、「京都」というクエリに対して見つかるのを防ぐなど、精度を上げる効果があります。反面、深刻な検索漏れを引き起こす可能性があるため嫌われることが多いです。こうした漏れは検索に限らず、テキストマイニングなどの文脈でも問題となることが
「われわれは100倍、速く書ける」――PFI 西川徹
「天才」と呼ばれるプログラマたちが自ら会社を立ち上げるとどうなるか。その答えが知りたければ、あるベンチャー企業に注目すればいい。IT業界で注目を集めるテクノロジーベンチャー「プリファードインフラストラクチャー」の社長に話を聞いた。 特集「学生起業家たちの肖像」、最終回は現在、最も注目を集めているテクノロジーベンチャーの1つ、プリファードインフラストラクチャー（PFI）の代表取締役社長 西川徹氏に登場してもらった。東京大学大学院に在学中、ACM国際大学対抗プログラミングコンテスト（ACM/ICPC）の世界大会に出場したメンバーと設立した会社は、自然言語処理の分野で日増しにその存在感を大きくしている。 今回は特別に、連載「天才プログラマに聞く10の質問」でおなじみ、Lispハッカーの竹内郁雄氏にインタビュアーをお願いした。2人の濃密な対談の様子を余すところなくお届けする（以下、敬称略）。 出会
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
