goo映画、文章解析で作品の総合評価を表示する「ネットの評判」Windows SQL Server 2005サポート終了の4月12日が迫る、報告済み脆弱性の深刻度も高く、早急な移行を
Google Japan Blog: 大規模日本語 n-gram データの公開
突然ですが、穴埋めクイズです。下線部に入る単語はなんでしょう? グーグルで_____ おそらく、「検索」「調べる」「探す」といった単語を思いつくのではないでしょうか？ 実際に、Webにあるドキュメントをくまなく調べ、「グーグルで」の後にくる単語を調べると、「検索」が1位であるとがわかります。 一般に、直前の(N-1)個の単語を見て、次の単語を予測するモデルをN-gram言語モデルといいます。さきほどは、「グーグル」 と 「で」の2単語から次を予想しているので、3-gram言語モデルの例となります。現時点の単語が、直前の(N-1)個のみに影響を受けるという仮説は、一見現実離れしているようですが、実際には非常に有効な場合も多く、かな漢字変換、OCRのエラー訂正、機械翻訳、音声認識などに広く用いられています。たとえば、音声認識の場合、ノイズ等で現時点の単語をシステムが聞き取れなくても、言語モデル
KDDI研究所、類似するブロガーを自動的検索する技術を開発
KDDI研究所は25日、類似するブロガーを自動的に検索する技術「ブログコミュニティ検索技術」を開発したと発表した。 今回開発したブログコミュニティ検索技術は、ブログの記事内容を総合的に分析し、該当ブログと類似するブログを自動で検索し判別する技術。ブログの分析はエンターテイメント度/芸術度/教育度など14項目のカテゴリで行ない、各カテゴリの合致度合いを数値化したうえで、数値の分布が類似しているブログ記事のユーザーを類似ブロガーとして判別する。また、判別には1件のブログにつき1ユーザーが紐付いていることから、言葉遣いなどに個人差が表れやすい傾向を利用しているという。 KDDI研究所は、同技術により多面的にブロガーの検索が可能となるため、複雑な検索キーワードの設定の必要なく、似たような雰囲気で似たような話題を取り扱っているブロガーを検索できるとしている。また、同技術をWeb上で動作するアプリケー
NTTデータが全文検索エンジン｢Ludia｣をオープンソースとして無償公開：ITpro
NTTデータは10月11日，同社が開発した全文検索エンジン｢Ludia｣をオープンソース・ソフトウエアとして無償公開した。オープンソースのDBMS PostgreSQLに格納されたテキスト・データの全文検索を行う。同社では「商用のデータベース管理ソフトに匹敵する速度と精度を備える」としている。 NTTデータでは「データベース内のデータの全文検索ではこれまで，オープンソース・ソフトウエアでは日本語に対応した高速・高精度なものが存在せず，データベースからデータを取り出し別のシステムを構築する必要があった。Ludiaは商用のデータベース管理ソフトに匹敵する速度と精度を備える」としている。 Ludiaは，N-gramと形態素解析の2種類の全文検索インデックス方式をサポートする。ブーリアン検索，近傍位置検索，類似文書検索といった検索が可能で，検索結果の合致度を示す｢スコア｣も提供する。 Ludiaは
統計的確率論で言語を解析--Sematicsが世界初の日本語解析エンジンを開発
日本語意味解析エンジンを開発するSematicsは6月15日、統計的確率論を用いた言語解析エンジン「Perceptron Engine」を開発したと発表した。統計的確率論を用いた日本語解析エンジンは「世界初」（同社）という。 Perceptron Engineは「形態素解析」、「構文解析」、「文脈解析」、「意味解析」の4つの解析処理によって構成される。従来の言語解析技術は、辞書によるデータのマッチングにより処理されていたため、データ容量が膨大で、その処理に多大な時間を要した。一方、Perceptron Enginesは大規模な辞書を用いないため、少ないメモリやディスク容量でも高速処理が可能で、500文を1秒で解析できるという。 形態素解析とは、文章を形態素と呼ばれる、意味を持つ語句の最小単位まで分割して解析するもの。各語句を品詞単位、動詞や形容詞といった活用語句の場合はその活用形ごとに解析
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
富士通研、Web上の風評をリアルタイムに検知する技術を開発 | 経営 | マイコミジャーナル
kizasi.jp、ニュアンス判別技術実装や検索機能強化などのリニューアル
ブログから口コミ情報を抽出して表示する「Keywalker口コミ解析」