[NLP] 日本語WikipediaからSolr用の類義語辞書を自動作成する - 株式会社ロンウイット
日本語Wikipediaなどの「辞書型コーパス」からLucene/Solr用の類義語辞書を自動作成するシステムを開発しましたので、簡単にご紹介します。 参考資料（SlideShare） 辞書型コーパスからの類義語知識の自動獲得（SlideShare） Lucene/Solrと類義語検索 Lucene/SolrではSynonymFilterを使って類義語検索を簡単に実現することができます。たとえば次のような内容のsynonyms.txtを用意し： 自動車損害賠償責任保険, 自賠責保険 Solrのschema.xmlファイルに次のようなフィールド型を定義すれば： <fieldType name="text_ja" class="solr.TextField" positionIncrementGap="100"> <analyzer> <tokenizer class="solr.Japane
![[NLP] 日本語WikipediaからSolr用の類義語辞書を自動作成する - 株式会社ロンウイット](https://cdn-ak-scissors.b.st-hatena.com/image/square/05aaa2c0891efcc9c0687adc729c2094a968ac35/height=288;version=1;width=512/http%3A%2F%2Fwww.rondhuit.com%2Fwordpress%2Fwp-content%2Fuploads%2F09b26830239f52887ae9193ddee1694e-480x224.png)
WikipediaからのSolr用類義語辞書の自動生成
6. 見出し語（＝原型語） 類義語（＝略語、日本語版頭字語） 入国管理局 入管 文房具 文具 社員食堂 社食 国際連盟 国連 リポビタンD リポD ベルサイユのばら ベルばら 木村拓哉 キムタク Universal Serial Bus USB （日本語における頭字語の例） Copyright (c) 2012 RONDHUIT Co.,Ltd. 6 7. 辞書型コーパス （見出し語,説明）× M 項目 設定ファイル ＜類義語知識の獲得＞ すべての見出し語に関し以下を ループ処理 Lucene/Solr インデックス 1. 類義語候補tBの同定 インデックス作成 2. 見出し語tAと類義語候補tBの 類似度S(tA, tB)の計算 3. 類似ならば出力 • • • 説見見 明出出 しし 語語 の 読 CSVファイル み Copyright (c) 2012 RONDHUIT Co.,Ltd
Google モバイル - 音声検索
機能 音声検索 検索キーワードを音声入力できます。日本語、英語、中国語に対応しています。 動画を見る 現在地情報 周辺情報（「ピザ」、「スターバックス」など）を検索する場合に、わざわざ現在地を指定する必要はありません。 Google サジェスト 入力の途中でキーワード候補やお店情報が表示されます。 検索履歴 最近行った検索をすぐに再現できます。 メール検索 携帯電話のメールを検索できます。 連絡先の検索 携帯電話の連絡先を検索できます。 カテゴリ検索 Google マップ、画像、ニュース、ショッピングなど、カテゴリ別に検索できます。 Google アプリケーションへのリンク マップや Gmail など、他の Google サービスにすばやく移動できます。
Googleソーシャル検索 日本でもスタート 使い勝手は？【湯川】 | TechWave（テックウェーブ）
[読了時間：2分] 検索結果のページに自分の友人による言及が表示されるGoogleソーシャル検索が日本でも始まった。 試しにMac book Airというキーワードで検索したところ、検索結果のページのAppleのサイト上のMac book Airに関するページ「アップル – ノートパソコン – MacBook Pro – パフォーマンスが劇的に …」というリンクの下に「creamuさんがTwitterで共有しました-2011年2月24日」という表示が。そこをクリックするとTwitterのページへ飛び、彼のTweetを読むことができた。 発表文によると、Googleのソーシャル検索は2009年に米国で実験的にスタートし、このほど日本でも利用可能になったという。 ソーシャル検索を利用するには、Googleアカウントにログインする必要があるし、友人の言及が意味のあるものにするために、Gmailや
Senna - Wikipedia
Senna（せな、Senna: An Embeddable Fulltext Search Engine）は、未来検索ブラジルによって開発されているオープンソースの全文検索エンジンである。検索速度が高速なことから、「音速の貴公子」と呼ばれたアイルトン・セナにちなんで名づけられた。 概要[編集] MeCabによる形態素解析の結果を用いた単語ベースのインデックスと、N-gramによるトークン抽出を用いたインデックスの両方を作成することができる。 ライセンスはLGPL。UNIX系OS及びWindowsで動作する。 バグフィックスを除いた新たな開発は事実上終了しており、開発元の未来検索ブラジルでは、後継となる検索エンジンとして『groonga』（ぐるんが）の開発を進めている。 特徴[編集] 高速なインデックスの更新 一般的に、作成済みの全文検索インデックスに対する新たなレコードの追加は負荷がかかる
全文検索 - Wikipedia
順次走査検索、逐次検索ともいう。「grep」とはUNIXにおける文字列検索コマンドであり、複数のテキストファイルの内容を順次走査していくことで、検索対象となる文字列を探し出す。一般に「grep型」と呼ばれる検索手法は、事前に索引ファイル（インデックス）を作成せず、ファイルを順次走査していくために、検索対象の増加に伴って検索速度が低下するのが特徴である。ちなみに「grep型」とは実際にgrepコマンドを使っているという意味ではない。 インデックス作成型全文検索システム 検索対象となる文書数が膨大な場合、grep型では検索を行うたびに1つ1つの文書にアクセスし、該当データを逐次検索するので、検索対象文書の増加に比例して、検索にかかる時間も長くなっていってしまう。そこであらかじめ検索対象となる文書群を走査しておき、高速な検索が可能になるような索引データを準備することで、検索時のパフォーマンスを向
i-revo お客様サポート 重要なお知らせ
i-revo お客様サポート 重要なお知らせ i-revoマイポータル終了のお知らせ（2017年3月31日） 日頃よりi-revoマイポータルをご愛顧いただき誠にありがとうございます。 このたび、当サイトは2017年3月31日付けにてサービスを終了いたしました。 併せて「プニマル」、「i-revo 占い」についてもサービスを終了いたしました。 2006年3月のサービス開始以来、 お客様および関係各社の皆様にはさまざまに、ご協力をいただきました。 ここに御礼申し上げます。 i-revoマイポータルのサービス終了につきまして、なにとぞご理解いただきたく存じます。 今後とも「i-revo」をよろしくお願い申し上げます。 全て見る
Senna 組み込み型全文検索エンジン - Senna 組み込み型全文検索エンジン
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Twitter、リアルタイム検索をLuceneで構築。50倍高速に！
Twitterのリアルタイム検索機能が、オープンソースのLuceneベースになったと、Twitter Engineeringブログへのエントリ「Twitter's New Search Architecture」で紹介されています。 これまでTwitterはリアルタイム検索にMySQLベースの独自システムを利用してきましたが、規模の拡大が難しくなってきたため、6カ月前に新システムの構築を決定。オープンソースの検索エンジンであるLuceneを選択したとのことです。 従来の50倍も高速に！ 検索エンジンに対する要件は以下のように非常に厳しいものでした。 Our demands on the new system are immense: With over 1,000 TPS (Tweets/sec) and 12,000 QPS (queries/sec) = over 1 billion
Luke - Lucene Index Toolbox
Luke - Lucene Index Toolbox Important note: Luke is now hosted at Google Code: http://code.google.com/p/luke/ and you should go to that page to obtain the latest release of Luke. This page contains only information about past releases and is no longer up to date. Lucene is an Open Source, mature and high-performance Java search engine. It is highly flexible, and scalable from hundreds to millions
[Think IT] 第2回：検索プログラムを試してみよう！ (1/3)
本連載ではJBoss Enterprise Middlewareを使った「エンタープライズレベルの検索サービス」を提供するWebアプリケーションの作成を行う。検索エンジンとしてオープンソースソフトウェア（以下、OSS）のApache Lucene（以下、Lucene：ルシーン）を使用する。 前回「第1回：OSS検索エンジンLuceneとは」では、検索エンジンLuceneについて詳しく解説した。今回はいよいよ実際の検索プログラムを作成していく。 ここでは簡単なサンプルプログラムとするため、JBoss Enterprise Application Platform（以下、JBoss EAP）のJBoss Application Server上で動作するJSPプログラムを作成する。JBoss EAPのインストールについては以下記事を参照していただきたい。
[Think IT] 第1回：OSS検索エンジンLuceneとは (1/3)
「JBoss Enterprise Application Platformの全貌」では全4回にわたって、JBoss Enterprise Middleware全般について解説している。 本連載ではJBoss Enterprise Middlewareを使った具体例として「エンタープライズレベルの検索サービス」を提供するWebアプリケーションを取り上げ、試作する。なお、検索エンジンにはオープンソースソフトウェア（以下、OSS）のApache Lucene（以下、Lucene：ルシーン）を使用する。 ここで述べる「エンタープライズレベルの検索（注1）」サービスとは、企業が保有する大量のコンテンツを高速に検索するサービスのこととする。Luceneは小規模（文書数が数万件以下）から大規模（数百万件以上）のコンテンツを高速に検索することを得意としているため、「エンタープライズレベルの検索」に適して
Apache Lucene - Wikipedia
Apache Lucene（アパッチ ルシーン）は、Doug Cuttingによって開発された、Java製のFLOSSの検索ライブラリである。Luceneは、強力な文書インデキシング及び検索機能、スペルチェック、ハイライト、テキスト解析機能を提供する。Apacheのトップレベルプロジェクトの1つである。 Luceneは、Apache Solr、Elasticsearch等の検索プラットフォームで利用される検索ライブラリである。以前はLucene.NET、Mahout、Tika、Nutchといったサブプロジェクトが存在したが、現在はすべて独立したApacheのトップレベルプロジェクトとなっている。2010年3月から、Apache SolrがLuceneのサブプロジェクトとして開発コミュニティがマージされた。 Luceneで日本語のテキスト解析を利用するためには、Kuromojiを利用したJa
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon CloudSearch（マネージド型検索サービス）| AWS
サービス終了のお知らせ
Connecting to the iTunes Store.
TechCrunch | Startup and Technology News
TechCrunch | Startup and Technology News
MySQLで全文検索 - FULLTEXTインデックスの基礎知識｜blog｜たたみラボ
MySQL FULLTEXT Ngram : LIKE検索より数十倍高速な、お手軽 日本語全文検索 について｜blog｜たたみラボ