Apache Solr 5.xでファセットを試す - CLOVER🍀
Apache Solrで、ファセットを試してみました。やろうやろうと思っていたのですが、なかなか取り組めていなかったので。 ファセットって何？という話もありますが、単語やクエリ、範囲に対する件数を返す機能です。 tree-tips: solrjでfacet query検索 | Apache Solr moco(beta)'s backup: Solr Faceting パラメータいろいろ (1) Amazonとかで、カテゴリ単位とかで件数が出ているやつですね。 スキーマ定義 使用するschema.xmlには、今回使用するフィールドを以下のように定義。 ※「text_ja」は、Kuromojiを使用したフィールドです <field name="isbn" type="string" indexed="true" stored="true" required="true" multiValue
Spring BootとHibernate Searchで遊ぶ - CLOVER🍀
最近、Hibernate Searchの5.0.0.Finalがリリースされました。 Hibernate Search http://hibernate.org/search/ Hibernate Search 5系から使用するLuceneが4.10系になったので、試してみようと思い、どうせならとSpring Bootを使って遊んでみました。 こんなものを使って遊んでます。 Spring Boot Spring MVC Spring Data JPA Hibernate Search Kuromoji（Lucene版） Scala Jackson Module Scala MySQL 参考文献） 参考にしたのは、書籍「はじめてのSpring Boot」とCategolJ2 Backendですね。 では、作っていってみます。最初にpomを書いて、あとはデータアクセスからWeb側の層に向かって
Apache Solr 5.xのJSON Facet APIを、Solrjでちょっと強引に動かす - CLOVER🍀
前にApache Solr 5.xでファセットを使ってみるエントリを書いたのですが、これをSolrjでやりたいと思いまして。 Apache Solr 5.xでファセットを試す - CLOVER JSON Facet APIというのは、こちらで紹介されているAPIです。 Solr JSON Facet API 以前のファセットのAPIに比べて、相当速くなったのだとか。 で、前に書いたエントリのスキーマ定義、データなどは流用しつつ、コードはSolrjを使ってやってみましょう。 スキーマ定義とデータ Solrのスキーマ定義は、このように。 <field name="isbn" type="string" indexed="true" stored="true" required="true" multiValued="false" /> <field name="title" type="tex
Apache Solr 5.x＋crawler4jで、Webサイトをクロールしてインデックス化する - CLOVER🍀
Apache Solrを使った、Webクローリングと全文検索をどうやってやろうかなぁ〜と思いまして。 OSSのクローラーっていくつかあると思うんですけど 参考） Comparison of existing open-source tools forWeb crawling and indexing of free Music http://ja.scribd.com/doc/123153248/Comparison-of-existing-open-source-tools-for-Web-crawling-and-indexing-of-free-Music#scribd FessやNutchのようなものを使ってもよいのですが、今回はある程度カスタマイズなどを前提にして、自分でプログラムを書くタイプのものがいいなぁと思いまして。 で、今回選んだのがこちらのcrawler4j。 craw
チュートリアルを参考に、Luceneのインデックスの登録、検索、削除を書いてみる - CLOVER🍀
少し前にも似たようなものを書きましたが、Luceneの基礎ということで。 Introduction to Lucene's APIs http://lucene.apache.org/core/4_3_0/core/overview-summary.html#overview_description こちらを参考に、Luceneのインデックスの 登録 検索 削除 を書いてみようかと。 追記） ドキュメントの更新は、別エントリに書きました。 Luceneでドキュメントの更新 http://d.hatena.ne.jp/Kazuhira/20140411/1397240194 用意。 build.sbt name := "lucene-first-indexing" version := "0.0.1-SNAPSHOT" scalaVersion := "2.10.1" organizatio
JavaでのHttpClientサンプル - CLOVER🍀
少し前にJAX-RSのクライアントを触ったこともあり、久々にいくつか書いてみたくなりまして。 java.netからJAX-RSまで、いくつかHttpClientのサンプルプログラムを書いてみたいと思います。 サンプルとしては、 簡単なGET／POSTを行う HTTPステータスコードが200かどうか判定する レスポンスをコンソールに出力する です。パラメータのURLエンコーディングとかまでは書いてないので、そこは微妙かも。まあ、こんなのがありますよってことで。 なお、ビルド・実行にはMavenを使用しました。 java.net.URL Java標準ライブラリを使って書く方法になります。特にMaven依存関係などは不要です。 サンプルソース。 src/main/java/httpclient/example/JavaNetHttpClient.java package httpclient.e
MongoDB Shellで遊ぶ - CLOVER🍀
MongoDBをインストールしたので、まずはMongoDB Shellで遊んでみましょう。リファレンスはこちらですからね。 mongo Shell Methods http://docs.mongodb.org/manual/reference/method/ help 何はともあれ、まずはヘルプ。 > help db.help() help on db methods db.mycoll.help() help on collection methods sh.help() sharding helpers rs.help() replica set helpers help admin administrative help help connect connecting to a db help help keys key shortcuts help misc misc thing
Elasticsearch 2.xをEmbeddedableに使う - CLOVER🍀
この前、初めてこのブログでElasticsearchを使ったのですが、次はEmbeddedに使ってみようかなと思いまして。 …正直、いきなりそんなことするもんじゃないなぁと後で思いましたけど。 基本的には、Java APIのドキュメントを見ていけばいいみたいです。 Java API [2.2] | Elastic ちょっと古い情報もいくつかあるみたいですし。 Embedded Elasticsearch Server for Tests - Cup of Java https://orrsella.com/2014/10/28/embedded-elasticsearch-server-for-scala-integration-tests/ 今1.x系のAPIで書かれたブログエントリを見ると、だいぶ変わったんだなぁとは思いますが。 まあ、それはそうと試してみましょう。 今回想定する使い方
Jest＋Groovyで、ElasticsearchにBulk Load - CLOVER🍀
ちょっとタイトルと中身が微妙に合わないのですが…。 ※読むとなんとなくわかるかもしれませんが、別にこの用途で必ずしもBulkである必要はなかったり… 例えば、こういうJSONファイルをElasticsearchに一括ロードしたいと思いまして。 data.json [ { "isbn": "978-4774161631", "title": "[改訂新版] Apache Solr入門 〜オープンソース全文検索エンジン", "price": 3600, "publish_date": "20131129", "author": ["大谷 純", "阿部 慎一朗", "大須賀 稔", "北野 太郎", "鈴木 教嗣", "平賀 一昭", "株式会社リクルートテクノロジーズ"], "tag": ["Java", "Lucene", "Solr", "全文検索"] }, { "isbn": "978
Ubuntu LinuxにElasticsearch 2.1とKuromojiをインストールする - CLOVER🍀
そろそろ、Elasticsearchを少しずつ触っていってみようかと思いまして。 とはいえ、自分はあんまり検索エンジンはやったことがないので、まあ気ままにマイペースで試していけたらなぁと思っています。 一応、LuceneおよびHibernate Searchは趣味的に遊んだことがあります。Apache Solrは、この前初めて使いました。あと、この本は持っています。 高速スケーラブル検索エンジン ElasticSearch Server 作者: Rafal Kuc・Marek Rogozin’ski,株式会社リクルートテクノロジーズ,大岩達也、大谷純、兼山元太、水戸祐介、守谷純之介出版社/メーカー: KADOKAWA/アスキー・メディアワークス発売日: 2014/03/21メディア: 大型本この商品を含むブログ (4件) を見る が、1.5くらいの時にzipを展開して起動したことがあるくら
Leiningen入門（再） - CLOVER🍀
続いて、Leiningenへ。Leiningenの位置付け自体はあまり詳しくは書きませんが、JavaにおけるMaven、Scalaにおけるsbt、Groovy（だけじゃないけど）におけるGradleみたいなものと思っていただければ。 Leiningen http://leiningen.org/ Githubでのプロジェクトは、こちら https://github.com/technomancy/ 今回使用するLeiningenのバージョンは、 2.3.1です。 インストール まずは、インストールから。パッケージマネージャを使ってインストールすることも可能なようですが、ここでは手動でインストールします。 インストール手順は、基本的に http://leiningen.org/#install に沿って行えば大丈夫です。 なお、Leiningenのインストール・実行にはClojureのランタ
Javaで使える、HTML5パーサ - CLOVER🍀
ちょっと大量のHTMLファイルをチェックする作業があって、grep／Perl One Linerで頑張るのも厳しいよなぁと思い、HTMLファイルをJavaでパースしてどうにかしようと思い立ちました、今日。 で、JavaでHTMLパーサといえば、個人的にはパッと思い浮かぶのがNekoHTML。 CyberNeko HTML Parser http://nekohtml.sourceforge.net/ が、いかんせんこれは古い。HTML5にも対応していませんし。 よって、他のパーサを探してみました。2つほど見つかったので、ご紹介します。 HTMLをパースするので、以下のような閉じタグがないHTMLもパースできなければなりません。 index.html <!DOCTYPE html> <html> <head> <title>タイトル</title> </head> <body> <div i
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
