[B! elasticsearch] ducky19999のブックマーク

Elasticsearchを用いた日本語検索システムの理論と設定

本連載は、対話インターフェースを利用して新しい形の検索システムを体験してもらうことを目的としています。今回は日本語検索システムでよく用いられるElasticsearchを紹介します。Elasticsearchは大規模なデータに対しても適用可能な検索機能を提供している全文検索エンジンです。特徴としてスケーラブル、検索速度の速さ、検索結果の分析のしやすさ、開発者にとって使いやすいRESTfulなAPIが挙げられます。今回の記事はElasticsearchを用いた日本語検索システムの仕組みから設定の部分までを記述し、次回の記事で実際に動作させてもらいます。本連載の内容本連載で紹介予定の内容は次のとおりです。 Step1：Elasticsearchを用いた日本語検索システム対話型の検索システムを作成するためのStep1として、Elasticsearchを用いた日本語検索システムの構築方法を紹

ducky19999 2016/10/07

elasticsearch

リンク

知識ゼロからElasticsearchを実践で使えるようになろう！ - $shibayu36->blog;

以前少しだけElasticsearchを触った時に、自分流Elasticsearch入門 - $shibayu36->blog; というElasticsearchに入門した時のメモをまとめていた。しかし、その頃はElasticsearchを使って完全に一人で一つの機能を作るというところまではいけなかった。最近になってまたElasticsearchを一から導入する仕事をすることになった。この時以前自分がまとめた記事を読みながらやっていたのだが、実践で一から導入するためにはこの記事だけでは知識が足りなかった。そこで、前の記事の知識をベースに、一から導入するために少しずつ学んでいき、自分のブログにまとめるなどのことをしてきたので、今回はその締めくくりとして、知識ゼロからElasticsearchを使えるようになるために学習したことについて書いておきたいと思う。今回書くこと・書かないこと今

ducky19999 2016/09/06

リンク

第２回 Elasticsearch 入門データスキーマ設計のいろは | DevelopersIO

第2回目の Elasticsearch 入門は「データスキーマ設計のいろは」です。設計と言うほどでもないのですが、例えば RDB で検索にフォーカスした設計や、他の検索エンジンも経験していると、これまでの制限や習慣で Elasticsearch の特徴を生かせない設計をしてしまう事があるので、このテーマにしてみました。それではインデックスするためのデータ構造を Elasticsearch でどのように設計するのか解説したいと思います。設計フローまで変えてしまう画期的なドキュメント指向型検索エンジン Elastic 社のホームページを見てみると Elasticsearch の特徴の１つとして「Document-Oriented」と言う記載があります。直訳すると「ドキュメント指向」です。簡単に説明すると現実世界の複雑なデータをJSONドキュメントにしてインデックスするだけで、デフォル

ducky19999 2016/03/18

リンク

ハッカドールにおけるElasticsearch利用法について発表しました - mosa_siru’s blog

DeNA社内でのElasticsearch勉強会にて、アプリ「ハッカドール」におけるElasitcsearch利用法について発表してきました。スライドはこちら。 Elasticsearch for Hackadoll from mosa siru Elasitcsearchの中身や運用について濃く触れるというよりは、ちゃんとした検索エンジン作るための泥臭い話がメインになっています。（ある意味で昨年Tokyo WebMiningにて発表した捗るリコメンドシステムの裏事情（ハッカドール）の派生スライドです。）ハッカドールは1周年を迎え、来月にはアニメ化もされます。ニュースアプリがアニメ化とか開発者としてもどうなるか予想がつきませんが、放映時には全裸待機しようと思います！ hackadoll-anime.com

ducky19999 2015/09/03

リンク

fluentd -> Elasticsearch 大量データ転送でトラブル | diaspora

概要 fluentd でサービスの情報を転送し、Kibana で分析したいこれまでの過去データを一度に放り込みたいデータの件数が合わない Kibana でエラーが発生する各種設定を見直すことで対応可能背景長い長いミーティングに疲れ、集中力を擦り減らしたアナタは無意識のうちにブラウザを起動していました。去年まで勤めていた会社の同僚がシェアした記事が目に止まります。「fluentd + Elasticsearch + Kibana で今どきのログ分析！」感化されやすいアナタはおもむろに VM を立ち上げ環境を構築します。 Web サーバから吐き出されたログはオシャレでイイ感じにチャート化され、満足したアナタは VM を落とし、再び仕事に戻りました。しばらく経ったある日のこと、ふと気づきます。「ログだけじゃなくて、ユーザ属性の分析にもコレ使えそう。」毎度オレオレ管理ペー

ducky19999 2015/06/28

リンク

実践！Elasticsearch - Wantedly Engineer Blog

（募集はダミーデータです）（参考: ドキュメント登録の流れについては Elasticsearch 入門を参照すると良いです。） Analyzer 上記のデータを実際に入れる前に、index の作成と analyzer の設定をします。以下のコマンドを実行することで analyzer の設定ができます。下記で説明して行きます。 curl -XPUT 'http://localhost:9200/wantedly-demo' -d \ '{ "settings": { "analysis": { "filter": { "pos_filter": { "type": "kuromoji_part_of_speech", "stoptags": [ "助詞-格助詞-一般", "助詞-終助詞" ] }, "greek_lowercase_filter": { "type": "lowerc