この投稿は、AngularJS Advent Calendar 2014 (Adventarの方)の7日目の記事です。 はじめに Kibanaって便利ですよね。 Kibana 4ではElasticsearchのAggregationsに対応したので、より柔軟な表現ができるようになりました。 とは言え、標準で用意されているグラフだけでは表現できないケースがあるのも事実です。 ところで、KibanaはAngularJSでつくられています。 幸いなことにぼくはAngularJSチョットデキルので、Kibanaを拡張することもできるんじゃないだろうか考えていたところ、Kibana 4のソースコードの中にpluginsというディレクトリがあるのを発見しました。 喜び勇んでpluginsディレクトリを開いてみたわけですが、README.txtにはPLEASE DON'T WRITE CUSTOM PL
When designing visualizations, we sometimes have to deal with bigger datasets than standard tools can handle. For example, Microsoft Excel has a limit of roundabout 1 million rows - for web-based tools, its often even worse. If you have files that exceed this limit, you can consider the usage of a database which can easily handle big datasheets. But also for smaller datasets, the following techniq
突然ですが、ウェブサイトから旅行の申し込みをする人がどのくらいいるか知っていますか? 国内旅行では2012年、約25%の旅行者が旅行予約サイトを利用して申し込んでいるとのことです。(日本旅行業協会サイトより: http://www.jata-net.or.jp/data/stats/2014/03.html) 年間国内宿泊旅行者数が、約4億5000万人泊 (日本旅行業協会サイトより : http://www.jata-net.or.jp/data/stats/2014/01.html) ということなので、仮に1回の旅行で5人グループが2泊するとした場合、4,500万回の国内旅行が催行され、その内の25%、1,125万回がウェブサイトから申し込みされていることになります。情報収集でサイトに訪れる利用者を含めるとさらに大変な来訪者になります。今後は25%という割合も増加するだろうし、ツアーサイ
Elasticsearchでサジェスト機能を使いたいんだけど、英語でのネタしか見つからなかったので、日本語でサジェストするメモ。 例えば「と」と打って「東京都」が出てきてほしいけど、そのままデータ登録しても「東」じゃないと出てこない。 なので、Kuromojiのカタカナ変換機能を使ってやってみた。 インデックス作成 まずインデックスの作成と設定。(例として「suggest_test」というインデックス名) // curl -X PUT 'localhost:9200/suggest_test' -d { "settings": { "analysis":{ "analyzer" : { "katakana_analyzer" : { "tokenizer" : "kuromoji_tokenizer", "filter" : ["katakana_readingform"] } }, "f
最近、検索エンジン及びサジェストエンジンとしてelasticsearchを検討しているのでメモ。 Completion Suggesterとは 登録されたワードを前方一致で検索する機能。「ピ」っていれたら「ピンクフロイド」が出たり「ジ」っていれたら「ジェネシス」って出るアレを実現する技術。 公式ドキュメント mappingの登録 PUT /music/song/_mapping { "song": { "properties": { "name": {"type": "string"}, "artist": {"type": "string"}, "released": {"type": "integer"}, "suggest": { "type": "completion", "index_analyzer": "simple", "search_analyzer": "simple"
@shoitoです。 12/1に、先日発表したElasticsearch勉強会の報告を公開しました。 「niconicoの検索を支えるElasticsearch」と題して、第7回Elasticsearch勉強会で発表しました 今回は、私がElasticsearchを知るために参考にしているサイトや書籍、フォローしているtwitterアカウントなどを紹介します。1つでも参考になればと。 まずは書籍を2冊紹介します。 Elasticsearch: The Definitive Guide (英語) http://shop.oreilly.com/product/0636920028505.do こちらは電子書籍がオライリーで発売されているのですが、オンラインでも無料で読むこともできます。 http://www.elastic.co/guide/en/elasticsearch/guide/cu
APIの一覧をまとめた資料が見当たらなかったので、APIでできることを把握できるようにAPIの一覧をまとめてみました。 NOTE: バージョン1.x の本家リファレンスを参考にしています。 Elasticsearch の提供している各種APIは、以下の図のように検索やドキュメントの登録だけではなく、各種設定、モニタリング、メンテナンスの為のAPIまで幅広く提供されています。 Elasticsearch API Over Viewdocument apisドキュメントの追加・更新などのドキュメント操作の為のAPI 【document api】 PUT /{index}/{type}/{id} # ドキュメントの追加更新 POST /{index}/{type} # ドキュメントの追加更新(ID自動生成) GET /{index}/{type}/{id} # ドキュメントの取得 GET /{i
目的 検索用サーバーとして最近注目されているElasticsearchですが、ついに1.0 RC1がリリースされたそうです。 Googleトレンドを見ても、この分野で先行するApache Solrに迫る勢いを感じます。 そういうわけで私もElasticsearchについて興味を持って調べてみましたが情報がちょっと少ないですね… 「調べたけど断片的な情報しかない」 「公式doc英語だし、専門用語が多すぎてわからん」 「え、できること多すぎ。よくわからん。どれが重要?」 と言った感じで、最初ちょっと大変… そこで調べ始める人が、概観をつかむためのチュートリアルをつくろうと思います。 コマンドを全部実行する必要ありません。用語をおさえることで調べものが捗ることがひとつのゴールです。 自分の理解の整理も兼ねています。間違ってる箇所あったら教えて下さい。 part 1:ESを使ってレストラン検索を作
LuceneベースのNoSQL全文検索サーバ、elasticsearchはログ解析の収集先として取り上げられることが多いですが、優れたNoSQL全文検索サーバでもあります。 日本でも2013年末頃から続々とブログ記事や利用事例が増えている注目の技術でもあります。 今回は、その中で全文検索サーバとしての切り口で分かりやすく解説された6つの記事を紹介します。 (追記)Hello! Elasticsearch. — Medium ナレッジワークス株式会社のKunihiko Kidoさんによるとても分かりやすい記事です。 https://medium.com/hello-elasticsearch 2014年4月に入ってから怒濤の勢いでこれらのステキな記事が追加されています。 Elasticsearch Features — 主にシステムを中心とした特徴まとめ Elasticsearch Quic
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く