Elaticsearchのクエリを楽に書けるようにした話
Elaticsearchのクエリを楽に書けるようにした話 1. Elasticsearchのクエリを 楽に書けるようにした話 佐々木 峻 2. 自己紹介 • Twitter: @Ssk1029Takashi • Acroquest Technology株式会社 • 社会人なりたて • Elasticsearchや自然言語処理 3. Elasticsearchとは？ 4. Elastic社製の OSSの全文検索エンジンです このアイコンが目 印 5. 他にも グラフなどで データを可視化 データを集めて 加工して出力 とにかくデータを集 める 6. 使うときはこんな流れ 7. データ 8. データ 加工 9. データ 加工 定義 10. データ 加工 検索 グラフなどで可視化 定義 11. データ 加工 検索 グラフなどで可視化 楽をしたいところ 定義 12. 何が面倒だったか 13. Ma
物理サーバを選定する際のポイント – Eureka Engineering – Medium
Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.
Elasticsearch x Autoscaling(AWS)
Elasticsearch x Autoscaling(AWS) 1. Amazon Web Searvice で実現する elasticsearchの大規模運用 × 株式会社インティメート・マージャー 松田和樹 2. 自己紹介 松田 和樹 株式会社インティメート・マージャー（社員数９名） 開発本部 • パブリックDMP「AudienceSearch」の開発 • 主にインフラ周りを担当 3. アジェンダ • IMにおけるelasticsearchの使われ方 • elasticsearchの構成 • 構成の決め方 • AutoScalingのポイント • その他設定のポイント 4. elasticsearchの使われ方 約４億のユニークIDに対して様々な属性情報を付与 • 閲覧履歴に基づくキーワード • 各メディアより提供されるセグメント • User Agent • アクセス元IPに基づく
Elasticsearch実運用時の注意点とアンチパターンまとめ - サナギわさわさ.json
Elasticsearch実運用時に個人的に気をつけている点をまとめました。 自分でも整理できていない部分がありますので、間違っている点・追加した方が良い点などありましたら教えていただけると非常に助かります。 目次 目次 インデックス・スキーマ設定 スキーマを事前に定義しておく _allの使用は必要な時のみ行う 部分一致検索をしないstringフィールドにはnot_analyzedをつける doc_value:trueをつける できるだけエイリアスを使う 必要に応じてルーティングを行う 本体の設定 ヒープメモリを適切に設定する スワップしないように設定 スプリットブレイン対策を行う field data cacheに上限を与える 検索高速化 Warmerを登録する queryとfilterを使い分ける filterのキャッシュ設定を使い分ける 必要無いフィールドは検索の際に取得しない イン
Elasticsearchを用いた日本語検索システムの理論と設定
本連載は、対話インターフェースを利用して新しい形の検索システムを体験してもらうことを目的としています。今回は日本語検索システムでよく用いられるElasticsearchを紹介します。Elasticsearchは大規模なデータに対しても適用可能な検索機能を提供している全文検索エンジンです。特徴としてスケーラブル、検索速度の速さ、検索結果の分析のしやすさ、開発者にとって使いやすいRESTfulなAPIが挙げられます。今回の記事はElasticsearchを用いた日本語検索システムの仕組みから設定の部分までを記述し、次回の記事で実際に動作させてもらいます。 本連載の内容 本連載で紹介予定の内容は次のとおりです。 Step1：Elasticsearchを用いた日本語検索システム 対話型の検索システムを作成するためのStep1として、Elasticsearchを用いた日本語検索システムの構築方法を紹
Elasticsearchを使ってレコメンデーションする - Qiita
Elasticsearch と Mahout を組み合わせ、「関連する商品」や、「関連するユーザ」を表示する機能をつくりました。 アルゴリズムはMahoutをそのまま使い、ロジックをElasticsearch プラグインにすることで、サーバ&データストアがElasticsearchでまかなえます。 以下にプラグインを公開しました。 https://github.com/hadashiA/elasticsearch-flavor これを実際に運用中のサービスがあるんですが、商品数がせいぜい数十万件程度だったので Hadoop等は使わず、リアルタイムで結果を計算して返す作りになっています。 おそらく1,000万件くらいになってくるとやり方を考え直さないといけなくなりそうだけど、そこまで大規模にならなければなかなか便利なものができた。 Mahoutとは Apache Mahout は、色々な機械
ElasticsearchとKuromojiを使った形態素解析とN-Gramによる検索の適合率と再現率の向上
ElasticsearchとKuromojiを使った形態素解析とN-Gramによる検索の適合率と再現率の向上：Elasticsearch＋Hadoopベースの大規模検索基盤大解剖（2）（1/3 ページ） リクルートの事例を基に、大規模BtoCサービスに求められる検索基盤はどう構築されるものなのか、どんな技術が採用されているのか、運用はどうなっているのかなどについて解説する連載。今回は、テンプレートを利用したインデックス生成など、検索結果の品質を向上させるためのさまざまな取り組みを紹介する。 連載目次 リクルートの全社検索基盤「Qass」の事例を基に、大規模BtoCサービスに求められる検索基盤はどう構築されるものなのか、どんな技術が採用されているのか、運用はどうなっているのかなどについて解説する本連載。初回の前回「リクルート全社検索基盤のアーキテクチャ、採用技術、開発体制はどうなっているのか
Elasticsearchチュートリアル - 不可視点
目的 検索用サーバーとして最近注目されているElasticsearchですが、ついに1.0 RC1がリリースされたそうです。 Googleトレンドを見ても、この分野で先行するApache Solrに迫る勢いを感じます。 そういうわけで私もElasticsearchについて興味を持って調べてみましたが情報がちょっと少ないですね… 「調べたけど断片的な情報しかない」 「公式doc英語だし、専門用語が多すぎてわからん」 「え、できること多すぎ。よくわからん。どれが重要？」 と言った感じで、最初ちょっと大変… そこで調べ始める人が、概観をつかむためのチュートリアルをつくろうと思います。 コマンドを全部実行する必要ありません。用語をおさえることで調べものが捗ることがひとつのゴールです。 自分の理解の整理も兼ねています。間違ってる箇所あったら教えて下さい。 part 1:ESを使ってレストラン検索を作
ElasticSearch入門 (3) スコアの計算 - 野次馬エンジニア道
フィルタリングの話の前にスコアの計算が気になったので深く見てみることにした。 基本的な知識 ベクトル空間モデル 単語を一つのベクトルとして表現して扱うベクトル空間モデルでは、ドキュメントの類似度をコサイン距離で計算する。 正規化することでドキュメントの長さの情報が失われてしまうのが問題点。 TF・IDF より良い結果を得る方法として各タームを出現頻度によって重みづけるというやり方が知られている。 をドキュメントの集合として、 各タームの に対してを文書における の出現回数、はが一回以上含まれる文書の数としたときに IDFはドキュメント全体におけるタームの重要性なイメージ。におけるの重みは。 他にも定義は色々存在するようだ*1。 Luceneのスコア計算 概念的なスコア計算 Luceneでは、のノルムの部分を以下のように分解している。 項 説明 coord ドキュメントに含まれるタームの数に
Elasticsearchとkuromojiでちゃんとした日本語全文検索をやるメモ | GMOメディア エンジニアブログ
技術推進室の浅井です。Elasticsearchで日本語全文検索をちゃんとやるための説明、日本語でちゃんと書かれているものが無くて少々困ったので、ちゃんと書いてみます。 Elasticsearchのインストール※ 2013/12/17 13:30 インストールするJDKのバージョンを7u45から7u25に変更 ※ 2013/12/17 12:50 JDKのバージョンについての説明を追記 @johtani さん指摘ありがとうございます この記事内の説明でOracle JDK 7u45をインストールしていましたが、Apache Luceneが7u45を推奨していないため、7u25をインストールしたほうが良いようです。（後ほど記事内の説明も修正します 修正しました） http://lucene.472066.n3.nabble.com/What-is-recommended-version-of
Elasticsearch for Hackadoll
3. @mosa_siru • 「もさ」って呼んでください • 「ボンバーマンの人」 って認 識いただければ大丈夫です • もし興味があれば動画をご覧くださ い http://www.nicovideo.jp/watch/ sm13612359 • 最近はSplatoonもやってます 3 4. @mosa_siru at DeNA • 1年目: 新卒。プラットフォームでAPIとか運用 • 2年目: ハッカドール 立ち上げからジョイン • サーバーサイドを担当 • 3年目: Web版ハッカドールを作ったり、メ ジャーアップデートしたり 4 5. ハッカドール サーバーサイド • なんかたくさん作った with @xaicron , kommy • API (100個) • ニュース配信APIからゲームの賞品付与APIま で、機能ありすぎて笑える • Worker (70個) • Crawl
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Elastic stackで始めるログ解析入門
[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」～新プラグイン「Graph」を用いた販売データの関連分析～ by Acroquest Technology株式会社 樋口 慎![[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」～新プラグイン「Graph」を用いた販売データの関連分析～ by Acroquest Technology株式会社 樋口 慎](https://cdn-ak-scissors.b.st-hatena.com/image/square/c776e33fd281c560625a6779f194b6cc1a3352d3/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fwaubsfngq2iqk8eggult-signature-33a079331e4d341f615beadcebfcdc44a5e412d60f4705c29726afdc4cbdaa7a-poli-161007073051-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)