セマンティック検索の活用で、Elasticsearchの検索が根本的に変わる！？ - Taste of Tech Topics
こんにちは、@shin0higuchiです😊 業務では、Elasticsearchに関するコンサルティングを担当しています。 最近すっかり春らしく、暖かくなってきました。 新年を迎えたばかりの感覚でしたが、あっという間に時が経ちますね。 さて、今回の記事では、Elasticsearchの検索を根本的に変える可能性を秘めたセマンティック検索に関して書かせていただきます。 概要 Elasticsearchは元々、キーワードベースのアプローチを主に取っており、クエリで指定されたキーワードを対象のドキュメント内で検索し、それらの出現頻度や位置に基づいて結果をランク付けしています。この方法では、文脈や意図に関係なく、単純にキーワードの一致度に基づいて検索結果が返されます。 一方、セマンティック検索とは、ユーザーのクエリの背後にある文脈と意図を理解しようとする検索手法で、キーワードだけに頼るのではな
Elasticsearchのクエリ変更による影響度をオフライン評価する - Taste of Tech Topics
概要 こんにちは、shin0higuchiです😊 この記事はElastic Stack (Elasticsearch) Advent Calendar 2019 - Qiitaの20日目です。 皆さんはElasticsearchの検索クエリのランキングをチューニングする際、どのようなプロセスで実施していますか？ 変更したクエリを最初からABテストにかけるのではなく、オフライン評価をおこなうことが多いのではないでしょうか？ 今回はElasticsearchクエリを変更した時の、検索結果（ランキング）への影響度をオフライン評価する方法についてです。 バージョン情報など Elasticsearch : 7.5.0 Python：3.8.0 下準備 クエリ変更云々の前に、まずベースとなるデータを用意します。 利用するのはwikipediaの日本語データです。 indexのmappingはシンプル
位置情報付きツイートをElasticsearch,Kibanaで可視化して、ポケモンGOを攻略！ - Taste of Tech Topics
こんにちは@shin0higuchiです 世間に一大ブームを起こしたポケモンGOですが、みなさんやってますか？ 新機能が追加されたり、第二世代のポケモンが登場するという噂もあり、 さらに流行るかもしれないですね。 さて、今回は位置情報付きのツイートを地図上にマッピングして可視化してみます。 キーワードで絞り込むことで、そのキーワードを含むツイートが「どこで」「どのくらい」つぶやかれているかを知ることができます。 例えば「ピカチュウ」と検索すればポケモンGOでピカチュウが出現する場所が簡単に特定できるかもしれません。 今回行うのは、logstashで取得したツイートをelasticsearchに入れて、それをkibanaで可視化するという流れです。 それでは実際にやってみます。 1.logstashでツイートを取得する logstashのinputプラグインとして用意されているtwitter
Prelertでプログラミングレスな異常検知に挑戦！ - Taste of Tech Topics
こんにちは！ @tereka114です。 最近、データの中から特異点や異常な箇所を発見したいニーズが高まっています。 そんななか、先日、Elastic社が行動分析技術の大手プロバイダPrelertを買収したとのニュースがありました。 ちなみにPrelert社とは異常検知を自動化するため、データの知識が不要なアプリケーションをエンドユーザーに提供していた企業です。 Prelertのサイトを確認すると、Elasticsearchに入れたデータに対して異常検知することができそうです。 これは面白そう！ ということで、Prelertを使って異常検知を行ってみました。 今回は、次の流れで説明していきます。 Prelertとは Prelertのインストール 公式サイトからのダウンロード インストール 起動確認 実際に異常検知をやってみる。 データ投入 マッピング定義 Logstashを使ったデータ投入
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
