サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
Wikipedia
itdepends.hateblo.jp
はじめに この記事は、次の記事の続きです。 itdepends.hateblo.jp 前の記事では、ひらがな(読み仮名)→漢字にフォーカスしましたが、ここでは、ひらがなの単語の複合語や漢字とひらがなの混合の複合語などででヒットさせるにはということで膨らませてみます。 ... という体裁で、Elasticsearchのアナライザーのfilterである、「Multiplexerというやつを使ってみた」紹介記事にもなっています。 www.elastic.co [補足] Multiplexerでのfilter処理イメージ Multiplexerは次のようなことができます。 図 目次 はじめに [補足] Multiplexerでのfilter処理イメージ 目次 この記事の「読み仮名」での「検索テーマ」 泣かぬなら鳴かせてみせよう...の前に 本題 ◆実験 (1) setting/mapping (2
ElasticsearchのGEO系検索のうち、ポリゴンをからめた検索について試してみました。 www.elastic.co なお、試したのはElasticsearch 6.8ですが、7系に橋渡ししやすいクエリやMapping設定の記述としたつもりです。ただし、紙面の都合・その他の理由によりでver6系とver7系の違いそのものについては割愛しています。 GEO系クエリ 検索してみる geo_polygon検索 geo_shape検索( 以下fieldtypeのgeo_shapeと紛らわしいと考えた場合は、Geo-Shape検索などと記載しているところがあります) 前準備 検索の例 GeoJSON GeoJSONをElasticsearch検索で使うにあたり理解のしどころポイントなど geo_shape データフィールドタイプ この話の続きなど GEO系クエリ まず、Elasticsear
そろそろ私なんかでも日曜大工で遊べそうな雰囲気が漂ってきたWebRTCでの画面共有アプリを習作してみました、という例です。 なお、各種ソフトのバージョンはあえて割愛しますが、2020年5月2日に確認した内容の記事となりますので、そのような鮮度だとご承知ください。 シグナリングサーバとWebサイト部分は、node.jsで実現しています。(下記は資材の一覧です。live.puは無視してください。) 実行イメージです。 Socket.IOを使っているのですが、Socket.IOのチュートリアルのリアルタイムテキストチャットを改変(?)したミニチャット付きです。 このミニチャット部分は「シグナリング」のやりとりの簡易ログも兼ねています。 (1) WebRTCについて 要素技術・関連記述についてのリンク(WebRTC、getUserMedia、 Socket.IO(WebSocket) ) 利用ソフ
Elasticsearchには、本分である検索もさることながらドキュメント(テキスト)に関する調査も可能です。 調査も...というか、Elasticsearchのような検索エンジンはテキストマイニングの情報技術の結集かと思いますので、テキストマイニングで出てくるような話題に関連するような数値等の確認ができそうな気がします。 確かにその手の基本APIがいくつかありそうでして、そのうちの一つが、Term Vectorsと呼ばれるものです。 Term Vectorsを使うと指定のドキュメント中の(ANALYZE後の)単語出現回数の分布を確認できます。 www.elastic.co また、Multi termvectorsは、ドキュメントを複数指定できるバージョンです。 これらTerm Vectorsについて、通常のワードカウンターと違って、私が面白いなと思うところは次のとおりです。 ANALYZ
Elasticsearchには、Search Templateという、よく使うクエリをElasticsearch自体に登録して、それをテンプレートにして検索クエリの一部を差し替えたような検索ができます。 使い所によって、共通化、タイプ量削減、設計方針の強制、コンセプトの共有、いろいろな捉え方ができると思います。 テンプレートのフォーマット指定は、mustache風です。 www.elastic.co 私の中では、存在は知っていたものの、(後半に示しているJSONをパラメータに受け取ってそのままプレースホルダーにはめ込みできるというところが特に)再発見でしたので、勉強メモとしてこちらにサンプル例を書き連ねてみます。 確認に使ったElasticsearchのバージョンは ver6.8です。 もっともシンプルな例 いろいろな例 001(オーソドックス:検索ワードの当てはめ) 002 (001と同
はじめに Elasticsearchで、システム管理・環境設計周りの話で、こんなことできるのかなみたいな気になったものを書き出して、確認した内容をメモる。 調べたい事項の備忘録も兼ねているので、で、結局どうなのさというものが常に残る可能性あり。 記事の拙さはまだしも、エターナル未完成なのにネット公開するのは心苦しいが、サイトパワーを考えると実害はないと思って勝手に納得・言い訳しておくことにする。 はじめに インデックス更新 Mappingで各フィールドをワイルドカードなどで一括設定できるか? Mappingで定義を使いまわせるか? 元のドキュメントでは、苗字と名前で別項目だが、検索フィールドとしては、氏名を一体にしたものとしたい 検索のビューアーや設計時にデータの調べ物を行う際のおすすめは? typeのメタフィールドは? そもそも予約されているフィールド名をなんて言う。 index設計のコ
はじめに Elasticsearch(kuromoji)では、アナライザーに「kuromoji_readingform」というものがあり、これを使うと「読み」に関して、表記揺れや曖昧検索相当に対応できます。 ただし、この「読み」部分については、実は、kuromojiの形態素解析(分かち書き/token化)とセットになる話なので、一番ベーシックなアナライズの設定組み合わせの範囲では実は次のようなことが発生します。 「渡辺」「渡邊」のような「端」「橋」のような、(そのようになるように検索クエリを用いれば)期待どおり互いに検索時にヒットする 一方で、 ひらがな「わたなべ」で、漢字の「渡辺」や「渡邊」を(ただしく読めていると思われるにもかかわらず)これらをヒットさせられない これは、「読み」は当てられているものの、形態素解析でトークン化されたものに対して、転置インデックスの各エントリに対して当ては
検索サイトで、どのようにElasticsearchを活かしてサイトをディレクションするかについて自分の意見をまとめてみました。 まとめてみたと言いいつつ、アタマの整理の過程をダンプしたという体裁になっています。... のでまとまってないかもしれません。 何かの勢いで書いてはならないことを書いてしまわないようにしたため、筆者のドキュメント力とは別の問題として、本来は具体的なもので述べるところ、抽象的な言い方になっているところが多々あります。 一方で、多少リアルな例にしたいと思い、ある程度シーンを絞って記述したところもあるのですが、抽象化との兼ね合いで、論理の飛躍や検証が甘いところもあると思います。 つまるところポエムになっているかもしれません。 また、2019年改訂版としていますが、改訂前のものがあるわけではありません。今後、世の進歩とともに、陳腐化するかもという言い訳でして、2019年現在
◯◯たるもの、嗜みの一つとして、Elasticsearchの日本語関連のAnalyze設定のフェイバリットのひとつ、ふたつはお持ちかと思います。 検索要件次第のところもありますが、そこがはっきりしない場合など、自分の脳内基本設定の軸があることで、それとの比較でトレードオフがあぶり出されることになると思いますので、スポンサーから特に指定がない場合は、この設定でまずはやってみようというものがあった方がなにかと効率的です。 2018年12月現在の自分の好みの初期設定的なものを自分の頭の整理ということで書き出してみます&背景を述べてみます。 (なんらかの知見っぽいものを炙り出せれば、あるいは勘違いなどあればそれはそれで誰かの役に立つと思って書いていますが、思ったより膨らまないかもしれません。その場合はごめんなさい。) 初期設定のスタート版 トークナイザーについて modeについて 品詞指定によるイ
検索アプリエンジニアの立ち位置視点で、Elasticsearchのモニタリング全般やテーブル構造(テーブルではありませんが...、たとえ話として)、インデックスに抱えているデータをマシンルームのような制限がある場所で(※そのような状況が良いかは別に置いておいて)、コンソール・ターミナルでカタカタ調べる場合に役立つElasticsearchのビルトインのエンドポイント(APIといった方が良いのかな?)をまとめました。 公式Rをある程度なぞった程度にすぎませんし、他のチートシートやテック記事に比べると深さ不足ですが、 しばしば担当を離れていた検索サイトで「検索の当たり方が悪い」というクレームが発生して、レスキューに入ることになった。 *(それが良いか悪いかはともかく)Elasticsearchにしばらくふれておらず、調査の勘所を思い出すにも、急遽駆けつけてくれと無理筋オーダーで現地に向かうこと
このページを最初にブックマークしてみませんか?
『itdepends.hateblo.jp』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く