【ChatGPT】とベクトルデータベースによる企業内データの活用(いわゆるRAG構成) - Qiita
本記事は日本オラクルが運営する下記Meetupで発表予定の内容になります。発表までに今後、内容は予告なく変更される可能性があることをあらかじめご了承ください。下記セッションでは、本記事の内容以外にデモンストレーションも実施する予定です。 ※セミナー実施済の動画に関しては以下をご参照ください。 はじめに 2022年暮れ、ChatGPTの登場以降、あらゆる企業がDXの在り方を問われはじめ、大規模言語モデルの仕組みをどのように業務に取り入れるかを検討されていると思います。 その検討の一つとして、「GPT(LLM)が学習していない企業内のデータや最新のデータも有効活用すべき」 という点は非常に大きな論点なのではないでしょうか。 ご存じの通り、LLMとはインターネット上に存在するドキュメントデータをクローリングにより大量に収集し、それを学習データとして機械学習にかけたモデルです。 従って、至極当たり
Elasticsearchのread-onlyエラーへの対処法
pootleで使っているElasticsearchが急にエラーを吐くようになった。 TransportError(403, u'cluster_block_exception', u'blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];') どうもデータベースが読み込みモードになっているよう。調べるとディスクの空きがほぼなくなると自動でモードを切り替えるらしい。 cluster.routing.allocation.disk.watermark.flood_stage Controls the flood stage watermark. It defaults to 95%, meaning that Elasticsearch enforces a read-only index block … Disk-ba
Elasticsearchのmatchとmatch_phraseの違い - grep Tips *
Elasticsearchで全文検索する際にmatchとmatch_phraseの違いがはっきり身についていないのでまとめてみる。 version: Elasticsearch 7.5 matchクエリ matchクエリを使うといわゆる曖昧検索ができる。matchクエリに渡した文字列はanalyzeされてから検索に使用される。 例えばtitleというフィールドに「2021年春に発売される新着本の特集!!NEW!!」という文字を保存していたとして、「2021春」で検索できるかどうかを考えてみる。 GET sample-index/_search { "query": { "match": { "title": "2021春" } } } 解析されたクエリはORで検索される indexをkuromojiで形態素解析されるように設定したので、「2021春」は「2021」と「春」に形態素解析される
Multi-match query | Elasticsearch Guide [8.13] | Elastic
The multi_match query builds on the match query to allow multi-field queries: $params = [ 'body' => [ 'query' => [ 'multi_match' => [ 'query' => 'this is a test', 'fields' => [ 'subject', 'message', ], ], ], ], ]; $response = $client->search($params); resp = client.search( body={ "query": { "multi_match": { "query": "this is a test", "fields": ["subject", "message"], } } }, ) print(resp) response
![Multi-match query | Elasticsearch Guide [8.13] | Elastic](https://cdn-ak-scissors.b.st-hatena.com/image/square/cbbc87b803e58787f8346841e5b65698d408f3c5/height=288;version=1;width=512/https%3A%2F%2Fwww.elastic.co%2Fstatic%2Fimages%2Felastic-logo-200.png){kind=logo}
How to implement Japanese full-text search in Elasticsearch
全文検索は一般的に知られていますが、検索エクスペリエンスで非常に重要な役割を果たしています。ただし、日本語など、一部の言語では、全文検索を実装するのが難しい場合があります。このブログでは、日本語で全文検索を実装する際の課題を探り、Elasticsearchでこれらの課題を解決する方法をいくつか示します。 全文検索とは？ Wikipediaより、下記が定義となります。 全文検索とは、コンピュータにおいて、複数の文書（ファイル）から特定の文字列を検索すること。「ファイル名検索」や「単一ファイル内の文字列検索」と異なり、「複数文書にまたがって、文書に含まれる全文を対象とした検索」という意味で使用される。 全文検索は、現在多くのデジタル体験を強化するものです。全文検索は、データセット内に隠れている可能性のある単語やフレーズを見つけようとしてくれます。例えば、ネットショッピングして「phone」を検
Elasticsearchで日本語検索を扱うためのマッピング定義 - ZOZO TECH BLOG
こんにちは、検索基盤部 検索基盤ブロックの渡です。私は検索基盤ブロックで、主にZOZOTOWNの検索周りのシステム開発に従事しています。 以前の記事では、Elasticsearchのマッピング設定の最適化について取り上げました。そして、今回は日本語による形態素解析を実現するまでの手順をご紹介します。 techblog.zozo.com 目次 目次 はじめに Elasticsearchで全文検索を実現させる手順 全文検索のためのマッピング定義 Analyzerの構造 日本語対応のAnalyzer 日本語対応のためのプラグイン追加 kuromoji Analyzerを指定したマッピング定義の例 kuromojiプラグイン機能 カスタムしたAnalyzerのマッピング定義 Analyzerの動作確認 modeを選択した場合のマッピング定義の例 Analyzer適用の注意点 kuromoji以外の
ElasticSearchの「正規表現」「ワイルドカード検索」は性能的にも業務的にもメリットが薄かった - きり丸の技術日記
Qiitaで書いた記事を微妙に書き直して、はてなブログに移行させます。 「ElasticSearchで正規表現やワイルドカード検索がしたい！」 という顧客要望に応えるため、何とかできないか試したときのメモ。 環境 ElasticSearch 結論 データ型がkeywordのフィールドに対しては、正規表現検索は有効 データ型がtextのフィールドに対しては、意図に沿わないことが多い 書かないこと 正規表現検索で劣化する性能の具体的な値 原因 データ型がkeywordはアナライザによる単語分割が行われないため、正規表現で目的の単語がヒットしやすいです。 データ型がtextのフィールドはアナライザによる文字数分割が行われます。 また、ワイルドカードを使用した場合は「A * B」で一単語と判断します。 一単語として扱うため、分割文字単位より長い単語をヒットさせることができません。 むしろワイルドカ
Elastic Stack 5.2.0 がリリースされました | DevelopersIO
おはようございます、藤本です。 1/31 に Elastic Stack 5.2.0 がリリースされていました。Elastic Stack 5.1.1 のリリースから 2ヶ月弱と相変わらずな早さのリリースペースにも関わらず、多くの新機能、バグフィックスが含まれていました。 英語 Elastic Stack 5.2.0 Released 日本語 Elastic Stack 5.2.0リリース 今回はいくつか新機能を触ってみましたので、メモ書きします。それではプロダクト別に順にご紹介します。 Elasticsearch 5.2.0 まずは Elasticsearch です。Elasticsearch 5.2.0 の公式ブログと、リリースノートは以下になります。 公式ブログ Elasticsearch 5.2.0 released リリースノート Elastic Stack 5.2.0 Rele
Elasticsearch Rest APIでのIndex再構築
https://www.elastic.co/こんにちは。APIチームの小島です。 今回はElasticsearchのIndex再構築手順について書きます。 Elasticsearchを運用している中でスキーマを変更する際、Shard数を変更する場合にIndexを新しく作り直す事があります。再構築に関してはElasticsearchの使い方、サービスの性質、利用ツールによりやり方はそれぞれなのであくまでも一例として紹介します。 環境・Elasticsearch 6.2 Indexについて今回はユーザ情報を入れるIndexとして以下のような命名で説明します。 ・使用中のIndex名： user_v20180701000000 ・新しく作るIndex名： user_v20181001000000 ・Aliase名： user Aliaseはサービスから参照させたいIndexに結びつけておき、I
Elasticsearch 日本語で全文検索 その２
Elasticsearch では、すでに日本語で全文検索する為のトークナイザーやノーマライズなどの加工処理で使用するフィルターなどがビルトインまたは、サードパーティ製のプラグインとして多数存在します。 ここでは、日本語全文検索で使用しそうなトークナイザーやフィルターなどを説明します。 主要モジュールNGram Tokenizer N-グラムを提供するトークナイザーです。Elasticsearch にバンドルされています。Japanese (kuromoji) Analysis for Elasticsearch 日本語形態素解析を提供するプラグインです。各種 Analyzer、Tokenizer、TokenFilterが含まれます。cjk_width Token Filter 半角・全角などを統一するためのフィルターです。Elasticsearch にバンドルされています。Lowercas
Elasticsearchのひらがなでの検索時のトリックについて雑談 - はてだBlog（仮称）
はじめに Elasticsearch(kuromoji)では、アナライザーに「kuromoji_readingform」というものがあり、これを使うと「読み」に関して、表記揺れや曖昧検索相当に対応できます。 ただし、この「読み」部分については、実は、kuromojiの形態素解析(分かち書き/token化)とセットになる話なので、一番ベーシックなアナライズの設定組み合わせの範囲では実は次のようなことが発生します。 「渡辺」「渡邊」のような「端」「橋」のような、（そのようになるように検索クエリを用いれば）期待どおり互いに検索時にヒットする 一方で、 ひらがな「わたなべ」で、漢字の「渡辺」や「渡邊」を（ただしく読めていると思われるにもかかわらず）これらをヒットさせられない これは、「読み」は当てられているものの、形態素解析でトークン化されたものに対して、転置インデックスの各エントリに対して当ては
elasticsearchで人名漢字の読みがな検索を行う - Qiita
TL;DR 漢字で保持しているユーザの名前をひらがな、カタカナでも検索できるようにします。 使ってみる 以下のURLにアクセスして、上部のサーチボックスから検索が行えます。 ログインするとよりたくさんの結果が返ります。お試しください。 環境 Elasticsearch v1.2.1 kuromoji for Elasticsearch v2.2.0 方針 kuromoji_tokenizerで形態素解析した単語の漢字部分を kuromoji_readingform(TokenFilter)でカタカナに変換してインデックスします。 変換のために別途人名辞書を作成しkuromoji_tokenizerのユーザ辞書に登録して漢字とカタカナの紐付けを行います。 ユーザ辞書はトークンと読みがなを１対１でしか紐づけできないので、word_delimiter(TokenFilter)を活用して１対Nで紐
第６回 Elasticsearch 入門 基本コンセプトを理解する | DevelopersIO
これまでの記事でも Cluster や Node を始めとする Elasticsearch を構成する要素について触れているのですが、 文章だけでは理解しづらいところもあるので、今回は改めて Elasticsearch の基本コンセプトについて図も交えて解説したいと思います。 それではさっそく。 Cluster は Node の集合 Cluster は 1つ以上の Node (Elasticsearch Server) で構成されます。Elasticsearch は検索トラフィックの増加とデータ量や書き込み速度の分散を Node を増やすことで対応することができます。 Index は RDB の Database に近い概念 Elasticsearch の Index は、リレーショナル・データベースの Database に相当します。1つの Cluster に複数の Index を作成す
Elasticsearchクラスターのシャード数はいくつに設定すべきか？
保持期間ごとのインデックスセグメントは不変なため、Elasticsearchでドキュメントを更新する場合は、まず既存のドキュメントを見つけ、それを削除済みとしてマークし、その後、更新バージョンを追加する必要があります。ドキュメントを削除する場合も、そのドキュメントを見つけて削除済みとしてマークする必要があります。このため、削除済みとしたドキュメントはマージされるまで、ディスクスペースと一部のシステムリソースを引き続き拘束することになり、結果として多くのシステムリソースを消費する場合があります。 Elasticsearchでは、ファイルシステムから直接、効率的にインデックスを完全削除することができます。すべてのレコードを個別に明示的に削除する必要はありません。これはElasticsearchでデータを削除するときの最も効率的な方法です。 ポイント：可能な場合は必ず、時間ベースのインデックスを
Elastic（Elastic Stack：Elasticsearch、Kibana、Beats、Logstash） 7.12のリリース：フローズンティアでテクニカルレビュー中の読み取り時のスキーマ、自動スケーリングが一般公開されました。
Elastic 7.12を一般公開（GA）いたしました。今回のリリースでは、エンタープライズサーチ、オブザーバビリティ、セキュリティの各Elasticソリューションに多彩な新機能が登場しています。Elasticソリューションは、ElasticsearchやKibanaで構成されるElastic Stackをベースとしています。このリリースでは、読み取り時のスキーマで優れた柔軟性と速度のバランスを選ぶことができます。また、新しいフローズンティアでは、オブジェクトストアが完全に検索可能になり、新しい価値が発揮されます。Elastic Cloudではデプロイの自動スケーリングも可能です。 Elasticエンタープライズ サーチは、さまざまなアーキテクチャが機能強化され、デプロイサイズの削減、インデックスの高速化、その他の関連する機能といった利点がもたらされます。Elasticオブザーバビリティに
AWS、商用サービス化を制限するライセンス変更に対抗し「Elasticsearch」をフォーク 独自のオープンソース版へ
この記事は新野淳一氏のブログ「Publickey」に掲載された「AWS、商用サービス化を制限するライセンス変更に対抗し「Elasticsearch」をフォーク、独自のオープンソース版へ」（2021年1月25日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 米Amazon Web Services（AWS）はこのほど、オープンソースで開発されている検索エンジン「Elaticsearch」とデータの可視化ツール「Kibana」をフォークし、独自ディストリビューションを作成すると発表しました（AWS日本語ブログ）。 これはElasticsearchとKibanaの開発元である蘭Elastic社が、AWSはElasticsearchの商標を無断で利用しているなどとしてAWSを名指しで非難し、AWSの商用利用を制限するライセンス変更を発表したことに対抗する措置として行われる
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
normalizer | Elasticsearch Guide [8.13] | Elastic
ja_stop token filter | Elasticsearch Plugins and Integrations [8.13] | Elastic
Range query | Elasticsearch Guide [8.13] | Elastic
Changing Mapping with Zero Downtime
