ElasticsearchとBERTを組み合わせて類似文書検索 - Ahogrammer
本記事ではElasticsearchとBERTを組み合わせて類似文書検索を行う方法について紹介します。Elasticsearchでは最近、ベクトルに対する類似文書検索の機能が実装されました。一方、BERTを使うことでテキストを固定長のベクトルに変換することができます。つまり、BERTを使ってテキストをベクトルに変換すれば、Elasticsearchを使って類似文書検索ができるということになります。 本記事では以下のアーキテクチャでElasticsearchとBERTを組み合わせた検索システムを実現します。Dockerを使ってアプリケーション、BERT、Elasticsearchのコンテナを分けることでそれぞれをスケールしやすくする狙いがあります。記事中では重要な部分のみ提示しますが、システム全体はdocker-composeのファイルとして記述しこちらのリポジトリに置いてるので、参照してく
AWS上に構築する メンテ容易なElasticsearch System / Maintainable Elasticsearch system on AWS
Kyoto.なんか #5 (https://kyoto-nanka.connpass.com/event/141982/) の資料です
横断検索で社内情報共有を加速させる - Hatena Developer Blog
アプリケーションエンジニアの id:alpicola です。 このエントリは、はてなエンジニアアドベントカレンダー2018の24日目の記事です。昨日は id:miki_bene のIntelliJを使ってPerlアプリケーションの開発をするでした。 背景 横断検索のアーキテクチャ 閲覧可能範囲の実装 検索精度を高める工夫 形態素解析器Sudachiの使用 N-gramインデックスの併用 おわりに 背景 はてなでは業務の中で得た知見や考えたことなどを書き残し、社内外でどんどん共有していくオープンな文化があります。こうやって発信された情報はエンジニア同士で相互によいインプットになってきました。一方で、情報がそれを必要としている人に必ずしもアクセスしやすくないという課題も抱えています。 発信される情報の量が多く、少し時間が経った情報はすぐ流れてしまう 社内でグループウェア、GitHub Ente
高負荷状態に陥った Amazon Elasticsearch Service を安定させる方法 | はったりエンジニアの備忘録
Amazon ES で運用しているログ検索基盤の Elasticsearch が高負荷状態に陥ってしまい、なんとかして安定させる必要がありました。具体的には CPU 使用率がほぼ 100% に張り付いてしまい、クライアントが接続できないという状況です。いろいろ試行錯誤してノウハウが得られたのでまとめておきます。 Elasticsearch のバージョンは 6.2.3 で、このクラスターの特徴は次のとおりです。 Fluentd からさまざまなログを集めて Kibana で検索する 日次でインデックスが作られ、古いインデックスは Curator で削除している Fluentd から Amazon ES へ直接送っていて、クライアント側のサーバ台数はそこそこ多い VPC の中に起動しているので Kinesis Data Firehose は使えない ちなみに、Amazon ES 前提の内容になっ
About AWS
Since launching in 2006, Amazon Web Services has been providing industry-leading cloud capabilities and expertise that have helped customers transform industries, communities, and lives for the better. As part of Amazon, we strive to be Earth’s most customer-centric company. We work backwards from our customers’ problems to provide them with the broadest and deepest set of capabilities so they can
Amazon Elasticsearch Service で「アクセスポリシー」を即時反映できるようになっていた - kakakakakku blog
Amazon ES (Amazon Elasticsearch Service) で，例えば「アクセス許可 IP」を追加するなど「アクセスポリシー」を変更する場合，クラスタも再構築されてしまうため，待ち時間が長時間化したり，場合によっては再構築がエラーになって，クラスタが死んでしまう場合もあった．Amazon ES を運用している人たちと話すと必ず話題に出るツライ仕様だったし，これまで何度も AWS サポートに改善要望を出していた 😰 最近どうしても「アクセスポリシー」を変更する必要があり，試したところ，数分以内で完了してしまった．今までは Amazon ES の CloudWatch メトリクス Nodes を見ていると，一時的にノード数が2倍にスケールアウトして，徐々にスケールインするという挙動だったのに，その挙動も確認できなかったため，もしかして改善された？と思ったら，本当に改善さ
エイリアスを用いたマッピング変更 - Carpe Diem
概要 仕様変更でフィールドの追加やマッピングの変更など発生しますが、Elasticsearch に関わらずほとんどの検索エンジンは検索・インデックス仕様の変更をする際、インデクスを再作成する必要があります。 エイリアスを利用すると、その変更をダウンタイム０でできるようになります。 環境 Ubuntu 14.04 ElasticSearch 1.4.2 基本的な流れ 古いインデクスにエイリアスを付けて、エイリアスを検索インデクスとして使用する 新しいインデクスを作成 古いインデクスのデータを新しいインデクスにコピー エイリアスを新しいインデクスに付け替える 古いインデクスを削除する 古い方のインデクスを用意 マッピング 公式サイトのダミーデータを使うやり方でやります。 $ curl -XPUT http://localhost:9200/shakespeare -d ' { "mapping
Discovering the Need for an Indexing Strategy in Multi-Tenant Applications
Discovering the Need for an Indexing Strategy in Multi-Tenant Applications UPDATE: This article refers to our hosted Elasticsearch offering by an older name, Found. Please note that Found is now known as Elastic Cloud. There are many buzzwords that may be applied to Elasticsearch. Multi-tenancy is one. Getting started with a multi-tenant use case can be deceptively easy - there are some pitfalls t
How to Control Access to Your Amazon Elasticsearch Service Domain | Amazon Web Services
AWS Security Blog How to Control Access to Your Amazon Elasticsearch Service Domain September 9, 2021: Amazon Elasticsearch Service has been renamed to Amazon OpenSearch Service. See details. With the recent release of Amazon Elasticsearch Service (Amazon ES), you now can build applications without setting up and maintaining your own search cluster on Amazon EC2. One of the key benefits of using A
サイボウズのログ基盤 2018年版 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。アプリケーション基盤チームの @ueokande です。 今日は、サイボウズの新しくなったログ基盤についてお話しします。 サイボウズのログ基盤の進化 リプレイス前のログ基盤 サイボウズのログ基盤はサービスの成長に合わせて、常に進化し続けてます。 そんななか2017年の夏に大きなリプレイス作業がありました。 サイボウズのサービスを支えるログ基盤 from Shin'ya Ueoka 以前のログ基盤は、ログを収集するホストがあり、各ホストからログを収集してました。 しかしログの転送システムが単一障害点であったり、スケーラビリティに欠けるのでサービスの成長に追いつかず、性能的にも限界に達してました。 また以前のログ基盤では、ログの解析がしにくく、ログはあるけどビジネスに役立てにくい状況でした。 そのため今後のサービスの成長や、より安定したログ基盤を運用できるように、ゼロから刷新するこ
VPCにあるAmazon Elasticsearch ServiceのKibanaだけPublicにするもう一つの方法 | DevelopersIO
ども、藤本です。 先日、Amazon Elasticsearch Service が VPC に対応し、今までできなかった Kibana だけをユーザーに開放するということが可能となりました。 VPCにあるAmazon Elasticsearch ServiceにALBを追加してKibanaだけPublicにする 個人的には ↓ が大変そうに感じたので別の方法を考えてみました。 ESのPrivate IPは可変なので、定期的にALBのターゲットとなるPrivate IPをメンテナンスする必要があります。CloudWatch EventsのスケジュールからのLambdaの実行やEC2でのcronジョブなどを検討しましょう。AWS CLIでは、以下のようにPrivate IP一覧を取得できます。 構成 構成はすごくシンプルです。Kibana を EC2 上に個別に立てて、Amazon Elas
Amazon Elasticsearch Service が VPC をサポート | Amazon Web Services
Amazon Web Services ブログ Amazon Elasticsearch Service が VPC をサポート 本日より、NAT インスタンスやインターネットゲートウェイを必要とせずに Amazon VPC から Amazon Elasticsearch Service ドメインに接続できるようになりました。Amazon ES の VPC サポートは設定も簡単で信頼性が高く、セキュリティをさらに強化することができます。VPC サポートでは、その他のサービスと Amazon ES 間のトラフィックはパブリックインターネットから分離されており AWS ネットワーク内で維持されます。既存の VPC セキュリティグループを使用してネットワークアクセスを管理できます。また、AWS Identity and Access Management (IAM) ポリシーを使って保護機能を強
elasticsearchのインデックスをローテートする - 雑木林
データ分析をする際にはログの保存期間は無期限であるとかいう話をよく聞きますが、現実はコストに跳ね返ってくるのでそう簡単にはいきません。 そんなわけでelasticsearchに蓄積されたデータをローテートするお話。 環境は以下の通り。 CentOS7.3 elasticsearch-5.4.3-1 kibana-5.4.3-1 rsyslog-elasticsearch-7.4.7-16 前回の記事の設定により、rsyslogからsyslog-YYYY-MM-DDのインデックスでデータが蓄積されてます。 curatorをインストールする 今回はelastic社が提供している運用支援ツールのcuratorを使います。インデックスに対する操作を支援してくれるツールで、バックアップ等にも活用できそうです。 まずはリポジトリを作成してインストールします。公式サイトではpipからのインストールが推奨
決済サービスの監視を支えるElastic Stack
膨大な取引データ、サービス提供状態の可視化やMachine Learningによる異常検知の仕組化など、年間取扱額2兆円を超える決済システムを支えるElastic活用事例をお話しします。 また、システムリソース以外のビジネスデータの可視化についても取り上げます。 鈴木 順也 | シニアアーキテク…
logstashでELBのログを2週間分だけAmazon Elasticsearch Serviceに取り込む | DevelopersIO
はじめに こんにちは植木和樹＠上越妙高オフィスです。本日はAmazon Elasticsearch Serviceのお話です。 Webシステムで問題が発生した場合には、まずELBのログを調査することが多いかと思います。HTTP_5xxエラーの件数とか、日時とか、頻発しているパスとか。ログの量が少なければgrep, awkあたりで集計するのですが、量が多かったり分析の視点が多かったりする時にはツールのお世話になりましょう。 AWSではElasticsearch Serviceが提供されており、グラフィカルなログ分析もKibanaを使ってすぐに始められます。ただ、まずはS3に溜まった（大量の）ELBログファイルをElasticsearchに取り込む必要があります。 今回はログの取り込みにlogstashというツールを使ってみました。 環境構築手順 Elasticsearch Serviceクラ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
（レポート）第17回Elasticsearch勉強会に参加してきました #elasticsearch #elasticsearchjp | DevelopersIO
Elasticsearch: Adventures in scaling a multitenant platform
Multi tenancy in Elastic Search
Elasticsearchを使ってみる - Qiita
GitHub - s-fujimoto/deploy-es