10X の検索を 10x したい - 10X Product Blog
いやー、まいったね。 入社して三ヶ月が経ちました @metalunk です。この三ヶ月は検索インフラの改善に取り組み、検索速度 10x, インフラコスト 80% 減の成果が出ました。この記事では検索インフラ改善でやったことを説明します。 ところで、検索インフラの改善ができるということは、先人たちが検索機能を作り、PMF してサービスが利用されるようになったおかげです。感謝して改善しましょう。 2021年12月の Stailer の検索 10X は開発不要でネットスーパーアプリを立ち上げられるシステムである Stailer を開発しております。Stailer での購入のうち 35% が検索経由で行われており、検索はとても重要な機能です。 しかし、2021年12月、増加するリクエストによるサーバー負荷の増大、速度の低下に悩まされておりました。一時的にサーバーを増やし、スケールアウトをすることで
日経テレコンを支えるElasticsearch
第38回Elasticsearch勉強会 2020.10.29 #elasticsearchjp https://www.meetup.com/ja-JP/Tokyo-Elastic-Fantastics/events/273562532/
Elasticsearchのバージョンを6.8系から7.5系にアップグレードしました - クラウドワークス エンジニアブログ
こんにちは、 @t0yohei です。今回は、1つ前のElasticsearchのバージョンを5.6系から6.8系にアップグレードしました のブログに続けて、 Elasticsearch v7.5 系までのアップグレードについて書いていきます。 この記事では、 v6.8 系へのアップグレードの方で書かれていたアップグレードの進め方やタスク管理法には触れず、 v7.5 系へのアップグレードで必要だった対応や課題についてのみ書いていきます。 v6.8 系アップグレード時の進め方がすごくやりやすかったので丸パクリ結果、書くネタがないという。 アップグレード全体に対してや、破壊的変更の一覧については下記の公式ドキュメントをご参照ください(リンク先はこの記事作成時点で最新の v7.7 のドキュメントになっています)。 https://www.elastic.co/guide/en/elasticse
Elasticsearchでよく利用するAPIや操作方法の私的メモ | work.log
Elasticsearchで普段よく利用するコマンドやクエリの覚書です。 これまで手元のメモ帳に残していましたが増えてきたのでそのままこちらへメモしておきます。 ElasticsearchのAPIを利用した基本操作やアップグレードなどの運用方法。その他、Elasticsearchに関する参考情報をまとめています。 Elasticsearchは7系を使ってます。 スポンサーリンク インデックスの操作 Elasticsearchの操作には言語別の専用クライアントやkibanaがあるが、LInuxのcurlコマンドで操作するのが何だかんだで楽。 クエリに pretty を付けておくとレスポンスが見やすい。 インデックス一覧の確認 curl -XGET localhost:9200/_cat/indices?v インデックス作成 curl -XPUT -H 'Content-Type: appli
Join field type | Elasticsearch Guide [8.14] | Elastic
The join data type is a special field that creates parent/child relation within documents of the same index. The relations section defines a set of possible relations within the documents, each relation being a parent name and a child name. We don’t recommend using multiple levels of relations to replicate a relational model. Each level of relation adds an overhead at query time in terms of memory
![Join field type | Elasticsearch Guide [8.14] | Elastic](https://cdn-ak-scissors.b.st-hatena.com/image/square/cbbc87b803e58787f8346841e5b65698d408f3c5/height=288;version=1;width=512/https%3A%2F%2Fwww.elastic.co%2Fstatic%2Fimages%2Felastic-logo-200.png){kind=logo}
elasticsearchにoffice系ファイルやPDFを入れる - 弱いエンジニアの備忘録
概要 elasticsearchにpdfやpptx,xlsxなどのファイルを入れる方法についてメモ。 ingest-attachment-pluginを使います。 バージョン情報など macOS Sierra 10.12.5 elasticsearch-5.4.1 手順 1.ingest-attachment-pluginをインストールする。 $ bin/elasticsearch-plugin install ingest-attachment -> Downloading ingest-attachment from elastic [=================================================] 100% @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING:
【メモ】ElasticsearchにPDFを投入する - どこにでもいるSEの備忘録
Elasticsearchには基本的にテキストデータしか投入しないつもりだったものの、PDFやExcelなんかを投入したくなることも出てくるかと思います。 微妙にやり方あるので、それをメモします。 この辺の記事を参考にさせて頂きました。 qiita.com qiita.com dev.classmethod.jp tombo2.hatenablog.com ingest Mapping 定義 エンコーディング変更 投入 確認 感想 ingest 今回はPDFを想定して、やっていきます。 Dockerfileにこちらの一文を追加します。 RUN elasticsearch-plugin install ingest-attachment www.elastic.co ElasticSeearch6.2だとingest-attachmentによってファイルの中身をばらして登録できるようです。
【基礎編】Elasticsearchの検索クエリを使いこなそう
こんにちは！ Pairsの検索アルゴリズムの新規開発・改修を担当している小島です。 この記事は eureka Advent Calendar 6日目の記事です。 5日目は癒し系エンジニア鉄本さんの 「社内ツールを駆使してExcelへのレポートを自動化した話」でした。 今年に入ってからElasticsearchについてしかブログを書いていません。 もちろん今回もElasticsearchについて書きます。 前回はElastic Stack 5.0 のセットアップについて書きましたが、今回は初心に戻り、検索クエリの使い方についてお話します。 【応用編】Elasticsearchの検索クエリを使いこなそう 環境Elasticsearch version 5.0 ローカル環境のポート9200番で実行 準備まずは検索を試すためのデータを用意します。 僕は以下のelastic公式が出しているレポジトリ
elasticsearch on Kubernetes(Docker for Mac)
はじめに [ pires/kubernetes-elasticsearch-cluster - Github ] を参考にelasticsearchクラスタを立てます。 Kubernetesを使用して拡張性を高く(スケールしやすい等)、 冗長化とx-pack無しのBasic認証導入とデータの永続化までやります。 デフォルトの設定を加えるためGCPのelasticsearchイメージに設定ファイルやプラグインのインストールコマンド、環境変数を加えたものを使用します。 動作確認 Docker CE for Mac(Edge): Version 18.02.0 Kubectl: Version 1.8 elasticsearch: Version 5.6 現時点(2018年2月)ではkubernetesを使うためDocker for Mac edge版を使います。 インストールしていない場合はD
Elasticsearch、Logstash、Kibana、Kuromojiでタグクラウドを作る - Taste of Tech Topics
突然ですが、我が家は2階にリビングがあるタイプの戸建てでして、天井が勾配していてカッコイイ感がすごいのですが、この季節は暖房の熱がどんどん登ってしまってなかなか部屋が暖まりません。 要するに寒いという話なのですが、皆さんいかがお過ごしでしょうか、@cero_t です。って僕のジョークと家の寒さは関係ないですから💢 さて、このエントリーは Elastic Advent Calendar の18日目です。 qiita.com 元々、マイクロサービスの可視化や、Kafkaを用いたデータ収集の安定化について書くつもりだったのですが、思いつきで作ったタグクラウドが予想外にイイ感じだったので、このエントリーではその経緯を紹介したいと思います。 タグクラウドとは、文中に頻繁に登場するワードを上の絵のように可視化する機能です。 最近リリースされたKibana 5.1.1に新しく追加されました。 この機能
いろいろあって Elastic Cloud がオススメな件 - なんたらノート第三期ベータ
MySQLのインデックスの代わりにElasticsearchを使おうと思い立っていろいろやってみた結果、Elastic社のホスティングけっこうオススメなんじゃないかってなった話です。これです: www.elastic.co 経緯としては、AWSにのっけたサービス、とりあえずMySQLとRedisだけでやってきた仕組みが、そろそろノーキャッシュ新規クエリ単発で1秒以上かかる場合が出てきたというのがあります。 アプリケーションで決まったパターンの問い合わせだけやってるぶんには、問い合わせのパターン数だけ複合インデックを作ればいいし、負荷分散したければリードレプリカが簡単、ということでほとんどの場合MySQLでいいのですが... MySQLは個別のインデックス勝手に組み合わせてくれない、全パターン定義しないといけない 管理者が使う検索機能のよっては、想定したインデックスにうまくヒットしない条件に
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
