並び順

ブックマーク数

期間指定

  • から
  • まで

401 - 440 件 / 2757件

新着順 人気順

Elasticsearchの検索結果401 - 440 件 / 2757件

  • Elasticsearch 6系および7系への無停止アップグレード事例 - はてなブックマーク編 - Hatena Developer Blog

    はてなブックマークチームのエンジニアリングマネージャー id:yigarashi です。はてなブックマークでは全文検索エンジンとしてElasticsearchを利用しており、最近6.8および7.10への無停止アップグレードを実施しました。非互換な変更の影響を真っ向から受けるユースケースでしたが、リスクを分割し少しずつ対処することで迅速かつ安全にアップグレードできました。本記事ではポイントを絞りつつアップグレードの様子をまとめます。 アップグレードに至る経緯 はてなブックマークでは長らくElasticsearchの5系を使っていました。エントリーとブックマークの検索を中心にサービスのかなりの部分を支える重要なミドルウェアですが、大きな変化は以下の記事にある2020年のAWSへの移転が最後(その時もメジャーバージョンは変わらず)で、なかなかElasticsearchの面倒を見られていませんでし

      Elasticsearch 6系および7系への無停止アップグレード事例 - はてなブックマーク編 - Hatena Developer Blog
    • Amazon Elasticsearch Serviceの検索でSQLが使えるようになったので使ってみました - YOMON8.NET

      開発しているサービスの一部でElasticearch使っているのですが、ElasticsearchのクエリDSLって少し触ってないだけで忘れてしまいます。 昨日もGroupByに当たる、Aggregationを複数フィールドでやるのどうやるんだっけと、素人みたいなことで悩んでググっていました。 こういうの調べるたびに、SQL打てたらなーと思っていました。実はSQLでElasticsearchのクエリを実行する機能は、(※) Elastic Stackの有償オプションにはあります。 ※この部分認識間違いありまして、以下のコメントいただいたので引用をもって、訂正させていただきます。ありがとうございました。 Elasticが提供してるElasticsearch SQLの実行エンジン部分は無償の範囲であるベーシックに含まれてます。 https://www.elastic.co/jp/subscri

        Amazon Elasticsearch Serviceの検索でSQLが使えるようになったので使ってみました - YOMON8.NET
      • Sudachi ❤︎ Elasticsearch

        Elasticsearchで今すぐ使えるビジネス向けトークナイザー『Sudachi』 https://github.com/WorksApplications/Sudachi 【京都開催】Elasticsearch勉強会 #elasticsearchjp https://www.meetup.com/ja-JP/Tokyo-Elastic-Fantastics/events/252971593/

          Sudachi ❤︎ Elasticsearch
        • 決済サービスの監視を支えるElastic Stack

          Elastic{ON} TOUR Tokyo 2017 ユーザ事例紹介 発表資料 "膨大な取引データ、サービス提供状態の可視化やElastic Machine Learningによる異常検知の仕組化など年間取扱額2兆円を超える決済システムを支えるElastic活用事例をお話しします。 またシステムリソース以外のビジネスデータの可視化についても取り上げます。" Elasticsearch elasticsearch elastic elasticonRead less

            決済サービスの監視を支えるElastic Stack
          • http://blog.yoslab.com/entry/2015/02/13/203251

              http://blog.yoslab.com/entry/2015/02/13/203251
            • Elasticsearchのデータを簡単にimport/exportする - (゚∀゚)o彡 sasata299's blog

              2013年12月04日16:03 JavaScript Elasticsearchのデータを簡単にimport/exportする 最近、Kibana と Elasticsearch と Fluentd の組み合わせでログを可視化するの見かけたので僕も試してみました。とても簡単に可視化できて素晴らしいですね〜 :D ただ、開発環境で Elasticsearch のデータを作るのはメンドクサイです。うーん、何か良い方法は無いものかと探していたら、elasticsearch-knapsack (ナップサック!!!1) という Elasticsearch のデータを import/export してくれる gem を見つけました。これは便利そう!! これを使って、本番環境のデータをちょろっと手元にコピーしてみました。 まずエクスポートから。github で書かれている通り、エクスポートさせたいサー

                Elasticsearchのデータを簡単にimport/exportする - (゚∀゚)o彡 sasata299's blog
              • Elasticsearch 6.3.0 の新機能を試してみた | DevelopersIO

                ジョブ実行 ジョブ実行の開始は API をリクエストするだけです。 Request POST _xpack/rollup/job/<job_name>/_start 集計データの確認 しばらく待つと指定したインデックス rollup_elb にデータが格納されます。例えば以下のようなデータがインデックスされます。 POST rollup_elblog/_search { "took": 2, "timed_out": false, "_shards": { "total": 5, "successful": 5, "skipped": 0, "failed": 0 }, "hits": { "total": 24, "max_score": 1, "hits": [ { "_index": "rollup_elblog", "_type": "_doc", "_id": "35506583

                  Elasticsearch 6.3.0 の新機能を試してみた | DevelopersIO
                • Elasticsearchソースコードリーディング~内部構造把握の第一歩~ - Taste of Tech Topics

                  こんにちは! ツカノ(@snuffkin)です。 ElasticsearchとKibanaを使うとログなどを簡単に可視化できるため、利用者が急速に増えてきています(私もそのひとりです)。様々なブログで紹介されているKibana画面はとても素敵で、積極的に使いたくなります。 ただ、それなりの規模でElasticsearchを利用するには、中身を知ったり、データ設計や運用面なども考える必要がありますが、そのあたりの情報はまだ十分ではないように思います。そこで、Elasticsearchの中身をもっと知るために、ひとりでひっそりソースコードリーディングをしてみました。 今回利用したElasticsearchのバージョンは1.0.0.RC2です。以下の場所から実行媒体とソースコードをダウンロードして確認しています。また、確認はWindowsで行っています。 実行媒体 http://www.elas

                    Elasticsearchソースコードリーディング~内部構造把握の第一歩~ - Taste of Tech Topics
                  • http://blog.inouetakuya.info/entry/2014/11/24/203210

                      http://blog.inouetakuya.info/entry/2014/11/24/203210
                    • Fluentd + ElasticSearch + Kibana3で簡単に様々なログを可視化・解析する

                      ISUCON本戦に参加することができてしまったため,各種ログを集めて簡単に見れると良さそうだなぁと思っていたところ,Fluentd + Elasticsearch + Kibana3の組み合わせがなかなかよさそうだったので試してみました. 本記事では,NginxのAccessLogとMySQLのSlowQueryLogを可視化してみます. Fluentdはご存知の方も多いと思いますが,Treasure Dataのメンバによって開発が進めれているオープンソースのログ収集ツールです.Fluentdに追加された様々なログデータはJSONに変換,アウトプットされます.実装はRubyで行われており,pluginを追加することでで様々なINPUT/OUTPUT先を追加することができます. Fluentdにはリアルタイムにログを収集して活用できることや,様々なログフォーマットの違いを吸収してJSONで同

                        Fluentd + ElasticSearch + Kibana3で簡単に様々なログを可視化・解析する
                      • テスト駆動検索のススメ (@tady_jp) // Speaker Deck

                        2014-02-07に開催された第3回ElasticSearch勉強会での発表スライド。 内容を一部修正しました。 株式会社じげん 多田雅斗@tady_jp

                        • Azure アーキテクチャ センター - Azure Architecture Center

                          このブラウザーはサポートされなくなりました。 Microsoft Edge にアップグレードすると、最新の機能、セキュリティ更新プログラム、およびテクニカル サポートを利用できます。

                            Azure アーキテクチャ センター - Azure Architecture Center
                          • CactiのデータをElasticSearch+Kibanaでまとめてみてみよう

                            斎藤です。こんにちは。 最近、会社の中で様々な部活動が始まっています。「プログラミング部」や「フットサル部」といったメジャー(?)なものから、「サイクリング部」「P部(プロレス観戦部)」そして「二郎部」などなど、エッジが効いたものまであります。そうそう、私は「サイクリング部」と「P部」に所属しています。 さて、今回はKibanaを使って、Cacti(RRDTool)が収集したモニタリングデータを参照してみようと思います。Cactiはモニタリングデータを収集・ビジュアライズするツールとして普及していますが、他のサーバ・指標と比較するのがちょっと面倒です。そこを、Kibanaを用いてより見やすくしようと言うのが目的です。Kibanaとは、収集したログをGUIで整理しつつビジュアライズできるデータ分析ツールの一種です。たいてい、データストアとしてElasticSearchというNoSQL DBサ

                              CactiのデータをElasticSearch+Kibanaでまとめてみてみよう
                            • curator で Kibana 用の elasticsearch のインデックスを定期的に削除する - Qiita

                              2015/3/15 curator v3.0 から、コマンドオプションが変わったので改定しました。 正確には v2.0 から変わってましたけど。 Kibana でダッシュボード作っていると、基本的に日時でインデックスファイルができて、ある程度溜まってくると、 elasticsearch が悲鳴をあげます(CPU的にも、メモリ的にも) ディスク容量が枯渇します ということで無限にサーバリソースが確保できない場合、Kibana の運用では定期的にインデックスファイルを削除する必要がでてきます。 この Index の削除を便利にしてくれるツールが curator です。 事前準備 Python と pip が必要なので、入れておきましょう。 $ sudo apt-get install python $ cd /tmp $ wget https://raw.github.com/pypa/pip

                                curator で Kibana 用の elasticsearch のインデックスを定期的に削除する - Qiita
                              • BitBarとsparkコマンドで日ごとのエラー数をメニューバーに表示する - hitode909の日記

                                ふだん開発してるアプリケーションのエラーの様子を見る仕組みを作って,ふだん便利に暮らせているので紹介します. BitBarについて BitBarはメニューバーにいろいろ出せるやつで,コマンドラインの標準出力をそのままメニューバーに表示できる. getbitbar.com プラグインを置くディレクトリが用意されていて,シェルスクリプトを置いていく.calコマンドを呼ぶだけのスクリプトを配置するとこんな感じで,そのままカレンダーが出る. sparkコマンドについて sparkコマンドはコマンドラインでスパークラインを表示するもので,標準入力で数字の列を渡すと,数字の列をグラフにして表示してくれる. 数字を正規化してから渡す必要はなくて,なんでもいいから数字を渡すとその形を教えてくれる. % echo '1 2 3 4 5 6 7 8 9 10' | spark ▁▁▂▃▄▄▅▆▇█ % ech

                                  BitBarとsparkコマンドで日ごとのエラー数をメニューバーに表示する - hitode909の日記
                                • Elasticsearch Cheat Sheet for developers

                                  🔎 Elasticsearch 1.x 2.x 5.x 6.x 7.x 8.x Cheatsheet 🔍 All the API endpoints and pro-tips you always forgot about in one place! Built by developers for developers. Hosted on GitHub, contributions welcome.

                                  • Elasticsearchで日本語全文検索をするために、最近見てるもの使ってるもの - mosowave

                                    最近仕事でElasticsearchと戯れています。 Kibanaでログ解析とかする人が多いとおもうのですが、 コンテンツの日本語全文検索用だったりします。 ログ解析の資料は多い(と思う)んですが、 日本語全文検索の文献がすくない>< analyzerチェックのために使うpluginって、inquisitorが王道な感じがするのですが、 個人的にはkopfが神でした。github.com blog.johtani.info 機能が多くてリッチなのもよいのですが、 analyzeAPIを叩いて単語が分割された結果が見れるというのがとてもよい。 (kuromojiをつかっているなら、kuromoji demo - japanese morphological analyzer に入力すれば品詞がわかるので、stoptagsの選定をしたりしました) あとは、参考にさせていただきまくってるブログな

                                      Elasticsearchで日本語全文検索をするために、最近見てるもの使ってるもの - mosowave
                                    • Elasticsearchのパフォーマンス問題をプロファイラを使って解決する | メルカリエンジニアリング

                                      search infra teamのmrkm4ntrです。我々のチームではElasticsearchをKubernetes上で多数運用しています。歴史的経緯によりElasticsearchのクラスタは全てElasticsearchクラスタ専用のnode pool上で動作していました。ElasticsearchのPodは使用するリソースが大きいため、このnode poolのbin packingが難しくコストを最適化できないという問題がありました。そこで全てのElasticsearchクラスタを専用のnode poolから他のワークロードと共存可能なnode poolへ移行しました。ほとんどのクラスタが問題なく移行できたのですが、唯一移行後にlatencyのスパイクが多発してしまうものがありました。 この記事では、その原因を調査する方法と発見した解消方法について説明します。 発生した現象 共

                                        Elasticsearchのパフォーマンス問題をプロファイラを使って解決する | メルカリエンジニアリング
                                      • CrateDB – The Enterprise Database for Time Series, Documents, and Vectors

                                        /* Based on device data, this query returns the average * of the battery level for every hour for each device_id */ WITH avg_metrics AS ( SELECT device_id, DATE_BIN('1 hour'::INTERVAL, time, 0) AS period, AVG(battery_level) AS avg_battery_level FROM devices.readings GROUP BY 1, 2 ORDER BY 1, 2 ) SELECT period, t.device_id, manufacturer, avg_battery_level FROM avg_metrics t, devices.info i WHERE t.

                                        • ElasticsearchのアーキテクチャとStateless / Serverless

                                          本記事は情報検索・検索技術 Advent Calendar 2022の9日目の記事です。 だいぶ間が空いてしまいましたが、日本語のオートコンプリートに関する記事の続きです。 という感じで、Suggesterのデータ構造とか仕組みを書こうと思っていたのですが、思ったよりも調べないといけないことが多くて挫折しました。。。 (これの続きは年末年始で調べて書くはず?) ということで、代わりにElasticsearch/OpenSearchのアーキテクチャの変更に関してさらっとまとめてお茶を濁してみようと思います。 発端はElasticON Tokyo? 先週の11月30日に、ElasticのオフラインイベントであるElasticON Tokyoが開催され参加しました。 参加しようと思ったのは、10月の頭にElasticのブログで公開された「Stateless — your new state of

                                            ElasticsearchのアーキテクチャとStateless / Serverless
                                          • 総務省のデータを Elasticsearch にぶち込んで、緯度経度から市区町村の何丁目までを取り出す - Qiita

                                            総務省のデータを Elasticsearch にぶち込んで、緯度経度から市区町村の何丁目までを取り出すgeoElasticsearch (この記事は2013年に書かれたもので、内容については古くなっています。ご注意ください。) いわゆる「逆ジオコーディング」と呼ばれる機能ですが、きっかけはこれら2つの記事です。 PHP - 総務省のデータを使って、緯度経度から市区町村の何丁目までを取り出す PostgreSQL - 国土交通省のデータを使って、緯度経度から市区町村までを取り出す Solr や Elasticsearch でも同じことができるのでは、という事で Elasticsearch でやってみました。 Elasticsearch の導入 は、 Elasticsearch で位置情報を検索する手順 - Experiments Never Fail をご覧ください。 1. 総務省のデータを

                                              総務省のデータを Elasticsearch にぶち込んで、緯度経度から市区町村の何丁目までを取り出す - Qiita
                                            • GitHub - meilisearch/meilisearch: A lightning-fast search API that fits effortlessly into your apps, websites, and workflow

                                              Search-as-you-type: find search results in less than 50 milliseconds Typo tolerance: get relevant matches even when queries contain typos and misspellings Filtering and faceted search: enhance your users' search experience with custom filters and build a faceted search interface in a few lines of code Sorting: sort results based on price, date, or pretty much anything else your users need Synonym

                                                GitHub - meilisearch/meilisearch: A lightning-fast search API that fits effortlessly into your apps, websites, and workflow
                                              • RustとWasmで静的ウェブページに日本語検索機能を追加する - Qiita

                                                概要 静的ウェブページ向け検索エンジンtinysearchをrust_icuのトークナイザ(icu::BreakIterator)を使って日本語対応させてみた。 また、これをmdBookに組み込み、The Rust Programming Language 日本語版へ適用してみた (chromiumのみ対応。その他は従来どおりの検索性能) 実装: https://github.com/tamuhey/tinysearch/tree/japanese mdBookへの適用: https://github.com/tamuhey/mdBook/tree/tiny_search The Rust Programming Language 日本語版への適用例: https://tamuhey.github.io/book-ja/ tinysearch tinysearchは静的ウェブページ向け検索

                                                  RustとWasmで静的ウェブページに日本語検索機能を追加する - Qiita
                                                • BufferedOutput pluginの代表的なoptionについて - Qiita

                                                  こんにちは、こちらはFluentd Advent Calendar 6日目の記事となります。 このところBufferedOutput系のpluginのoptionについて質問されることが多かったので、せっかくですのでつらつらとここで紹介していこうかなと思います。なお、コードはfluentd v0.10.55です。 optionの挙動を把握するためにまずはfluentdが受け取ったレコードをどう処理していくのかを紹介し、その後fluentdの処理方法を踏まえて各optionを紹介していきます。 レコードの流れ はじめに、レコードを受け取ってからどう処理されてoutputされていくか簡単にレコードの処理を順を追って紹介いたします。 ① レコードを受け取りbufferingする input pluginがレコードを受け取ると、Engineを介してそのレコードのtagにマッチするoutput pl

                                                    BufferedOutput pluginの代表的なoptionについて - Qiita
                                                  • Adobe Creative Cloudユーザー、750万件のデータが誤って公開される(大元隆志) - エキスパート - Yahoo!ニュース

                                                    Adobe Creative Cloudユーザー750万件の、eメールアドレス、アカウント情報、使用しているアドビ製品情報が、誤って公開されていたことが、Comparitech社とセキュリテイ研究者Bob Diachenko氏の調査で分かった。Diachenko氏はこの問題をAdobe社に報告し、Adobe社は既に問題を修正済み。 原因は、誤って構成されていた、Elasticsearchサーバー。クレジットカード番号やパスワード等の機密性の高い情報は含まれていなかったが、eメールアドレスや、利用製品の情報が含まれていたため、アドビ製品ユーザを対象とした高度なフィッシングキャンペーンに利用される恐れがあった。 ■問題発覚のタイムライン ・2019年10月19日 Diachenko氏が公開されているElasticsearchサーバー上のデータを発見し、アドビに問題を通知。 公開されていたデータ

                                                      Adobe Creative Cloudユーザー、750万件のデータが誤って公開される(大元隆志) - エキスパート - Yahoo!ニュース
                                                    • The Open Operator Collection

                                                      Universal operators for application lifecycle management on Linux, Windows and Kubernetes

                                                        The Open Operator Collection
                                                      • Amazon Elasticsearch Serviceでkuromojiを使って日本語全文検索する | DevelopersIO

                                                        はじめに [新機能]Amazon Elasticsearch Serviceがリリースされました!でお伝えした通り、Amazon Elasticsearch Service(Amazon ES)はICU AnalysisとKuromojiをサポートしています。最初からKuromojiをサポートしているというのが本当にナイス。 そんなわけで、Amazon ESで、Kuromojiを使って日本語全文検索をしてみました。 やってみた まずは、Kuromojiをtokenizer及びanalyzerとして使うIndexを作成します。 $ curl -XPOST 'http://search-myes-hoge.ap-northeast-1.es.amazonaws.com/kuromoji/' -d' { "index":{ "analysis":{ "tokenizer" : { "kuromo

                                                          Amazon Elasticsearch Serviceでkuromojiを使って日本語全文検索する | DevelopersIO
                                                        • Kibana + ElasticSearch + fluentd でDBスロークエリログなどを集計し表示したい - Tatsuya Takamura

                                                          最近、Fluentd + ElasticSearch + Kibana 3 の構成でお試し運用を始めました。 すると下記のような事をやりたくなったが Apache アクセスログをURL毎に集計したい DB スロークエリログをクエリ毎に集計したい 単純に文字列のフィールドで pie/bar チャートなどを利用すると、期待を打ち砕かれる(打ち砕かれた) ふむふむ、遅いクエリーには select, where, from が多いのか.... orz 見事に単語毎に集計されてしまった。 どうもトークナイズを止めるには ElasticSearch の multi field を利用するのが良さそう。(Solr で言うと copy field?) fluentd + ElasticSearch + Kibana + logstash フォーマットを下記の構成で利用する場合 fluentd のタグは m

                                                          • 初心者のためのKibanaの詳しい使い方(ダッシュボード・パネル・クエリ・フィルタの作成方法) - Qiita

                                                            この記事について 軽い気持ちで触りはじめたKibanaですが、 Kibanaについて日本語解説も少なく、設定で困った事があったのでまとめておきます。 この記事はKibanaのよく使う設定方法にのみ焦点をあてて説明します。 Elasticsearchのセットアップ方法には触れません。 また、使用したkibanaのバージョンは3.1.0です。 Kibanaとは 一言で言えばElasticsearchの検索結果をグラフ表示するツールです。 抑えておくべき事は以下の3点です。 ダッシュボードの作成方法 パネル(グラフ)の作成方法 クエリ・フィルタの作成方法 ダッシュボードの作成方法 http://${Kibanaのあるサーバ}/index.html#/dashboard/file/blank.jsonでアクセスします。 または、トップページのダッシュボードの下の方に「Blank DashBoard

                                                              初心者のためのKibanaの詳しい使い方(ダッシュボード・パネル・クエリ・フィルタの作成方法) - Qiita
                                                            • Heroku アプリのログを fluentd で ElasticSearch に突っ込んで Kibana で監視する方法 - hakobera's blog

                                                              目的 Kibana で Heroku アプリのログを可視化したい。ただし、レスポンスタイムとかは New Relic でも見れるので、ここではアプリが出力したらログを可視化する方法を紹介する。 また、今回、アプリからの出力を可能な限りに簡単にするために、アプリからは Heroku の STDOUT に出力するだけで、ログを Kibana サーバに送信できるようにしてみた。 具体的にはこう。(Ruby の場合) 出力の形式は、Treasure Data addon の方法 を真似ている。 puts "@[tag.name] #{{'uid'=>123}.to_json}" これで、tag.name が fluentd の tag 名に、それに続く JSON 文字列が送信するデータとして処理される。 環境 Amazon EC2 上に Kibana サーバを構築 OS は Ubuntu 13.1

                                                                Heroku アプリのログを fluentd で ElasticSearch に突っ込んで Kibana で監視する方法 - hakobera's blog
                                                              • ElasticsearchのIndexを本当の意味で無停止再構築する手法 - aeroastroの日記

                                                                ※ この記事は Elastic stack (Elasticsearch) Advent Calendar 2017 の2日目の記事になります。 Elasticsearchを利用したサービスを運用している場合、既存機能の改修や仕様変更、新規機能の実装に伴い、運用中であってもindexや検索クエリを変更していくことは日々発生します。この際に、インデックスを再構築する必要性も出てきますが、インデックスを再構築し、そこに整合性のあるデータセットを準備するのには時間がかかります。その都度メンテナンスを行うのは非現実的であり、特に大規模サービスであれば準備にかかる時間自体も非現実的なものになりかねません。 このような問題への対処方法として、 Index Aliases を利用することで、透過的に無停止再構築を行うことが出来るというのは複数のブログ記事で紹介されています。これらはアプリケーションから直

                                                                  ElasticsearchのIndexを本当の意味で無停止再構築する手法 - aeroastroの日記
                                                                • 検索エンジンの数値インデックスを支える Bkd-Tree - 好奇心に殺される。

                                                                  Computer Science / Algorithm 検索エンジンの数値インデックスを支える Bkd-Tree Elasticsearchの数値データインデックスに使われるBkd-Treeというアルゴリズムを論文を読みながらまとめました。 Overview こんにちは pon です。Elasticsearch & Lucene 輪読会を弊社で毎週開催しているのですが、そこでBkd-Treeというアルゴリズムに行き着きました。そこでBkd-Treeの論文を読んでみたので、まとめたものを共有しようと思います。 論文はこちら Bkd-Tree: A Dynamic Scalable kd-Tree LuceneでのBkd-Tree Bkd-TreeはLucene6から導入されたようで下記のようにスペース効率、パフォーマンスが大幅に改善されたようです。 以下こちらのElasticsearch公

                                                                    検索エンジンの数値インデックスを支える Bkd-Tree - 好奇心に殺される。
                                                                  • WordPressの検索機能にElasticsearchを利用する | DevelopersIO

                                                                    はじめに こんにちは、藤本です。 先日、AMIMOTO + Amazon Elasticsearch ServiceでWordPressの検索機能をパワーアップするという記事を見つけました。Wordpressの検索機能をデータベースではなく、Elasticsearchに委譲するPluguinです。大変興味があったので、早速、試してみました。 Amazon Elasticsearch Serviceドメイン作成 ElasticsearchにはAmazon ESを利用します。Amazon Elasticsearch Serviceのドメイン作成は[新機能]Amazon Elasticsearch Serviceがリリースされました!を参照。 WordPressのインストール WordPressのインストールはこちらを参考にインストールしてください。 # yum install -y httpd

                                                                      WordPressの検索機能にElasticsearchを利用する | DevelopersIO
                                                                    • Elasticsearchの使い方 // Speaker Deck

                                                                      Speaker Details Elastic Developer/Evangelist blog http://blog.johtani.info View Speaker Details

                                                                        Elasticsearchの使い方 // Speaker Deck
                                                                      • Qiita/Qiita Teamの検索システムがパワーアップしました - Qiita Blog

                                                                        salam! (アゼルバイジャン語でこんにちは) 迫り来る冬の気配にビクビクしている yuku_t です。 本日Qiitaの新検索システムが公開されました!ので、それによって新しく使えるようになった機能の紹介をしたいと思います。 おしながき旧検索システムの問題点新機能の紹介Qiita、Qiita Team共通の新機能検索スニペットのハイライト表示タイトル、本文、コードからの検索OR検索マイナス検索Qiitaだけの新機能限定共有記事の検索Qiita Teamだけの新機能プロジェクトも検索コメントからの検索タグの階層絞り込み締めの挨拶旧検索システムの問題点これまでのQiitaの検索システムの使い勝手はお世辞にも良いとは言えないような代物でした。問題点いくつか挙げると 検索スニペットが表示されないため、ヒットした投稿を実際に表示して中身を確かめなければならないruby と検索した時に ruby

                                                                        • Elasticsearchを使ってリストAPIを100倍高速化した話

                                                                          はじめに こんにちは!私がつとめている CastingONE という会社の SaaS には、テーブル形式のデータ一覧ページがあります。この一覧ページですが、最近データ数が増えれば増えるほど、じわじわとパフォーマンスが悪くなっていってました…。そこで今回は、そのリストデータ取得におけるパフォーマンス改善を行なった時の、パフォーマンス計測方法や検討内容、最終的な結果をまとめてみました。 対象読者 バックエンドのパフォーマンス改善の方法や改善の流れに興味がある方 ちなみに私がこの改善を行なった時のスペックですが、パフォーマンス改善については初心者寄りでした。「パフォーマンス改善って何それ美味しいの?」というレベル感だった当初、「達人が教える Web パフォーマンスチューニング 〜ISUCON から学ぶ高速化の実践」という本には基礎を知るところから大変お世話になったので、ご興味のある方はぜひ読んで

                                                                            Elasticsearchを使ってリストAPIを100倍高速化した話
                                                                          • Elasticsearchのクラスタにノードを追加するときにやっていること - すずけんメモ

                                                                            Elasticsearchのクラスタにノードを追加するのは簡単にできる。しかし、インデックスを盛々積んだクラスタにノードをカジュアルに追加すると、一気にシャードのアロケーションが走って負荷があがる。また、何の設定もせずに追加するとsplit brainを起こしやすくなる。適切に設定すれば大丈夫なので、それをまとめておく。 結論 安全にやるなら、 ノード追加前に全shardの移動を止める。 split brainを避けるために、最小のマスターノード数を設定しておく。 ということをしておくとよい。 クラスタ設定はリアルタイムに変更できるので活用しよう。 Cluster Update Settings http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/cluster-update-settings.html

                                                                              Elasticsearchのクラスタにノードを追加するときにやっていること - すずけんメモ
                                                                            • RailsでElasticsearch: 全文検索を実装 - Rails Webook

                                                                              RailsでElasticsearchを使ってレストラン検索アプリを作成、店名、住所、カテゴリなどからレストランを全文検索できるようにします。また、フィルタ(filter)も使って検索条件を指定することで、閉店している店舗も含めて検索できるようにします。 今後、Elasticsearchのページネーション・ページあたりの表示件数、ソート、ファセット・post_filter、ハイライト、サジェスト機能などをより実践的な機能を実装していきます。 目次 ElasticsearchのMacへのインストール Railsプロジェクト作成とテストデータ作成 RailsとElasticsearchで全文検索を実装 検索条件を指定する 動作確認 Mac OS X 10.11 El Capitan elasticsearch 1.7.2 Rails 4.2.3 elasticsearch-dsl 0.1.2

                                                                                RailsでElasticsearch: 全文検索を実装 - Rails Webook
                                                                              • 31記事で4500以上はてなブックマークがついた2022年のMonotaRO Tech Blogを振り返ってみた - MonotaRO Tech Blog

                                                                                データ基盤グループ兼TechBlog編集担当の吉本です。 MonotaROでは2021年よりTechBlogでのアウトプットを積極的に行っており、今年が3年目になります。 そこで本記事では昨年に投稿したブログの振り返りと、特に読まれた記事について振り返ります! ブログ振り返り 特に読まれた記事 SRE導入: システムを安定させる4000万円の魔法の壺 全社員からデータ基盤への問い合わせが殺到して2人では捌けなくなったので仕組みで解決する話〜datatech-jp Casual Talks #2 登壇後記〜 一般企業であまり前例がない「認証VLAN」を導入した、その後の学び 66分かかる同期処理を10分以内に短縮せよ!~商品情報同期システムでの、処理速度と運用の改善~ 【Elasticsearch】1900万点に及ぶ商品データ作成の時間を約67%短縮できた構成と工夫 最後に ブログ振り返り

                                                                                  31記事で4500以上はてなブックマークがついた2022年のMonotaRO Tech Blogを振り返ってみた - MonotaRO Tech Blog
                                                                                • Elasticsearch 2.0の紹介

                                                                                  第12回Elasticsearch勉強会で使用した資料です。 Elasticsearch2.0の変更点などの紹介をしました。 発表時にはブラウザで表示したMigrationプラグインの画面を追加してあります。

                                                                                    Elasticsearch 2.0の紹介