セマンティック検索の活用で、Elasticsearchの検索が根本的に変わる！？ - Taste of Tech Topics
こんにちは、@shin0higuchiです😊 業務では、Elasticsearchに関するコンサルティングを担当しています。 最近すっかり春らしく、暖かくなってきました。 新年を迎えたばかりの感覚でしたが、あっという間に時が経ちますね。 さて、今回の記事では、Elasticsearchの検索を根本的に変える可能性を秘めたセマンティック検索に関して書かせていただきます。 概要 Elasticsearchは元々、キーワードベースのアプローチを主に取っており、クエリで指定されたキーワードを対象のドキュメント内で検索し、それらの出現頻度や位置に基づいて結果をランク付けしています。この方法では、文脈や意図に関係なく、単純にキーワードの一致度に基づいて検索結果が返されます。 一方、セマンティック検索とは、ユーザーのクエリの背後にある文脈と意図を理解しようとする検索手法で、キーワードだけに頼るのではな
Elastic APMとアプリケーションログの連携 - Qiita
はじめに 前回、以下の投稿でJavaアプリケーションのパフォーマンスをElastic APMで計測し、トレースデータをKibanaで表示するところまで試してみました。 JavaアプリケーションをElastic APMで計測してみる 今回は、アプリケーションログをElasticsearchに送信し、APMのトレースデータとログを関連付けて表示することを試してみます。 APMのトレースデータとログを関連付けは以下のサイトを参考に実施しました。 Log correlation APMのトレースデータとログを関連付けのために実施する作業は大きく以下の3つになります。 Elastic APM agentの設定変更 アプリケーションのログ設定変更 Filebeatを用いてログをElasticsearchへ送信する Elastic APM agentの設定変更 Elastic APM agentの設定フ
0.1 人月未満で運用する Elasticsearch 基盤 - KADOKAWA Connected Engineering Blog
はじめに はじめまして、KCS 部の島崎です。 KCS部は、KADOKAWAグループ向けプライベートクラウド(以下KCS)を提供しており、主な利用者は株式会社ドワンゴがサービスを提供している『niconico』です。 私は RDB基盤と CACHE基盤と今回の Elastic Stack as a Service (以下 ESaaS) の開発から携わり、現在もそれらの運用を行っています。今回は ESaaS の紹介と ESaaS が利用している ECE 及び内製ツールについて投稿します。 ESaaS (Elastic Stack as a Service) とは ESaaS とは KCS が提供する Elasticsearch のマネージドサービスです。Elastic社が提供している Elastic Cloud をオンプレミスにホスティングする製品の Elastic Cloud Enterp
Kubernetes上へのElastic APMサーバの自動デプロイについて - KADOKAWA Connected Engineering Blog
はじめに KCS部の辻下(tjst-t)です。 KCS部は、KADOKAWAグループ向けプライベートクラウド(以下KCS)を提供しており、主な利用者は株式会社ドワンゴがサービスを提供している『niconico』です。 私の所属しているDSREチームでは、MySQLやRedis、Elasticsearch/KibanaといったDatastore関連のミドルウェアをマネージドサービスとして、KADOKAWAのグループ会社に提供しています。 今回は弊社のElasticsearch基盤であるElastic Stack as a Service(ESaaS)で、APMサーバをKubernetesクラスタ上に自動デプロイするシステムを作った事例について紹介します。 はじめに 概要 APMサーバをなぜECE上にデプロイしないか Real User Monitoring(RUM) リソースの最適化 設計
Elastic Stackで簡単！Dockerコンテナ監視ダッシュボード作成 - Taste of Tech Topics
こんにちは、CI/CDツールなどを活用し、DevOps推進活動などに携わっている横山です。 本記事は、Docker Advent Calendar 2018 - Qiitaの20日目です。 はじめに Elastic Stackを使うと、簡単にDockerコンテナの監視ダッシュボードが作成できるので、今回はその紹介をしたいと思います。 きっかけとしては、「開発環境で立ち上げている複数コンテナの問題調査を楽にしたい」というのがあります。最近、開発環境に複数のコンテナを立ち上げて開発メンバーに提供していますが、開発メンバーから「重たいので環境を確認してほしい」といった声が上がってきます。その際、どのサーバのどのコンテナに問題が発生しているのか確認したいですが、その都度サーバに入って、docker statsなどのコマンドで確認するのはやや面倒です。 そこで、コンテナの監視ダッシュボードを作って、
ElasticsearchのShrink APIを検証した - Taste of Tech Topics
こんにちは。 最近暖かくなってきて春を感じている新人エンジニアの片岡です。 elasticsearch運用時には、indexのライフサイクルマネジメントとして、 書き込みせずに参照だけになるindexに対してshard数の変更やforcemergerを実行してメンテナンスする必要ありますよね。 elasticsearchでは一般的な手順として次のような手順を実行します。 shard数の削減 圧縮形式の変更 merge処理を行いセグメントをまとめる elasticsearchではデータを保持する際に裏で圧縮を行っています。 そこで、圧縮方法の違いやmerge処理によるサイズ変化への影響を検証してみました。 検証概要 次の検証を行いました。 1. 2.2GBのApacheログをelasticsearchに投入し、Primary Shardの数を5に設定した。 2. Shrink APIを使って
分散システムとしての #Elasticsearch - Taste of Tech Topics
こんにちは、 @snuffkin です。 こちらはDistributed computing Advent Calendarの12日目の記事となります。 qiita.com Elasticsearch6.0も登場し、使っている方も増えつつあるのではないかと思います。 進化が速く、どんどん機能が増えていますが、基本的なところを押さえるのも重要と考えています。 先日、Acroquest社内勉強会で「Elasticsearch as a Distributed System ～分散システムとしてのElasticsearch～」と題して Elasticsearchの分散システムとしての側面について話しました。 Elasticsearch as a Distributed System from Satoyuki Tsukano www.slideshare.net 資料の内容 ノードの種類 シャー
Elasticsearchを使うときの注意点を社内で発表しました。 - Taste of Tech Topics
こんにちは、fujiiです。 最近、社内でもElasticsearchを使う機会も増えてきてました。 インストールも簡単ですし、 ちょっと設定するだけでログの解析も手軽にできるので、 便利だと思って使い始めるのですが、 ・必要以上に負荷のかかる設定になっている。 ・システムダウンしたときの復旧を考慮していなかった。 ・初期構築などで大量にデータを入れようとしたら、一部データが入っていなかった。 と、後から反省することも多くあります。 （私も最初は知らないことが多く、反省点ばかりでした） そのため、Elasticsearchを初めて使うときの注意点をまとめ、 社内で講習会を開きました。 以下に公開しました。 実際に案件で利用しようと思った時にパフォーマンスなどで迷うこともありますので、 そんな時の一つの参考になればと思います。 Elasticsearchを使うときの注意点 公開用スライド f
Beatsのつくりかた - ヒープとGCを取得するJstatbeatsを実装してみた - Taste of Tech Topics
Hello, world! @cero_t です！ このエントリーはElasitcsearch Advent Calendarの20日目になります。 先日、Elastic{ON} Tour 2015 Tokyoが行われました。 世界各地で行われたイベントの中で最後となる東京では、無料イベントにも関わらず、 セッションは充実しているし、資料が印刷されて、しかも翻訳までされているし、 ランチに人形町今半のお弁当が配られるし 帰るときにもらったノベルティグッズが、なんとElasticロゴ入りモバイルバッテリーだったり、 とんでもないホスピタリティあふれるイベントでした。 Acroquestもelastic社のパートナーとして提携して、今回もデモスポンサーとして参加しましたが それ以外にも何かイベントの盛り上げをお手伝いができないかなと思い、リアルタイムブログに挑戦してみました。 当日のブログ一覧
elasticの新プロダクト「Beats」シリーズに震える！ - Taste of Tech Topics
初めてこのブログに投稿します、PlNOKlOです！ 皆さんよろしくお願いします。 このエントリーは、Elasticsearch Advent Calendar 2015の15日目です。 さて、 今日紹介したいのは、elasticの新プロダクト「Beats」シリーズです。 社内で @cero_t さんが「みんなでBeatsのWebinarを見る夕食会」なるイベントを 突発的に企画したので、よく分からないながらも参加してきたのですが、、、 震えました モニタリングツールとしてかなりよくできている感じで、 @cero_t さんが騒ぐ理由も分かる気がしました。 特にPacketbeatは想像以上にヤバかったですね。 皆さん、こいつは注目です！ ということで、そんなBeatsシリーズのうち、 TopbeatとPacketbeatの2つについて、私の震えポイントを紹介します！ 1. Beatsとは？
Elasticsearchソースコードリーディング～内部構造把握の第一歩～ - Taste of Tech Topics
こんにちは！ ツカノ(@snuffkin)です。 ElasticsearchとKibanaを使うとログなどを簡単に可視化できるため、利用者が急速に増えてきています(私もそのひとりです)。様々なブログで紹介されているKibana画面はとても素敵で、積極的に使いたくなります。 ただ、それなりの規模でElasticsearchを利用するには、中身を知ったり、データ設計や運用面なども考える必要がありますが、そのあたりの情報はまだ十分ではないように思います。そこで、Elasticsearchの中身をもっと知るために、ひとりでひっそりソースコードリーディングをしてみました。 今回利用したElasticsearchのバージョンは1.0.0.RC2です。以下の場所から実行媒体とソースコードをダウンロードして確認しています。また、確認はWindowsで行っています。 実行媒体 http://www.elas
Kibanaの画面をPDF出力しよう！ - Taste of Tech Topics
こんにちは！ ツカノ(@snuffkin)です。 最近、STAP細胞のニュースで賑わっていますね。iPS細胞と比較する記事が多いですが、たまにはES細胞のことも思い出してあげてください(ES細胞だってノーベル賞を取っているんですよ～)。まぁ、IT業界的にESと言えば、Elasticsearchのことを指す訳ですが、こちらはトレンドなプロダクトで、Marvelが登場したりと、まだまだ広がっていく感じがします。 Elasticsearch+Kibanaは本当に便利で、様々な方が取り組まれており、情報量も急速に増えています。ログをElasticsearchに簡単に入れておくことができ、Kibanaを使って簡単に可視化できるのは良いですよね。 さて、可視化したら、それを後から見ることができるようにファイル化したくなるのが人の心。Kibanaで表示した画面もファイルに落としたいしたいですよね。特に「
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Scale Your Elasticsearch Cluster
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ