魔窟と化した全文検索サーバーとふっかつのじゅもん - Cybozu Inside Out | サイボウズエンジニアのブログ
サイボウズのクラウド黎明期から運用し続けていたSolrサーバーを Elasticsearchに置き換えるプロジェクトが先日完了しました。 プロジェクト完了報告もかねてプロジェクトのあらましを公開したいと思います。 はじめに このプロジェクトの主軸は『魔窟と化したレガシー技術をどう捌くか？』になります。 このプロジェクトの報告をする前に、いくつかエクスキューズをさせていただきます。 クラウド黎明期を支えてくれたSolrには畏敬の念に近い感謝をもっています レガシーな技術に対してマウントやディスリスペクトの意図はありません 魔窟にかかわることになってしまった人に対して負の感情は一切ありません 今回の採用している構成はElasticsearchのあるべきアーキテクチャではありません 今後、Neco 環境への移行を通して継続的に改善していきます サイボウズでのSolrの使い方と用語説明 サイボウズ
「Embulk + Elasticsearch + kibana」で地図へのプロットを試してみる（メモ） - Qiita
はじめに Embulk + Elasticsearch + kibana + OpenStreetMapでお手軽に地理情報を可視化 上の投稿では「Embulk + Elasticsearch + kibana」の組み合わせで、AEDが設置されている場所を簡単に地図へマッピングしており興味深い内容でした。 最終的に以下のようにkibanaの地図（OpenStreetMap）上にAEDをプロットして表示しています。 「Embulk + Elasticsearch + kibana」に興味があったので、投稿の内容を自分の環境でも試してみました。元記事の内容を試しただけなのですが、OS（元記事はMacOS）とElasticsearch/kibanaのバージョンが違うのでメモとして残しておきます。 環境 使用した環境は以下のとおりです。 CentOS 7.5 Elasticsearch 6.8.3
【Elasticsearch入門】Ubuntu16.0x Elasticsearch 環境構築 - Qiita
補足 ・前提として、すでに仮想マシーンに OS がインストールされ起動できる状態を想定 ・仮想マシーン構築の参考サイトとして下記を利用 https://www.server-world.info/query?os=Ubuntu_16.04&p=download ・事前に Elasticsearch 公式サイトから Support Matrix を確認する https://www.elastic.co/support/matrix ・仮想マシーンの OS にインストールされている Java の Ver. を確認する 操作手順 ①Update & JDK instal ②Elasticsearch install ③Kibana install 内容 Update & JDK install $ sudo apt-get -y update $ java -version プログラム 'jav
大量データを検索するサービスでElasticsearchはRDBの代替候補になりうるか？(Elasticsearch vs pg_bigm) - RAKUS Developers Blog | ラクス エンジニアブログ
みなさんこんにちは。フジサワです。前回の記事でお伝えしていたElasticsearchの検証がひと段落しましたので、検証結果をレポートいたします。 連載目次 『全文検索 〜 Elasticsearchとデータ匿名化手法』 『全文検索の探求 Elasticsearch(1) 』: プロジェクト方針およびElasticsearch概要 大量データを検索するサービスでElasticsearchはRDBの代替候補になりうるか？(Elasticsearch vs pg_bigm)』 ←今読んでいる記事 データ匿名化 第1回：匿名化された個人情報とは何なのか データ匿名化 第2回：個人情報は匿名化しても意味がないのではないか？ データ匿名化 第3回：個人情報を匿名化するプロセス データ匿名化 第4回：匿名化のために行うデータ項目の一般化とは データ匿名化 第5回：データ匿名化の指標 データ匿名化 第6
Amazon Elasticsearch Serviceの検索でSQLが使えるようになったので使ってみました - YOMON8.NET
開発しているサービスの一部でElasticearch使っているのですが、ElasticsearchのクエリDSLって少し触ってないだけで忘れてしまいます。 昨日もGroupByに当たる、Aggregationを複数フィールドでやるのどうやるんだっけと、素人みたいなことで悩んでググっていました。 こういうの調べるたびに、SQL打てたらなーと思っていました。実はSQLでElasticsearchのクエリを実行する機能は、(※) Elastic Stackの有償オプションにはあります。 ※この部分認識間違いありまして、以下のコメントいただいたので引用をもって、訂正させていただきます。ありがとうございました。 Elasticが提供してるElasticsearch SQLの実行エンジン部分は無償の範囲であるベーシックに含まれてます。 https://www.elastic.co/jp/subscri
AWSはなぜ「Elasticsearch」の独自ディストリビューションを公開したのか
AWSは、オープンソースの高速な検索エンジンとして活用されている「Elasticsearch」の独自ディストリビューション「Open Distro for Elasticsearch」を公開しました。 ITジャーナリスト／Publickeyブロガー。大学でUNIXを学び、株式会社アスキーに入社。データベースのテクニカルサポート、月刊アスキーNT編集部 副編集長などを経て1998年退社、フリーランスライターに。2000年、株式会社アットマーク・アイティ設立に参画、オンラインメディア部門の役員として2007年にIPOを実現、2008年に退社。再びフリーランスとして独立し、2009年にブログメディアPublickeyを開始。現在に至る。 Elasticsearchはオランダに本社を置くElastic社が中心となり、オープンソースとして開発されている検索エンジンです。 検索エンジンのライブラリとし
Elastic StackによるKubernetesモニタリングシステムの紹介 - freee Developers Blog
まえがき SREの河村(at-k)です。freeeにjoinしたのは今年1月なので、そろそろ1年。前職は組み込み分野の研究屋だったのもあって、扱う技術も仕事の進め方もガラッと変わり、なかなか刺激的な1年でした。ひたすら詰め込みな日々ですが、最近はようやくこの分野における自分なりの目標がぼんやり見えてきた感じです。しかし、理想は高く、道は遠い。来年も頑張っていきます、よろしくお願いします。 さて自分語りはこのくらいにして。 年末ですね。 この時期になるとみな無駄に忙しく、つい周囲に目が行かなくなり、足元がおろそかになります。そんなときに事故はつきもの。そうならないためにも、日々冷静に自分を見つめ、絶えず変化を監視する必要があります。つまりモニタリングです。 この記事はfreee Developers Advent Calendar 2018の14日目です。 Elastic StackでKub
エムスリーのサービスレベル監視基盤を構築した話 - エムスリーテックブログ
こんにちは、エンジニアリングGの高橋です。 去年の11月にエムスリーにSREとして参画してから、サーバのセットアップ作業などの基本的なインフラ作業に加えて、各サービスのサービスレベルの設定や監視の仕組み作りなども行ってきました。 今回はそのサービスレベルを監視する仕組みをご紹介したいと思います。 本稿の流れ SLI設定 SLO設定 各種メトリクスの収集 アラーティング 監視ダッシュボードの作成 まとめ 全体像 ざっくりとした全体像としては上図のような感じです。 また、この取り組みを実施した前後で、下のような変化（効果）がありました。 前 ログの収集はしているが、全サービスでは取れていない ログの収集経路がサーバによって異なる（Service AからElasticsearchとかもあったり） 後 全サービスのアクセスログを収集・閲覧可能 ログの収集経路を共通化 ほとんどのサービス（70以上）
はじめてのElasticsearchクラスタ
The First Elasticsearch Cluster 2018-07-25 JJUG ナイトセミナー「Elasticsearch特集」Read less
初心者のためのElasticsearchその1 | DevelopersIO
はじめに 本稿では、とりあえずElasticsearchとkibanaをインストール後、 基本的なAPIをつかって動かしてみます。 Elasticsearchとは 超ざっくり特徴を言うと、 Elastic社が開発している、LuceneベースでOSSの全文検索エンジン RESTでアクセス可能。最近SQLも使えるようになった 検索エンジン界隈では一番人気（らしい） kibanaとは kibana(キバナ)はElasticsearchのデータを分析・可視化するツール kibanaのDevtoolsを使うとElasticsearchのクエリを書くのが少し楽になる 環境 今回使用した動作環境は以下のとおりです。 OS : MacOS X 10.12.4 Java : 1.8.0_121 Elasticsearch＋Kibanaインストール Homebrenwでもインストールできるし、 % brew
Elasticlover
今週、Elasticについて新たにWEBで観測した情報をまとめます。 （個人的に注目だと感じた記事は太字で紹介しています。） 公式ブログ RELEASES ENGINEERING Elastic Stack Updates USER STORIES OTHERS(NEWS/CULTURE/...) ウェビナー その他ブログ記事など 初心者向け（概説、インストールなど） 検索、言語別クライアントの実装例 ログ監視/ログ分析 モニタリング/パフォーマンス監視 セキュリティ データ分析/データ集計 可視化 データ投入/データ加工 運用Tips、トラブルシュート その他 公式ブログ RELEASES なし ENGINEERING Performance Tuning of the Elastic APM Java Agent | Elastic Observability with the Ela
Kibanaのキホンのキ＠Elastic stack Advent Calendar 2017 3日目 - infra.log
はじめに 意外とKibanaにフォーカスした記事をみない気がしたので、 今回はKibanaの簡単なハンズオン的なブログを書いていこうと思います。 また、Kibanaの操作にフォーカスを当てるため、それ以外の設定等についてはなるべく簡略化しています。 ※書いている最中に記載量が膨大になってきたので、前後編にわけていきます・・・ 全体を通して、Elastic Stackでわからないところがあれば、こちらへ質問どうぞ！ :) discuss.elastic.co 今回試す構成について １台のVirtualBox上のサーバで以下ミドルウェアをインストールして試しています。 OS:CentOS 7.4 x86-64 JDK: jdk1.8-1.8.0_151-fcs Elasticsearch: 6.0.0 Metricbeat: 6.0.0 Kibana: 6.0.0 構築手順 詳細手順は公式サイ
ElasticsearchのIndexを本当の意味で無停止再構築する手法 - aeroastroの日記
※ この記事は Elastic stack (Elasticsearch) Advent Calendar 2017 の2日目の記事になります。 Elasticsearchを利用したサービスを運用している場合、既存機能の改修や仕様変更、新規機能の実装に伴い、運用中であってもindexや検索クエリを変更していくことは日々発生します。この際に、インデックスを再構築する必要性も出てきますが、インデックスを再構築し、そこに整合性のあるデータセットを準備するのには時間がかかります。その都度メンテナンスを行うのは非現実的であり、特に大規模サービスであれば準備にかかる時間自体も非現実的なものになりかねません。 このような問題への対処方法として、 Index Aliases を利用することで、透過的に無停止再構築を行うことが出来るというのは複数のブログ記事で紹介されています。これらはアプリケーションから直
Elasticsearch 6 を利用する前に把握しておいた方がよさそうなこと | DevelopersIO
ども、藤本です。 現地時間 8/31 に Elastic Stack の次期メジャーバージョンの 6.0.0 Beta 2 がリリースされました。 Elastic Stack 6.0.0-beta2リリース 過去の Elasticsearch はメジャーバージョンバージョンアップ時に機能が変更となったり、非推奨になったり、廃止になったり、大きな変化を行ってきました。今回の 5系 → 6系に際しても大きな変化があるはずです。ということで Elasticsearch 6系の Breaking Changes に目を通してみました。今回は私が気になった項目をご紹介します。利用方法によって影響する項目は異なるので 6系をご利用される方は一通り目を通すことを推奨します。 Breaking Changes Breaking Changes バージョン 2系以前に作成されたインデックスは読み取れない E
Officeドキュメントの中身検索をElasticSearch（mapper-attachmentsプラグイン）でやってみた - Qiita
Officeドキュメントの中身検索をElasticSearchで行ってみた ※ 事前にkuromoji もインストールしていくこと 今回ポイントになる、mapper-attachment プラグインをインストール mapper-attachment とは、 .pdfや.pptxに対応するためのプラグイン これらに対応させるApache Tikaを扱うためのattachmentタイプを使えるようにしてくれる -> Downloading mapper-attachments from elastic [=================================================] 100% @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: plugin requires addi
Kibana5.5の新機能紹介！ - Taste of Tech Topics
こんにちは。 @shin0higuchiです😊 先日Elastic Stack 5.5.0がリリースされました。 この記事ではKIbanaに追加された新機能をピックアップして紹介します。 (5.5.0ではX-Pack Machine Learningの正式リリースとなりましたが、そちらは@tereka114の別記事にて紹介しています) この記事で紹介する機能 Filter機能の強化 Grok Debugger 新しいVisualization(Region Map, Gauge, Goal) Filter機能の強化 DiscoverやDashboard上で絞り込みを行いたい場合、今まではクエリを自分で入力する必要がありました。 今後はクリックだけで全て操作できるようになります。 非エンジニアのユーザーにとっては非常に嬉しいですね。 画面左上のあたりに、"Add a filter"という文
Kibana 5.5.0 の新機能の Region Map を試してみた | DevelopersIO
こんにちは、藤本です。 現地時間 7/6 に Elastic Stack 5.5.0 がリリースされました。 Elastic Stack 5.5.0 released Elasticsearch 5.5.0 released Kibana 5.5.0 released Logstash 5.5.0 released Elasticsearch for Apache Hadoop 5.5.0 昨日、Kibana + X-Pack 5.5.0 から追加された Grok Debugger を試してみました。 https://dev.classmethod.jp/server-side/elasticsearch/x-pack-grok-debugger/ 今回は Kibana 5.5.0 の新機能で一番気になっていた Region Map を試してみました。 Kibana による地理データの可視
Grok の構文を検証する Grok Debugger を試してみた #Kibana | DevelopersIO
Grok filter plugin は正規表現で定義した Grok Pattern にマッチした文字列を Key 名とマッピングして抽出します。例えば、clientip が 127.0.0.1 というところに着目すると、%{IPORHOST:clientip}の Grok Pattern を定義することで IPORHOST に一致した文字列を clientip の Key名にマッピングして抽出します。IPORHOST とは何でしょうか。正規表現には見えません。これは IPORHOST という文字列に一致するかどうかではなく、IPORHOST という正規表現のエイリアス（Grok Pattern）に一致するかどうかです。Logstash の Grok filter plugin はよく利用される正規表現パターンをエイリアスで定義しています。エイリアスの定義は<LOGSTASH_GEM_DI
Elasticsearch勉強会の発表資料まとめ - Qiita
Elasticsearch勉強会で過去どのような発表があったのか一覧できるサイトが見つからなかったため、リンク集を作成しました。 敬称略。所属は当時のものです。 リンク不足・誤り・表記揺れをこの単語に統一して欲しい等、編集リクエストお願いします。 ナンバリングされていないElasticsearch勉強会は記載していません。(編集リクエスト大歓迎です) meetupのElasticsearch勉強会グループ 第38回Elasticsearch勉強会 2020.10.29 #elasticsearchjp 2020年10月29日開催 No. 発表者 所属 発表内容
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ELKで始めるElasticStack6入門 (Elasticsearch, Kibana, Logstash)
