魔窟と化した全文検索サーバーとふっかつのじゅもん - Cybozu Inside Out | サイボウズエンジニアのブログ
サイボウズのクラウド黎明期から運用し続けていたSolrサーバーを Elasticsearchに置き換えるプロジェクトが先日完了しました。 プロジェクト完了報告もかねてプロジェクトのあらましを公開したいと思います。 はじめに このプロジェクトの主軸は『魔窟と化したレガシー技術をどう捌くか？』になります。 このプロジェクトの報告をする前に、いくつかエクスキューズをさせていただきます。 クラウド黎明期を支えてくれたSolrには畏敬の念に近い感謝をもっています レガシーな技術に対してマウントやディスリスペクトの意図はありません 魔窟にかかわることになってしまった人に対して負の感情は一切ありません 今回の採用している構成はElasticsearchのあるべきアーキテクチャではありません 今後、Neco 環境への移行を通して継続的に改善していきます サイボウズでのSolrの使い方と用語説明 サイボウズ
最近見かける新しいライセンスについて - Kengo's blog
Elastic社のブログをきっかけに、最近見かける新しいライセンスについて個人的に調べてみた。私は専門家ではないので要注意。公開情報も隅々まで追えているわけではないし。 なお一部ライセンスはOpen Source Initiative (OSI)による承認を受けていないので、ここではオープンソースライセンスではなく単に「ライセンス」と書くことにする。 新しいライセンスが誕生している背景 従来のオープンソースライセンスが再頒布以外の利用をあまり想定していなかった。 Open-core modelないし完全オープンソース戦略を採る企業が自衛策を必要とした。 既存のライセンスが難解なため、理解しやすいライセンスが求められた。 OSS活動を収入に繋げるためのモデルが試行錯誤されている。 新しいライセンスを導入しているプロジェクト（一例） プロジェクト ライセンス Elastic SSPLと独自ライ
Micrometerで取得したデータをKibanaで可視化してみました - Taste of Tech Topics
こんにちは、oogiです。 この記事はElastic Stack (Elasticsearch) Advent Calendar 2019の8日目の記事になります。 はじめに Spring Bootアプリケーションの監視にMicrometerを使うことは多いと思います。 収集したデータはレジストリの切り替えによりPrometheusやElasticsearchなど保存先を選んで利用することができます。 で、収集したら当然可視化してみたいわけですが、残念ながらMicrometerで収集したデータをKibanaで可視化するためのダッシュボードが存在していないため、結局のところPrometeus＆Grafanaが選ばれることが多いです。 Elastic Stackを活用しているAcroquestとしてはせっかくElasticsearchにも保存できるのにこれはもったいない…なら、うちで作るしかな
検索結果の品質向上 Elasticsearch入門
2019年度リクルート新人ブートキャンプ エンジニアコースの講義資料です
知識ゼロからElasticsearchを実践で使えるようになろう！ - $shibayu36->blog;
以前少しだけElasticsearchを触った時に、自分流Elasticsearch入門 - $shibayu36->blog; というElasticsearchに入門した時のメモをまとめていた。しかし、その頃はElasticsearchを使って完全に一人で一つの機能を作るというところまではいけなかった。 最近になってまたElasticsearchを一から導入する仕事をすることになった。この時以前自分がまとめた記事を読みながらやっていたのだが、実践で一から導入するためにはこの記事だけでは知識が足りなかった。 そこで、前の記事の知識をベースに、一から導入するために少しずつ学んでいき、自分のブログにまとめるなどのことをしてきたので、今回はその締めくくりとして、知識ゼロからElasticsearchを使えるようになるために学習したことについて書いておきたいと思う。 今回書くこと・書かないこと 今
ElasticsearchとKibanaを使ってTwitterのトレンドワードを可視化してみた - Qiita
大久保です。 最近、会社でElasticsearch＋Kibana＋Fluentdという定番の組み合わせを使ってログ解析する機会があったので、ついでにいろいろ勉強してみました。 触ってみておもしろかったのが、Elasticsearchがログ解析だけじゃなくてちょっとしたKVSのようにも振る舞えることです。 ElasticsearchはKibanaと組み合わせることで、もっといろいろおもしろいことできそう感あります！！ 本記事では、その一例としてTwitterのトレンドワードをリアルタイムに集計するプログラムを組んでみました。 完成形：トレンドワードごとのツイート数をグラフ化 ＃開発環境と各種ミドルウェアのバージョン ローカルで確認できればよかったので開発環境はMacです。 Java ElasticsearchはJava製なのでJavaのバージョンを確認。 $ java -version j
elasticの新プロダクト「Beats」シリーズに震える！ - Taste of Tech Topics
初めてこのブログに投稿します、PlNOKlOです！ 皆さんよろしくお願いします。 このエントリーは、Elasticsearch Advent Calendar 2015の15日目です。 さて、 今日紹介したいのは、elasticの新プロダクト「Beats」シリーズです。 社内で @cero_t さんが「みんなでBeatsのWebinarを見る夕食会」なるイベントを 突発的に企画したので、よく分からないながらも参加してきたのですが、、、 震えました モニタリングツールとしてかなりよくできている感じで、 @cero_t さんが騒ぐ理由も分かる気がしました。 特にPacketbeatは想像以上にヤバかったですね。 皆さん、こいつは注目です！ ということで、そんなBeatsシリーズのうち、 TopbeatとPacketbeatの2つについて、私の震えポイントを紹介します！ 1. Beatsとは？
いまさら fluentdをはじめてみた Apache + Elasticsearch + Kibana なにそれ美味しいの？、その５ - Qiita
いまさら fluentdをはじめてみた Apache + Elasticsearch + Kibana なにそれ美味しいの？、その５FluentdElasticsearchkibana3CentOS6.5 いまさら fluentd はじめてみる５（完結編） 紆余曲折しましたが、やっと「もう何番煎じだ？」ぐらい同じレベルでインストールできました。いやはやインストールしたバージョンがbugあったおかげ？で勉強色々しました。これでようやっとスタートラインにたてましたｗ。で、本題「Apache + fluentd + Elasticsearch + Kibana」 ということで（本当に何番煎じ？）完結編です。 fluentd + Elasticsearch + Kibanaでデータ集計サーバを作る File descriptor, Kernel パラメータの設定 vm を２つ用意します。これは単に
【CentOS / Nginx】Fluentd + Elasticsearch + Kibana 環境構築 – FiS Project
CentOS6.6でのFluentd, Elasticsearch, Kibana環境構築メモ。 複雑な設定とかはしないので, 初心者向けの話。 Elasticsearchのインストール $ cat /etc/redhat-release CentOS release 6.6 (Final) Elasticsearch 1.4.3のインストール。 $ yum install wget java-1.8.0-openjdk-devel $ rpm --import https://packages.elasticsearch.org/GPG-KEY-elasticsearch $ sudo vim /etc/yum.repos.d/elasticsearch.repo [elasticsearch-1.4] name=Elasticsearch repository for 1.4.x pa
ElasticSearchとKibana - Qiita
ElasticSearchとは Elasticsearchは、割と設定とかが簡単で使いやすい全文検索エンジンで、内部でJava実装のLuceneを利用している。 http://www.elasticsearch.org/overview/elasticsearch Kibana連携の際は、単に検索というより、可視化したいデータを高速にフィルタリングして集計する用途で使われていると思ったほうが良い感じ。 ElasticSearchのインストール Kibanaとは ElasticSearch社が提供している、ログデータの可視化ツール。Apatchなどのシステムログを用いる例ばっかりWeb上で見つかるが、別に検索のクエリログやWebサイトの行動ログだってちゃんと入れて設定すれば使える。 Kibanaのインストール ElasticSearchのプラグインとしてインストール (現在はkibana3と
今日から始めるfluentd × Elasticsearch × kibana - カジュアルな解析・高速化 - Eureka, Inc.
目次 1. まえがき 2. pairsとシステム 3. kibana サンプルシステム構築 3.1 サンプルのサーバー構成例 3.2 fluentd 3.3 Elasticsearch 3.4 kibana 4. kibanaを使う 5. エウレカでの実際の活用事例 6. 〜終章〜 1. まえがき 1.1 対象者 気軽にデータ収集をしたいと思っている開発者 基本的なLinuxコマンドの理解がある方 1.2 この記事を読んで分かること fluentd x Elasticsearch x kibana を用いたアクセスログの収集・計測方法 pairsのシステム概要 私の好きなアニメ pairs高速化チーム 1.3 この記事を読んでも分からないこと 本格的な統計解析 恋人の作り方 1.4 自己紹介 はじめまして。サービス事業部の森川と申します。 エウレカには今年のはじめ頃にJoinしました。 エ
Fluentd+Elasticsearch+Kibana+Norikra+Zabbixを使ってOpenStackのログ解析してみた | 技術畑 | 情報畑でつかまえて
2.2. システム処理イメージ ログを解析する仕組みとして、こんなフローを考えてみました。 (1) OpenStackが出力するログを、ログ中継サーバーへ集約する。 (2) 集約したログをElasticsearchとNorikraへ送信する。 (3) Norikraへ送られたログを、SQLストリーミング解析にかける。 (4) 解析の結果は問題の有無に関わらずElasticsearchへ格納し、異常が検出された場合はZabbixへ通知する。 (5) 通常のサーバー監視はZabbixが行う。 (6) (2)、(4)でElasticsearchへ送られたデータはKibanaを使用して可視化する。 図 1 システム処理イメージ 3. ログを収集してグラフ化してみる。 まずは、OpenStackの各コンポーネントが出力するログ量の推移と、API実行数の推移のグラフ化してみました。ログメッセージの内容
全文検索システムの比較 - Elasticsearch vs Solr vs Amazon CloudSearch
全文検索システムの比較 - Elasticsearch vs Solr vs Amazon CloudSearch February 10, 2014 at 01:05 AM | categories: solr, aws, elasticsearch, web | 候補の選定方法 候補を選定するにあたって、以下の特徴をもっていることを前提とした。 LuceneやGroongaを使えば何でもできるが、ここでは対象としない。 ウェブベースのインターフェースを持つ インデックスの更新はほぼリアルタイムに反映される スケールアウトが容易 Solr https://lucene.apache.org/solr/ Luceneをバックエンドにした全文検索システム。バージョン4になってから大幅に機能が増強された。 長所 実績が十分ある 機能豊富 短所 クラスタを構築して運用するには手間がかかりそう S
私がElasticsearchを知るために参考にしているサイト・書籍まとめ - Qiita
@shoitoです。 12/1に、先日発表したElasticsearch勉強会の報告を公開しました。 「niconicoの検索を支えるElasticsearch」と題して、第7回Elasticsearch勉強会で発表しました 今回は、私がElasticsearchを知るために参考にしているサイトや書籍、フォローしているtwitterアカウントなどを紹介します。１つでも参考になればと。 まずは書籍を2冊紹介します。 Elasticsearch: The Definitive Guide (英語) http://shop.oreilly.com/product/0636920028505.do こちらは電子書籍がオライリーで発売されているのですが、オンラインでも無料で読むこともできます。 http://www.elastic.co/guide/en/elasticsearch/guide/cu
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OpenIO | High Performance Object Storage for Big Data and AI
Elasticsearch における類似度ベクトル検索のベストプラクティスを求めて/es-vector-search
https://slideship.com/users/@iktakahiro/presentations/2018/09/DRJxjKfBFEGSRcvYjCA88f/
オープンソースソフトウェアで実現するエンタープライズにおけるセキュリティ脅威分析の勘所
Siren Investigate
Kibanaで秒間1万件のアクセスを可視化した話/nikkei-kibana-loganalyst2015
