AWSが主導する「OpenSearch」、Linux Software Foundation傘下の「OpenSearch Software Foundation」発足
AWSが主導する「OpenSearch」、Linux Software Foundation傘下の「OpenSearch Software Foundation」発足 Linux Foundationは、オープンソースとして開発されているOpenSearchを推進する団体「OpenSearch Software Foundation」の発足を発表しました。 The #OpenSearch Project is now part of the newly formed OpenSearch Software Foundation, a community-driven initiative under @linuxfoundation. This marks a major milestone & we couldn't be more excited to share our though
Elasticsearchが再びOSSに ―ライセンスにAGPLを追加 | gihyo.jp
Elasticは2024年8月30日、今後数週間以内に同社が開発するサーチエンジンElasticsearch、および可視化ツールKibanaのライセンスにAGPL（GNU Affero General Public License）を追加することを発表した。 Elasticsearch is Open Source, Again | Elastic Blog "Being able to call Elasticsearch and Kibana Open Source again is pure joy." — Shay Banon, Elastic Founder and CTO. Read more from @kimchy: https://t.co/PWgXVqyr8M#Elasticsearch — Elastic (@elastic) August 29, 2024 Elas
誰でもわかる全文検索入門
全文検索エンジンも、事前に検索対象のデータを調べてこのような索引を作っておくことで、高速な検索を実現しています。 インターネット検索の例 たとえばインターネット検索の場合、まず各サイトからデータを収集して、その中から索引に載せる単語を選んで索引を作ります。索引のデータは下の図の右側のような表になっています。各単語と、それがどのサイトのどこにあったのかを記録しておく形です。 検索の時は、この索引データを調べます。例えば利用者が「理解」という言葉で検索したら、索引の「理解」のところを調べます。そうすると「サイトAの8文字目と18文字目、サイトGの……」と出現場所がわかるので、すぐに結果を返せます。 なお、この図では索引の単語の並び方が適当ですが、実際には本と同じように「あいうえお順」などに並べておいて、すぐに単語を見つけられるようにしてあります。 索引にない単語 この仕組みの場合、索引にある単
Elasticsearch運用ノウハウ | メルカリエンジニアリング
こんにちは、メルカリMicroservices SREチームの藤本(@jimo1001)です。 私は現在、Embedded SRE として サーチインフラチームに入り活動しています。このサーチインフラチームは、Elasticsearchを使用した検索基盤を管理し、様々なマイクロサービスに検索機能を提供するチームです。この検索基盤は非常に巨大なプラットフォームで、メルカリ全体のマシンリソースの高い割合を占めており、メルカリの検索を支える非常に重要なものです。私の Embedded SRE としてのミッションは検索基盤の信頼性の向上と自動化を推進することです。 今回は、メルカリの検索基盤で利用している Elasticsearch における運用のノウハウを紹介したいと思います。 Elasticsearch とは Elasticsearch は、Elastic社が開発する Apache Lucen
Elasticsearchで日本語検索を扱うためのマッピング定義 - ZOZO TECH BLOG
こんにちは、検索基盤部 検索基盤ブロックの渡です。私は検索基盤ブロックで、主にZOZOTOWNの検索周りのシステム開発に従事しています。 以前の記事では、Elasticsearchのマッピング設定の最適化について取り上げました。そして、今回は日本語による形態素解析を実現するまでの手順をご紹介します。 techblog.zozo.com 目次 目次 はじめに Elasticsearchで全文検索を実現させる手順 全文検索のためのマッピング定義 Analyzerの構造 日本語対応のAnalyzer 日本語対応のためのプラグイン追加 kuromoji Analyzerを指定したマッピング定義の例 kuromojiプラグイン機能 カスタムしたAnalyzerのマッピング定義 Analyzerの動作確認 modeを選択した場合のマッピング定義の例 Analyzer適用の注意点 kuromoji以外の
Elasticsearch and Kibana are now business risks
In a play to convert users of their open source projects into paying customers, today Elastic announced that they are changing the license of both Elasticsearch and Kibana from the open source Apache v2 license to Server Side Public License (SSPL). If your organisation uses the open source versions of either Elasticsearch or Kibana in its products or projects, it is now at risk of being forced to
Dockerのログ収集方法の調査 - Qiita
すべてのログは標準出力・標準エラー出力に出力 ・Dockerのlogging driver ・ログの集約がしづらい ・Fluentdに転送設定 コンテナ起動時に既にFluentdが死んでいる場合、コンテナが起動できない など。詳細は以下のサイトを参照 Dockerコンテナ上のログ集約に関するまとめ Dockerのlogging driver: それぞれの特徴と使いどころ(json-file, syslog, journald, fluentd) 対象のログ リアルタイムに出力されるログが対象 ・Fluentd / fluentd-ui ・FluentBit ・Filebeat ・Logstash 既にあるログが対象 ・Embulk Fluentdのバッチ版Embulk(エンバルク)のまとめ Docker-composeを使ってEmbulk,Elasticsearch,Kibana環境を構築
Rust初心者がRustで全文検索サーバを作ってみた - Qiita
情報検索・検索エンジン Advent Calendar 2019 の5日目の記事です。このAdvent Calendarを作った@takuya_aさんより、お誘いいただきました。 @minoru_osuka もし余裕あれば12/5の記事お願いします！ https://t.co/YIA9tIB4Gj — takuya-a (@takuya_b) December 1, 2019 ということで、仕事とは別で個人的に始めたプロジェクトについて紹介できたらと思います。 私自身はApache Solrを好んで利用しています。 ただ、最近のサーバサイドの技術の移り変わりや、新しい開発言語の登場など、取り巻く環境が変化してきています。それらの習得も踏まえ、使ったことのない開発言語を用いて軽量な全文検索サーバを作り始めるという内容です。 開発した経緯 インフラの変化 ここ数年でインフラは大きく変化しました
Designing the Perfect Elasticsearch Cluster: the (almost) Definitive Guide
This article and much more is now part of my FREE EBOOK Running Elasticsearch for Fun and Profit available on Github. Fork it, star it, open issues and send PRs! Ever since I started to write about operating Elasticsearch, I have answered many questions about cluster design. Every one of them we asked by people who were already running Elasticsearch and ran into trouble after the first users came.
ホンダの内部ネットワーク情報を格納したElasticsearchが公開されていた件についてまとめてみた - piyolog
2019年7月31日、本田技研工業の従業員のメールアドレスや内部ネットワーク、PCに関連するElasticsearchデータベースが露出していたとして、対応の顛末が発見者により公開されました。この問題は本田のセキュリティチームに伝えられ、問題は解消されているとのことです。ここでは関連する情報をまとめます。 問題の発見者 Justin氏の報告 Honda Motor Company leaks database with 134 million rows of employee computer data https://t.co/IN9IESN0Ae— Justin (@xxdesmus) 2019年7月31日 Justin氏はクラウドフレア社 Trust & Safety担当のディレクター。 何が問題であったか 本田技研工業の従業員の名前やメールアドレス、連絡先の情報、同社内部の端末やネ
検索結果の品質向上 Elasticsearch入門
2019年度リクルート新人ブートキャンプ エンジニアコースの講義資料です
AWSがElasticsearchの新ディストリビューションをApacheライセンスで公開 | DevelopersIO
AWSがElasticsearchの新ディストリビューションOpen Distro for ElasticsearchをApacheライセンスで公開しました。セキュリティ、アラート、SQL、パフォーマンス・アナライザという機能が追加されています。今後Amazon Elasticsearch Serviceにも取り込まれる予定です。 大栗です。 先程AWSがElasticsearchの新しいディストリビューションをApache License 2.0で公開しました。Elasticsearchは元々Apache License 2.0で公開されていますが、プラグインも全てApache License 2.0となっています。 Open Distro for Elasticsearch New – Open Distro for Elasticsearch Keeping Open Source
Elasticsearchの運用に関する典型的な4つの誤解 | Elastic
初のフライト変更ということで、羽田空港で5時間の待ち時間ができたのでブログを書いているところです。 皆さんの使用方法などを知りたいと思い、日本語で書かれたツイートやブログを時々みていますが、 共通で見受けられるElasticsearchに関する誤解があるようです。 よりよくElasticsearchを利用していただくために、よく陥る誤解とどうすれば良いかというのを紹介しようと思います。 誤解：2台でHA構成 「1台では、マシントラブルなどがあった場合に、Elasticsearchが利用できなくなるという心配から、2台でElasticsearchのクラスターを構成すれば1台ダウンしてもサービスを維持できるだろう。」 残念ながら2台では完全なHA構成にはならないのがElasticsearchです。2台構成のクラスターは、データの欠損という障害に対しては有効です。 が、1台故障してもクラスターが
Elastic{ON} 2018 最終日セッションレポート LogsとMetricsとAPMをElastic Stackで統合 #elasticonjp - Taste of Tech Topics
こんばんは。@muraken720です。 3日間に渡るElastic{ON}があっという間に終わってしまいました！ 伝えたいことが多すぎて困ってしまいますが、少しでも雰囲気をお伝えできればと思います。 Elastic社APMチームのPMであるRasmusさん、Tech leadのRonさんらと共に記念写真。 今日参加したセッション 私が本日参加したセッションと概要は次の通りです。 The State of Geo in Elasticsearch Elasticsearchの2.x => 5.x => 7.xのGeo周りの進化について。仕組みが体系的に説明され、なぜElasticsearchがGeo系の処理が得意なのかを説明してくれていた（と思う）。Vega/VegaLiteにも地図表現があるので増えたよ。 Kubernetes, Docker, and Containers at Ela
Elastic Cloud を採用する事にした
検討した結果、採用することにしたので、その過程の理由を。 Elastic Stack を使うことにしたのはいいが、サーバをどう構築するかは決め兼ねていた。 普段から使っている Vultr という VPS サービス上に構築する予定だったのだが、そこそこめんどくさい。落ちた時、ディスク不足などを考える必要がある。 そこで次は AWS の CloudSearch を検討することにしたが、いまいち使いづらい。こちらとしては運用を丸投げしたいだけなのだが、しっくり来ない。転送量課金もある。これは仕方がないが。 そこで Elastic が提供している Elastic Cloud を試してみることにした。 自分が思いつく要求をまとめる。 運用に手間がかからないあまり高くない予算は月 2 万円程度使う側は Beats だけを意識していればいいKibana も運用してほしいサーバは東京にあって欲しい転送量で
２回目）Elasticsearch 勉強会を開催したので資料公開します。
検索シナリオは一般的な全文検索から、検索結果のパーソナライゼーションまで用意しました。今回の勉強会を通じて、Elasticsearch を使うことで、パーソナライゼーションのような「どうやって実現すれば良いんだろう？」と言うような難しいビジネス要件も検索エンジンを活用することで、比較的簡単に実現できることが理解してもらえたかな？と思います。 検索エンジンのその特徴を生かして設計すれば、難しいビジネス要件もシンプルに実現でき、その高速な検索結果を生かすことで、情報利用者の利便性も格段に向上します。 これで勉強会は一旦最後になりますが、シナリオ実行環境を使って、もう一度一人ハンズオンして見てください。
fluentdからElasticsearchに書き込んだ際の運用メモ - wyukawa's diary
fluentdからfluent-plugin-elasticsearchを使ってElasticsearchに書き込む部分でたびたびfluentdが詰まって苦労してたけど最近は落ち着いてきたのでその辺を備忘録としてメモっています。 最初はfluentdからElasticsearchに1プロセスで直接書き込んでいたけどなにかのイベント等でトラフィックがはねるとバッファ溢れがおきてました。なおこのときElasticsearch自体は特に問題は起きていません。 num_threads増やしたりbuffer_chunk_limit, buffer_queue_limit, flush_intervalあたりを調整したりというのをやっていたけど（実際にやったのは僕じゃないけど）、それでも厳しいのでプロセス分離してfluentd A -> fluentd B1,B2 -> Elasticsearchとい
知識ゼロからElasticsearchを実践で使えるようになろう！ - $shibayu36->blog;
以前少しだけElasticsearchを触った時に、自分流Elasticsearch入門 - $shibayu36->blog; というElasticsearchに入門した時のメモをまとめていた。しかし、その頃はElasticsearchを使って完全に一人で一つの機能を作るというところまではいけなかった。 最近になってまたElasticsearchを一から導入する仕事をすることになった。この時以前自分がまとめた記事を読みながらやっていたのだが、実践で一から導入するためにはこの記事だけでは知識が足りなかった。 そこで、前の記事の知識をベースに、一から導入するために少しずつ学んでいき、自分のブログにまとめるなどのことをしてきたので、今回はその締めくくりとして、知識ゼロからElasticsearchを使えるようになるために学習したことについて書いておきたいと思う。 今回書くこと・書かないこと 今
Elasticsearchのインデックス定義を設計する手順 - $shibayu36->blog;
Elasticsearchを使おうとすると、まずアプリケーションの仕様にしたがってインデックス定義やマッピング定義を設計しなければならない。これはMySQLを使っていてスキーマを考えるフェーズに相当する。 この時、考えることが非常に多く、いろいろなドキュメントを参照し設計したので、今回はその手順について書いていきたいと思う。 インデックスやマッピングが何かという話は、次の記事を参考に。 Elasticsearchチュートリアル - 不可視点 Mapping and Analysis | Elasticsearch: The Definitive Guide [2.x] | Elastic また対象とするElasticsearchのversionは記事執筆時点の安定版の2.3.5とする。 今回サンプルとする例 実際のプロジェクトを参考例にすることは流石にできないので、今回はブログの記事を検索
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Elasticsearch における類似度ベクトル検索のベストプラクティスを求めて/es-vector-search
