並び順

ブックマーク数

期間指定

  • から
  • まで

241 - 280 件 / 2758件

新着順 人気順

Elasticsearchの検索結果241 - 280 件 / 2758件

  • 第3回 Elasticsearch 入門 ドキュメント管理は意外と高度なことができる | DevelopersIO

    今回は「ドキュメント管理は意外と高度なことができる」というテーマで、そのドキュメントを追加・更新・削除する操作について解説します。 きっと、他の検索エンジンと比べ、その高機能ぶりに驚くはずです。 直感的に分かりやす API Elasticsearch は検索をはじめ、各種設定やサーバの状態取得など、ほとんどの操作を API として提供しています。もちろんドキュメントの追加・参照・更新・削除の API も提供していて、その仕様はとてもシンプルで直感的に使いこなすことができます。 ドキュメントをあらわす URL スキーマは以下のようになっています。 /{index}/{type}/{id} 基本的には、各種ドキュメントのエンドポイントに対して、GET PUT POST DELETE HEAD メソッドで追加・更新・削除などの操作が可能です。 例えば、posts というタイプを持つ blog イ

      第3回 Elasticsearch 入門 ドキュメント管理は意外と高度なことができる | DevelopersIO
    • VagrantとDocker: Mac OS X上でPostgres、Elasticsearch、Redisをセットアップする方法 | POSTD

      VagrantとDocker: Mac OS X上でPostgres、Elasticsearch、Redisをセットアップする方法 しばらく Docker の動向をチラチラとうかがっていたのですが、Dockerがどれだけすばらしいものであるかいうことを、みんなが話しているのを耳にしました。さらに、今どきの若者たちは もうすでに これを 使っている のだということも知りました。そこで私は、試しにDockerを自分の開発環境で動かしてみることにしました。ここでは、Mac OS Xで Vagrant を使い、Dockerコンテナとして Postgres 、 Elasticsearch 、 Redis をセットアップする方法を説明します。 Dockerとは? Dockerは内部のオペレーティングシステムからアプリケーションを切り離すために、軽量のコンテナを使用します。そしてアプリケーションを使用す

        VagrantとDocker: Mac OS X上でPostgres、Elasticsearch、Redisをセットアップする方法 | POSTD
      • Elasticsearch+nodejs+dynamodbで作る全社システム基盤

        [JAWSBigData#11]Cloudera on AWSと Amazon EMRを両方本番運用し 3つの観点から比較してみるTakahiro Moteki

          Elasticsearch+nodejs+dynamodbで作る全社システム基盤
        • http://blog.inouetakuya.info/entry/2014/11/03/191059

            http://blog.inouetakuya.info/entry/2014/11/03/191059
          • Kibana+Elasticsearchで文字列の完全一致と部分一致検索の両方を実現する - Qiita

            Elasticsearchはデフォルトで文字列を要素解析して保存する。これによって部分一致検索ができるようになるのだが、完全一致検索が難しくなる。 便利なTermsがうまくいかない KibanaにはTermsという値の上位10件とかを表示してくれるパネルがある。次のようなデータを入れているとする。 { "@timestamp": "2013-12-17T10:12:40+09:00", "remote_addr": "203.0.113.10", "country_code": "JP", "request_uri": "/index.php", "user_agent": "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)" } すると、いまアクセスされている国の比率とかを見たければ、count

              Kibana+Elasticsearchで文字列の完全一致と部分一致検索の両方を実現する - Qiita
            • GCPのネットワークでハマった話

              第16回elasticsearch勉強会 https://elasticsearch.doorkeeper.jp/events/46539

                GCPのネットワークでハマった話
              • GitHub - localstack/localstack: 💻 A fully functional local AWS cloud stack. Develop and test your cloud & Serverless apps offline

                You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                  GitHub - localstack/localstack: 💻 A fully functional local AWS cloud stack. Develop and test your cloud & Serverless apps offline
                • solrとelasticsearchの比較

                  elasticsearchの紹介です! atnd.org/events/33718

                    solrとelasticsearchの比較
                  • 『ElasticSearch(0.19)で無理やりデータ復旧させた話』

                    こんにちは。Amebaの基幹系インフラ担当している鳥垣です。 ユーザーのサービス用途でElasticSearch(0.19.10)を使用しているのですが、先日ElasticSearchの障害で一部のShardが読めなくなってしまいまして、それを力技で無理やり読めるように復旧させたのでその時の奮闘記を記載したいと思います。 運用情報台数:30台CPU:24コアHeap:8GBインデックス数:3総データ容量:約300GBShard数:128レプリカ数:2バージョン:0.19.10※OpenStackの仮想サーバ ホスト障害発生OpenStackのホストサーバがダウンし、ElasticSearchのノードが1台ダウン。Shardの再配置処理が走り、ダウンしたノードが持っていたShardは他ノードに分散される。この時点ではElasticSearchのクラスタステータスはグリーンだった(Headプラ

                      『ElasticSearch(0.19)で無理やりデータ復旧させた話』
                    • 検索基盤チームのElasticsearch×Sudachi移行戦略と実践 - エムスリーテックブログ

                      エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。最近、AI・機械学習チーム配下の検索基盤チームでElasticsearchのAnalyzerをKuromojiからSudachiに移行しました。今回はSudachi移行の背景と、Sudachiの概要、実際に移行するにあたってのプロセスや注意事項をお話しします。 対象読者 なぜSudahchiに移行したのか 検索基盤チームが抱えていた検索の課題 Sudachiとは Sudachiへの移行戦略と実践 今使っているKuromojiユーザー辞書をSudachiユーザー辞書に移行する 今使っているシノニム辞書からSudachi正規化機能でまかなえるものを削除する 平仮名/カタカナの正規化辞書を作る 移行時のSudachi切り替え戦略 移行後の影響の事前確認 Sudachi移行時のハ

                        検索基盤チームのElasticsearch×Sudachi移行戦略と実践 - エムスリーテックブログ
                      • Elasticsearch API 一覧

                        APIの一覧をまとめた資料が見当たらなかったので、APIでできることを把握できるようにAPIの一覧をまとめてみました。 NOTE: バージョン1.x の本家リファレンスを参考にしています。 Elasticsearch の提供している各種APIは、以下の図のように検索やドキュメントの登録だけではなく、各種設定、モニタリング、メンテナンスの為のAPIまで幅広く提供されています。 Elasticsearch API Over Viewdocument apisドキュメントの追加・更新などのドキュメント操作の為のAPI 【document api】 PUT /{index}/{type}/{id} # ドキュメントの追加更新 POST /{index}/{type} # ドキュメントの追加更新(ID自動生成) GET /{index}/{type}/{id} # ドキュメントの取得 GET /{i

                          Elasticsearch API 一覧
                        • 【追記あり】「お気に入りユーザーのブックマーク検索」「タイトルや期間指定でエントリー検索」など、はてなブックマークの検索機能を強化しました - はてなブックマーク開発ブログ

                          7/1(火)15:00 追記 再度リリースしました 7月1日(火)に、本告知の機能を再度リリースしました。どうぞご利用ください。 6/30(月)12:10 追記 6月28日の障害の復旧に伴い、この告知でお知らせしている機能を一旦、停止しています。ご迷惑おかけし、またお知らせが遅れ、大変申し訳ございません。再開でき次第、こちらでお知らせいたします。 こんにちは、はてなブックマークのエンジニアリング・ディレクター id:yanbe です。 本日、はてなブックマークに「お気に入りユーザーのブックマーク検索」「タイトル検索」「期間を指定した検索」「サブドメインを横断したURLの絞り込み機能」という検索関連の4つの新機能を追加しました。 1. お気に入りユーザーのブックマーク検索 「お気に入り」に登録しているユーザーがブックマークしたエントリーを検索できる機能を追加しました。 はてなブックマークでは

                            【追記あり】「お気に入りユーザーのブックマーク検索」「タイトルや期間指定でエントリー検索」など、はてなブックマークの検索機能を強化しました - はてなブックマーク開発ブログ
                          • ElasticSearch勉強会 第6回

                            その Pod 突然落ちても大丈夫ですか!?(OCHaCafe5 #5 実験!カオスエンジニアリング 発表資料)NTT DATA Technology & Innovation

                              ElasticSearch勉強会 第6回
                            • main

                              コンテンツへスキップ 登録は無効化されました。

                                main
                              • Dockerのログ収集方法の調査 - Qiita

                                すべてのログは標準出力・標準エラー出力に出力 ・Dockerのlogging driver ・ログの集約がしづらい ・Fluentdに転送設定 コンテナ起動時に既にFluentdが死んでいる場合、コンテナが起動できない など。詳細は以下のサイトを参照 Dockerコンテナ上のログ集約に関するまとめ Dockerのlogging driver: それぞれの特徴と使いどころ(json-file, syslog, journald, fluentd) 対象のログ リアルタイムに出力されるログが対象 ・Fluentd / fluentd-ui ・FluentBit ・Filebeat ・Logstash 既にあるログが対象 ・Embulk Fluentdのバッチ版Embulk(エンバルク)のまとめ Docker-composeを使ってEmbulk,Elasticsearch,Kibana環境を構築

                                  Dockerのログ収集方法の調査 - Qiita
                                • ElasticsearchとKuromojiを使った形態素解析とN-Gramによる検索の適合率と再現率の向上

                                  ElasticsearchとKuromojiを使った形態素解析とN-Gramによる検索の適合率と再現率の向上:Elasticsearch+Hadoopベースの大規模検索基盤大解剖(2)(1/3 ページ) リクルートの事例を基に、大規模BtoCサービスに求められる検索基盤はどう構築されるものなのか、どんな技術が採用されているのか、運用はどうなっているのかなどについて解説する連載。今回は、テンプレートを利用したインデックス生成など、検索結果の品質を向上させるためのさまざまな取り組みを紹介する。 連載目次 リクルートの全社検索基盤「Qass」の事例を基に、大規模BtoCサービスに求められる検索基盤はどう構築されるものなのか、どんな技術が採用されているのか、運用はどうなっているのかなどについて解説する本連載。初回の前回「リクルート全社検索基盤のアーキテクチャ、採用技術、開発体制はどうなっているのか

                                    ElasticsearchとKuromojiを使った形態素解析とN-Gramによる検索の適合率と再現率の向上
                                  • Amazon: NOT OK - why we had to change Elastic licensing

                                    Observability, security, and search solutions — powered by the Elasticsearch Platform.

                                      Amazon: NOT OK - why we had to change Elastic licensing
                                    • Elastic再入門 #elasticsearchjp by Jun Ohtani

                                      Elastic再入門 Jun Ohtani, Kosho Owa 2019/03/20 @Elastic どのくらい再入門? Elasticsearch (Es) 0.90系から触ってない人? Kibana 3系 Es1.x系から触ってない人? Kibana 3系 5 Es2.x系から触ってない人? Kibana 4系 7 5.x系から触ってない人? Kibana 5系 9 6.2系から触ってない人? 11 Elastic Stackとは? !12 Elastic Stack Kibana 可視化、管理 Elasticsearch 保存、検索、分析 Beats Logstash インジェスト Application Search Metrics Elastic Stack Site Search APM Enterprise Search Logging Business Analytic

                                        Elastic再入門 #elasticsearchjp by Jun Ohtani
                                      • ニコニコ動画を検索可能にしてみよう

                                        This document discusses setting up Elasticsearch to make the Nicovideo video dataset searchable and analyzable. It describes importing over 25 billion comments from the 60GB JSON dataset into an Elasticsearch cluster on AWS in under 4 hours. Key steps included installing plugins, configuring the cluster, importing the data in bulk, and optimizing mappings and settings for efficiency. The dataset c

                                          ニコニコ動画を検索可能にしてみよう
                                        • Elasticsearchを使うときの注意点を社内で発表しました。 - Taste of Tech Topics

                                          こんにちは、fujiiです。 最近、社内でもElasticsearchを使う機会も増えてきてました。 インストールも簡単ですし、 ちょっと設定するだけでログの解析も手軽にできるので、 便利だと思って使い始めるのですが、 ・必要以上に負荷のかかる設定になっている。 ・システムダウンしたときの復旧を考慮していなかった。 ・初期構築などで大量にデータを入れようとしたら、一部データが入っていなかった。 と、後から反省することも多くあります。 (私も最初は知らないことが多く、反省点ばかりでした) そのため、Elasticsearchを初めて使うときの注意点をまとめ、 社内で講習会を開きました。 以下に公開しました。 実際に案件で利用しようと思った時にパフォーマンスなどで迷うこともありますので、 そんな時の一つの参考になればと思います。 Elasticsearchを使うときの注意点 公開用スライド f

                                            Elasticsearchを使うときの注意点を社内で発表しました。 - Taste of Tech Topics
                                          • 第1回ElasticSearch勉強会を開催しました! #elasticsearchjp

                                            ElasticSearch勉強会 第1回を主催しました。 昨年のpyfesでなんちゃって資料で喋って、1年たちました。 ElasticSearchの書籍(英語)も出てきて、今年はElasticSearchが面白くなりそうだし、使ってる人たちから話も聞きたいなぁということで、主催しました。 思った以上に興味のある方がいらっしゃったようで、100人応募のところ、チケットがすぐ完売してしまうほど。。。 しかも、当日もほぼ満員ということで、大変な盛況ぶりでした。 スピーカーの皆様、参加された皆様、会場を提供していただいたリクルートテクノロジーズさん、ありがとうございました!(たぶん、90人くらいいらっしゃってたかと。) こんなステキな案内板も用意してもらいました。スタッフのみなさんありがとうございます! トゥギャっても頂きました。まとめていただいてありがとうございます! 自分の発表や個々の発表に関

                                              第1回ElasticSearch勉強会を開催しました! #elasticsearchjp
                                            • How HipChat Stores and Indexes Billions of Messages Using ElasticSearch and Redis - High Scalability -

                                              « Sponsored Post: Netflix, Logentries, Host Color, Booking, Apple, ScaleOut, MongoDB, BlueStripe, AiScaler, Aerospike, LogicMonitor, AppDynamics, ManageEngine, Site24x7 | Main | Stuff The Internet Says On Scalability For January 3rd, 2014 » This article is from an interview with Zuhaib Siddique, a production engineer at HipChat, makers of group chat and IM for teams. HipChat started in an unusual

                                                How HipChat Stores and Indexes Billions of Messages Using ElasticSearch and Redis - High Scalability -
                                              • ツールを作ろうと思うモチベーションと、作る流れ - 端子録

                                                以下は完全に自分の独断と偏見で書いており、こうすべき!と押し付けるものでは一切ないことを明記しておきます。また、ツールって言ってるのはコマンドラインツールが主です。 モチベーション なぜツールを作ろうと思うのか 何かやるのに手数が多い オペレーションの工数が多くてそれが人間の手作業であるとき、往々にしてミスは発生する。 ヒューマンエラーを極力なくすために、自動化できるところは自動化すべきである。 操作がコード化されたら、その振る舞いに対してテストを書いて検証することもできる。 例えば Auto Scaling Group で管理された + ELB に吊るされた Elasticsearch のノード入れ替えは、以下の手順で行う必要があった(インスタンス起動時に Elasticsearch が立ち上がること + EC2 Discovery を仮定)。 退役させるノードを1台選ぶ(対象ノード)

                                                  ツールを作ろうと思うモチベーションと、作る流れ - 端子録
                                                • BOOTHの話 pixiv-summer-intern2014 // Speaker Deck

                                                  pixivが運用しているBOOTHの構成などについて

                                                    BOOTHの話 pixiv-summer-intern2014 // Speaker Deck
                                                  • RDS(MySQL) のスロークエリを EFK スタック + Docker で出来るだけ手軽に可視化する考察 - ようへいの日々精進XP

                                                    モチベーション RDS の勉強をしたい→スロークエリの設定を見てみよう RDS のスロークエリをお手軽に可視化出来ないものか Elasticsearch + Fluentd + Kibana(EFK スタック) を改めて勉強したい 実サービスへの影響を極力抑えたい 可視化する手間は極力省く ということで、Elasticsearch + fluentd + Kibana + docker-compose を利用することで、ほぼコマンド一発で可視化する環境は起動する環境を作ってみた。 github.com 参考 https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/USER_LogAccess.Concepts.MySQL.html https://github.com/kenjiskywalker/fluent-plugin

                                                      RDS(MySQL) のスロークエリを EFK スタック + Docker で出来るだけ手軽に可視化する考察 - ようへいの日々精進XP
                                                    • Sansan の成長を支えるセキュリティログの活用と Amazon Elasticsearch Service / Amazon Elasticsearch Service empowers Sansan's business growth to create value and drive innovation through security logs management

                                                      ■イベント AWS Security Roadshow Japan https://aws.amazon.com/jp/about-aws/events/2020/securityroadshow2020/ ■登壇概要 タイトル:Sansan の成長を支えるセキュリティログの活用と Amazon Elasticsearch Service 登壇者:CSIRT 松田 健 ▼Sansan Builders Blog https://buildersbox.corp-sansan.com/

                                                        Sansan の成長を支えるセキュリティログの活用と Amazon Elasticsearch Service / Amazon Elasticsearch Service empowers Sansan's business growth to create value and drive innovation through security logs management
                                                      • Elastic、AWSとの「Elasticsearch」に関する商標問題が解決したと発表。今後「Elasticsearch」を名乗るのはElasticのみに

                                                        Elastic、AWSとの「Elasticsearch」に関する商標問題が解決したと発表。今後「Elasticsearch」を名乗るのはElasticのみに Elasticは、Amazon Web Services(AWS)との「Elasticsearch」に関する商標問題の訴訟が解決したと発表しました。 Elastic and @amazon have resolved the Elasticsearch trademark infringement lawsuit. Learn more on our blog: https://t.co/738RR78bRD — Elastic (@elastic) February 16, 2022 発表によると、今後AWSおよびAWS Marketplace上でElasticsearchサービスと名乗るのは、Elasticが提供するElastic

                                                          Elastic、AWSとの「Elasticsearch」に関する商標問題が解決したと発表。今後「Elasticsearch」を名乗るのはElasticのみに
                                                        • http://blog.yoslab.com/entry/2014/11/18/203159

                                                            http://blog.yoslab.com/entry/2014/11/18/203159
                                                          • “技術的負債多すぎ問題”を解決するためにやったこと 「タップル誕生」におけるサービス改善の舞台裏

                                                            “技術的負債多すぎ問題”を解決するためにやったこと 「タップル誕生」におけるサービス改善の舞台裏 タップル誕生における、事業成長に合わせた継続的なシステム改善について 2018年12月6日、株式会社リンクアンドモチベーションのイベントスペースにて、エンジニア向けの勉強会に特化した書き起こしメディア「ログミーTech」が主催するイベント「ログミーTech Live #2」が開催されました。第2回となる今回のテーマは「レガシーシステムのリニューアル」。長期間運用され、設計が古くなってしまった「レガシーシステム」のリニューアルを行った3社が一堂に会し、システムリニューアルにおける知見と新システムへの移行について語ります。プレゼンテーション「タップル誕生における、事業成長に合わせた継続的なシステム改善について 」に登場したのは、株式会社マッチングエージェント、タップル誕生サーバーサイドエンジニアの

                                                              “技術的負債多すぎ問題”を解決するためにやったこと 「タップル誕生」におけるサービス改善の舞台裏
                                                            • 【ChatGPT】とベクトルデータベースによる企業内データの活用(いわゆるRAG構成) - Qiita

                                                              本記事は日本オラクルが運営する下記Meetupで発表予定の内容になります。発表までに今後、内容は予告なく変更される可能性があることをあらかじめご了承ください。下記セッションでは、本記事の内容以外にデモンストレーションも実施する予定です。 ※セミナー実施済の動画に関しては以下をご参照ください。 はじめに 2022年暮れ、ChatGPTの登場以降、あらゆる企業がDXの在り方を問われはじめ、大規模言語モデルの仕組みをどのように業務に取り入れるかを検討されていると思います。 その検討の一つとして、「GPT(LLM)が学習していない企業内のデータや最新のデータも有効活用すべき」 という点は非常に大きな論点なのではないでしょうか。 ご存じの通り、LLMとはインターネット上に存在するドキュメントデータをクローリングにより大量に収集し、それを学習データとして機械学習にかけたモデルです。 従って、至極当たり

                                                                【ChatGPT】とベクトルデータベースによる企業内データの活用(いわゆるRAG構成) - Qiita
                                                              • 【solr】地図検索で超高速にまとめ表示を実現する実装方式【elasticsearch】 - 文系プログラマによるTIPSブログ

                                                                特別な機能を使わず、標準機能だけでできますよ〜 一瞬何のことか?と思った方は↓の画像を見て下さい。これです。 位置情報検索を利用して、一定の範囲内に該当するデータが何件あるかをまとめて表示する機能の事です。 実装方法 google mapを用意する boundsからメッシュを構築する メッシュの分割手法 メッシュを1個づつfacetで一括検索する メッシュの真ん中に件数を表示する google mapの表示が検索の始動となる 緯度経度を持つデータが用意しにくい!! 雑感 実装方法 この画像ではgoogle map clusterを使った例ですが、clusterを使わず、超高速に位置情報検索を実装する方法を検討してみました。主にsolrとelasticsearchで実現可能かと思います。 google mapを用意する 地図はgoogle mapを使います。 googlemap apiには今

                                                                  【solr】地図検索で超高速にまとめ表示を実現する実装方式【elasticsearch】 - 文系プログラマによるTIPSブログ
                                                                • fluentd と Elasticsearch と kibana の組み合わせがとても気に入ったのでメモ - ようへいの日々精進XP

                                                                  きっかけ fluentd で集めたログを GUI で簡単に見ることが出来ないかと悩んでいたら、以下の参考にしたサイトのように良い事例があるではないですかということで早速チャレンジ。 参考にしたサイト Kibanaってなんじゃ?(Kibana+elasticsearch+fluentdでログ解析) Kibana + ElasticSearch + Fluentd を試してみた Elasticsearch入門 pyfes 201207 http://blog.johtani.info/blog/2013/06/10/fluent-es-kibana/ Kibana Installation rashidkpc/Kibana うんちく 自分なりに整理した Elasticsearch と kibana について。 Elasticsearch Apache Lucene をベースに作られた REST

                                                                    fluentd と Elasticsearch と kibana の組み合わせがとても気に入ったのでメモ - ようへいの日々精進XP
                                                                  • はじめての Elasticsearch - Qiita

                                                                    この記事は全文検索エンジン「Elasticsearch」の入門チュートリアルです。 Elasticsearch とは Elasticsearch は Elastic 社が開発しているオープンソースの全文検索エンジンです。 大量のドキュメントから目的の単語を含むドキュメントを高速に抽出することができます。 Elasticsearch では RESTful インターフェースを使って操作しますが、「Elasticsearch SQL」を使って SQL 文でクエリを記述することもできます。 Oracle や MySQL などのリレーショナルデータベースに慣れている人にとっては、最初はとっつきにくいと感じるかもしれません。 しかし、Elasticsearch の API はとてもシンプルなので、心配しなくても大丈夫です。 Elastic Stack とは Elastic Stack は Elasti

                                                                      はじめての Elasticsearch - Qiita
                                                                    • なぜベンチャーで docker を使うのか - Qiita

                                                                      昨年ごろから急に docker って流行り出しましたよね。 https://www.docker.com/ 僕も docker のチュートリアルをひと通りやってなんとなくコマンド覚えたんですけど、chef で良くない?ってなって結局使わずじまいでした。 ただ、最近になって、ちょっと思い直している部分があって、 Docker は Kubernetes 使ってこそだろーと思って勝手に自社サーバ持ってる企業だけが恩恵にあずかれると思っていたのだけど、その管理はクラウド屋さんに任せて dockerfile 書いておけば dev/stg/prd 全て共通だよっていう享受の仕方もありかな、と。 — C. Hasegawa (@_c_hase) 2015, 8月 27 ということです。 おそらく同じような懸念をいただいている方はそれなりの数いると思うので、なんとなく疑問に思っていたことを綴ってみようかと

                                                                        なぜベンチャーで docker を使うのか - Qiita
                                                                      • Elasticsearch Service と CloudSearch どっちを選べば良いの? | DevelopersIO

                                                                        こんにちは、木戸です。 AWS の検索エンジンをベースとしたサービスには、Amazon Elasticsearch Service と Amazon CloudSearch の2つがあります。今回はこの二つのサービスについての用途の違いについてまとめたいと思います(機能比較ではないです)。サービスを選定する際の参考になれば幸いです。 ※ Elasticsearch Service は Kibaba も含め分析用途もありますが、今回は検索にフォーカスしてます。 それではさっそく、 CloudSearch も Elasticsearch も Lucene ベース CloudSearch は現在 Solr ベースとなっており、その検索エンジンのコアには Lucene を使用している。また、Elasticsearch も Lucene をバックエンドに使用しているため、ベースのテクノロジーとしては

                                                                          Elasticsearch Service と CloudSearch どっちを選べば良いの? | DevelopersIO
                                                                        • Elasticsearch 日本語形態素解析のための文字列正規化の重要性

                                                                          日本語の文章を形態素解析するときは、トークナイズする前に文字列の正規化を済ませて検索精度を向上させよう! この記事は、Elasticsearch Advent Calendar 2014 の18日目のエントリーです。即席で申し訳ないですが、なんとかまとめましたので是非最後までお付き合いください。 今回は、日本語形態素解析における文字列正規化のお話です。 それでは早速本題に。 非正規化された日本語の文章を形態素解析を使って、なるべく意図したようにトークナイズするためには、全角英数字を半角英数字に正規化したり、半角カタカナを全角カタカナに正規化したり、不要な文字を除外したり、単語ではなく、文字単位での正規化が重要になってきます。 Japanese (kuromoji) Analysis Plugin のページでも紹介されているように、全角英数字や半角カタカナの正規化には、CJK Width F

                                                                            Elasticsearch 日本語形態素解析のための文字列正規化の重要性
                                                                          • Elasticsearch実運用時の注意点とアンチパターンまとめ - サナギわさわさ.json

                                                                            Elasticsearch実運用時に個人的に気をつけている点をまとめました。 自分でも整理できていない部分がありますので、間違っている点・追加した方が良い点などありましたら教えていただけると非常に助かります。 目次 目次 インデックス・スキーマ設定 スキーマを事前に定義しておく _allの使用は必要な時のみ行う 部分一致検索をしないstringフィールドにはnot_analyzedをつける doc_value:trueをつける できるだけエイリアスを使う 必要に応じてルーティングを行う 本体の設定 ヒープメモリを適切に設定する スワップしないように設定 スプリットブレイン対策を行う field data cacheに上限を与える 検索高速化 Warmerを登録する queryとfilterを使い分ける filterのキャッシュ設定を使い分ける 必要無いフィールドは検索の際に取得しない イン

                                                                              Elasticsearch実運用時の注意点とアンチパターンまとめ - サナギわさわさ.json
                                                                            • いろいろあって Elastic Cloud がオススメな件 - なんたらノート第三期ベータ

                                                                              MySQLのインデックスの代わりにElasticsearchを使おうと思い立っていろいろやってみた結果、Elastic社のホスティングけっこうオススメなんじゃないかってなった話です。これです: www.elastic.co 経緯としては、AWSにのっけたサービス、とりあえずMySQLとRedisだけでやってきた仕組みが、そろそろノーキャッシュ新規クエリ単発で1秒以上かかる場合が出てきたというのがあります。 アプリケーションで決まったパターンの問い合わせだけやってるぶんには、問い合わせのパターン数だけ複合インデックを作ればいいし、負荷分散したければリードレプリカが簡単、ということでほとんどの場合MySQLでいいのですが... MySQLは個別のインデックス勝手に組み合わせてくれない、全パターン定義しないといけない 管理者が使う検索機能のよっては、想定したインデックスにうまくヒットしない条件に

                                                                                いろいろあって Elastic Cloud がオススメな件 - なんたらノート第三期ベータ
                                                                              • サーバ/インフラエンジニア養成読本 ログ収集~可視化編 を書きました - すずけんメモ

                                                                                技評さんでログ解析のムック本を共著で執筆させていただきました。 サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus) 作者: 鈴木健太,吉田健太郎,大谷純,道井俊介出版社/メーカー: 技術評論社発売日: 2014/08/08メディア: 大型本この商品を含むブログを見る 発売は2014/8/8の予定です。テーマはログ収集と可視化です。表紙に載ってる通り、Fluentd、Elasticsearch、Kibanaを中心に据えた本となっています。 私は特集1の「サービス改善はログ解析から」を担当しました。サービスにおいて、なぜログ解析を行う必要があるのか。どのような選択肢があり、どのように方法を選択していけば良いのかといった観点から書きました。特にエンジニアとしてサービスを改善していくために、どのようにデータを活

                                                                                  サーバ/インフラエンジニア養成読本 ログ収集~可視化編 を書きました - すずけんメモ
                                                                                • ENOG-20171027-公開資料.key

                                                                                  2 3 4 Yearly (1 Day Average) Daily (5 Minute Average) 5 6 7 8 Fukuoka University Public NTP Service Deployment Use case. APRICOT2017 Sho Fujimura/Fukuoka University https://www.facebook.com/QUNOG/