ISUCON 予選突破のために Elastic Stack と GCP で分析環境を整えた （:old_noto_innocent: Team） - Unyablog.
ISUCON 12 予選にいつもの id:utgwkk, id:wass80 と :old_noto_innocent: チームで参戦した*1。 結果は 50696 点で本選出場！ ここ数回と同様、自分はインフラと分析・観測を担当していた。ただ、毎年似たようなことをやっていてあまり貢献できていないなあという課題感があったので、今回はログやメトリクスの分析環境をしっかり作ることにした。目標は毎回ベンチ終了のたびにコマンドを叩くのをやめること！ App 周りについてはチームメイトの記事を参照。 blog.utgw.net memo.wass80.xyz Elastic Stack でアクセスログ・スローログ可視化 ダッシュボード 最高便利 Google Cloud でトレーシング & プロファイリング Trace Profiler やってよかった 構築編 Elasticsaerch + Kib
OSSでオブザーバビリティを実現する (Elastic Stack x OpenTelemetry on Kubernetes) - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは。インフラエンジニアの gumamon です！ 最近はSRE的なことも ちょこちょこ やらせて頂いています。 NewRelic、Datadog、モダンな監視(オブザーバビリティ)って良いですよね。 弊社もKubernetes(k8s)等を利用した環境が増えてきた折、そろそろ必要になってきた(と思っている)のですが、NewRelic、Datadog等のクラウドサービスはランニングコストが安くない。 そこで内製できないかやってみよう！ということになり、試行錯誤をした結果どうにか表題の構成で作ることができたのでご紹介をしたいと思います！ この記事では、k8sを観測対象とし、オブザーバビリティを実現した際のアーキテクチャ構成、並びに四苦八苦する中で得た観測の勘所(私見)についてご紹介します。 目次 目次 オブザーバビリティとは オブザーバビリティ(OSS)の実現事例 全体構成 Elast
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
Elastic Stack 7.9で無料化された複数のサービスをまとめて検索できる「Elastic Workplace Search」を使ってみた
Google DriveやDropbox、Gmailといった複数のサービスを利用していると「あのデータはどこのサービスに保存したかな……？」と探す手間がもったいないと考えている人もいるはず。Elasticがリリースした「Workplace Search」を使うと、複数のサービスを一元化して情報を検索することが可能。Elasticのバージョン7.9.0から基本無料で利用できるようになったので、実際にセットアップ＆検索までやってみました。 Elastic Workplace Search | Elastic https://www.elastic.co/jp/workplace-search Workplace Searchは同じくElasticのサービスである「Enterprise Search」の一要素として提供されています。Enterprise SearchにはDockerイメージが用意
みなさん、Elasticsearchって聞いたことありますか？ JSONベースの検索/分析エンジンで、AWSのサービスとしてはAmazon Elasticsearch Serviceとして提供されています。 Elasticsearchの説明として公式ドキュメントの言葉を借りると、「Elasticsearchは分散型RESTful検索/分析エンジンでデータを一元的に格納することで、超高速検索や、関連性の細かな調整、パワフルな分析が大規模に、手軽に実行可能になります。」とあります。私は初めて読んだときにあまりピンと来ませんでした。 本記事ではElasticsearchを触ったことがないという方がイメージをつかめるように、Elasticsearchを知る上で欠かせないElastic Stackと呼ばれている、Elasticsearchを中心としたコアプロダクト群(Elasticsearch、Ki
Kubernetesは、コンテナ化したアプリケーションのデプロイ、スケーリング、および管理を行うための、オープンソースのコンテナオーケストレーションシステムですが、昨今はこの分野におけるデファクトスタンダードの地位を確立したかに見えます。Kubernetesによってもたらされた、モノリシックなアプリケーションからマイクロサービスへのシフトは、動的な環境を当たり前のものとして、より素早い展開を可能にした反面、アプリケーションとそれを支えるインフラストラクチャーの監視をより複雑にしています。幸いなことに、Elasticのテクノロジーは、古くはELK Stackと呼ばれた時代から、最近はElastic Observabilityとして、ITインフラやアプリケーションの監視ソリューションとして、幅広く利用されて来ました。Elastic Observablityを利用することで、Kubernetes
Elastic Stack 8.0 の NLP で日本語センチメント分析を試してみた - 前編 - Qiita
やっと 8.0 を触れる時間と気力が整ったので、 8.0 目玉機能の外部モデルを利用した NLP で日本語のセンチメント分析を試してみました。 公式ドキュメントの Natural Language Processing に記載されている手順に従って進めました。 大まかな手順: eland をインストールして eland_import_hub_model コマンドを使えるようにする eland_import_hub_model で Hugging Face からモデルを Elasticsearch にインポートする モデルを使って文章を分析する まず公式ドキュメントの手順で試して、その後に日本語のセンチメント分析を行うモデルを試してみました。 詳細をメモしておきます。 eland をインストールする 私の環境では以前に古いバージョンの eland ver 7.14.1b1 をインストールして
【再入門】Elastic Stackの監視方法について #Elastic #Elasticsearch - クリエーションライン株式会社
【構成図】 監視用ESクラスタのVMマシンには、Elasticsearch/Kibanaを同居させています。 監視対象のFilebeat、Logstash、Elasticsearch、Kibanaは各VMマシンにMetricbeatを導入するため分けています。 GCPのVPCネットワークは、defaultネットワークを利用しています。 【補足】 ・本投稿では、各VMマシンの作成および各OSへのElasticプロダクトのインストール手順は省略しています。 【参考】 ・Elasticsearchのインストール方法 ・Kibanaのインストール方法 ・Logstashのインストール方法 ・Filebeatのインストール方法 実施手順 以下の手順で設定を実施しました。 Metricbeatのインストール (監視対象VMで実施) Elasticsearchの監視設定 (elasticsearch-v
Elastic（Elastic Stack：= Elasticsearch、Kibana、Beats、Logstash） 7.11のリリース――検索可能スナップショットを一般公開＆Schema on readがベータで登場
安価なオブジェクトストアに格納する検索可能スナップショットに新登場のColdティアを組み合わせ、より多くのデータを保持・検索検索可能スナップショットを使うと、AWS S3やMicrosoft Azure Storage、Google Cloud Storageなど、ローコストオブジェクトストレージに格納されたスナップショットのデータを検索できます。Elasticsearchクラスターのストレージコストと、検索パフォーマンス、データから取得するインサイトの深さを天秤にかけていた従来とは、まったく異なるアプローチが誕生しました。検索可能スナップショットはストレージコストを大幅に減少に引き下げ、また新登場のColdティア機能をサポートします。Coldティアは今回一般公開に移行し、Elastic Cloudでも提供を開始しました。パフォーマンスへの影響を最小限に抑えながら、インフラコストを最大50
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ElasticがElastic StackおよびElastic Cloud用のTerraformプロバイダをリリース
【初心者向け】Elastic Stackについて知ろう | DevelopersIO
Elastic StackをPrometheusとFluentdと組み合わせてKubernetesを監視する
Amazon.co.jp: Elastic Stackで作るBI環境 Ver.7.4対応改訂版 技術の泉シリーズ (技術の泉シリーズ（NextPublishing）): 石井葵: Digital Ebook Purchas
