魔窟と化した全文検索サーバーとふっかつのじゅもん - Cybozu Inside Out | サイボウズエンジニアのブログ
サイボウズのクラウド黎明期から運用し続けていたSolrサーバーを Elasticsearchに置き換えるプロジェクトが先日完了しました。 プロジェクト完了報告もかねてプロジェクトのあらましを公開したいと思います。 はじめに このプロジェクトの主軸は『魔窟と化したレガシー技術をどう捌くか？』になります。 このプロジェクトの報告をする前に、いくつかエクスキューズをさせていただきます。 クラウド黎明期を支えてくれたSolrには畏敬の念に近い感謝をもっています レガシーな技術に対してマウントやディスリスペクトの意図はありません 魔窟にかかわることになってしまった人に対して負の感情は一切ありません 今回の採用している構成はElasticsearchのあるべきアーキテクチャではありません 今後、Neco 環境への移行を通して継続的に改善していきます サイボウズでのSolrの使い方と用語説明 サイボウズ
なぜPrometheusを辞めてDatadogを採用したのか - ABEJA Tech Blog
こんにちは。ABEJAのインフラ管理してる村主 @rwle1221 です。 本ブログは Datadog Advent Calendar 2019 の8日目です。 今日は ABEJA Platform というプロダクトで、なぜ Prometheus から Datadog に変えたのか。というお話したいと思います。 一人の方でも採用基準の参考になればと思います。 第一フェーズ：実は元々Datadogを使っていた 実は Prometheus の前は Datadog を使っていました。 なぜ Datadog を使っていたかというと、Za○bix や Na○ios などは古い思想なので使う気になれなかったという単純な理由です。 ただ、 Datadog は $18/host という値段で 当初は数十台だったので数万円ほど発生していました。やはり少し高いなという印象です。 第二フェーズ：Promethe
大量データを検索するサービスでElasticsearchはRDBの代替候補になりうるか？(Elasticsearch vs pg_bigm) - RAKUS Developers Blog | ラクス エンジニアブログ
みなさんこんにちは。フジサワです。前回の記事でお伝えしていたElasticsearchの検証がひと段落しましたので、検証結果をレポートいたします。 連載目次 『全文検索 〜 Elasticsearchとデータ匿名化手法』 『全文検索の探求 Elasticsearch(1) 』: プロジェクト方針およびElasticsearch概要 大量データを検索するサービスでElasticsearchはRDBの代替候補になりうるか？(Elasticsearch vs pg_bigm)』 ←今読んでいる記事 データ匿名化 第1回：匿名化された個人情報とは何なのか データ匿名化 第2回：個人情報は匿名化しても意味がないのではないか？ データ匿名化 第3回：個人情報を匿名化するプロセス データ匿名化 第4回：匿名化のために行うデータ項目の一般化とは データ匿名化 第5回：データ匿名化の指標 データ匿名化 第6
大規模環境向けパケット解析ツール「Moloch」を使ってみる | さくらのナレッジ
オープンソースのパケット監視ツールとしてはWiresharkが有名だが、常時パケットを収集して異常を検出する、といった用途にはWiresharkはあまり適していない。そこで今回は、大規模なネットワークパケット監視向けに開発されているパケット収集・分析ツール「Moloch」を紹介する。 常時パケットをキャプチャして分析する用途に向いている「Moloch」 ソフトウェアが外部とどのような通信を行っているのかを調べたり、不正な通信が行われていないかといった調査を行ったりする際には、ネットワークに流れるパケットを取得・記録して分析できるパケットキャプチャツールが利用される。パケットキャプチャツールとして有名なものとしては、以前にも紹介したWiresharkやtcpdumpなどがある。 Wiresharkやtcpdumpは指定したネットワークインターフェイスが受信したパケットを表示したり保存したりで
初心者のためのElasticsearchその2 -いろいろな検索- | DevelopersIO
はじめに その1ではセットアップから基本的なクエリについて紹介しました。 今回はESで最も使用するであろう、いろいろな検索をしてみます。 ※本稿で使用する環境については前回記事を参照してください また、今回esで日本語を扱うためにkuromojiプラグインを使用するので、 このへんとかを参考にインストールしておきましょう。 ちなみに転置インデックスとかanalyzer/tokenizerとか検索のしくみとかについてはここではふれません。 サンプルデータを用意 まずはサンプル用データを用意します。 user-bulk.jsonという名前でjsonファイルを作成しましょう。 これを元にいろいろ検索してみます。 {"index":{"_index":"user_index","_type":"_doc","_id":"1"}} {"name": "鈴木 太郎","married":false,"
ECS運用のノウハウ - Qiita
関連記事 マイクロサービスを支えるインフラアーキテクチャ (AWS Dev Day 2019登壇資料) ECSデプロイツールを公開しました ECSにおけるログの取り扱いを別ページに移動させました 設計 基本方針 基盤を設計する上で次のキーワードを意識した。 Immutable infrastructure 一度構築したサーバは設定の変更を行わない Infrastructure as Code インフラの構成をコードで管理 (Terraformを採用) Serverless architecture 無駄にサーバを増やさない アプリケーションレイヤに関して言えば、Twelve Factor Appが参考になる。コンテナ技術とも親和性が高い。 ECSとBeanstalk Multi-container Dockerの違い 以前に記事を書いたので、詳しくは下記参照。 Dockerコンテナデプロイ
Elasticsearchの辞書・同義語を調整して『築地銀だこ』の検索をカスタマイズした - Rista Tech Blog
採用活動でちょっとでもハッタリ効かせようと最近CTOを名乗り始めた@mikedaです。 JOBLISTではElasticsearchを使った全文検索が出来ます。 kuromojiを使った辞書ベースで設定されているのですが、以下のような問題があったため、辞書・同義語を調整して改善してみました。 銀だこで検索して築地銀だこが出てこない 築地銀だこで検索して 銀だこが出てこない 地銀で検索すると築地銀だこが出てくるw job-list.net 今回はMac上のRails + elasticsearch-railsを使った動作検証の手順をメモ代わりに書いておきます。 テスト環境構築 手元で動かさない人は読み飛ばして下さい！ Elasticsearchのインストールと起動 wget https://artifacts.elastic.co/downloads/elasticsearch/elasti
KubernetesをElastic Stackで可視化する。 - Taste of Tech Topics
皆さんこんにちは あっという間に年末になってびっくりしている@tereka114です。 本記事は「Elastic Stack」のアドベントカレンダー19日目の記事です。 qiita.com アドベントカレンダーで本日公開しようと思ったら、 偶然にも公式のアドベントカレンダーもKubernetesです。びっくりです。 discuss.elastic.co さて、KubernetesのメトリックをElastic Stack 6.0から標準の機能で取得できるようになりました。 しかし、Kubenetes初心者である私が試しに使ってみると非常に苦労したので、その戦いの記録を掲載します！！！ Kubernetesを可視化することの利点 Kubernetesは複数のコンテナを操作するオーケストレーションツールです。 Elastic Stackを使うことで、Kubernetesから得られるメトリックを取
Logstash を使って MySQL データを Elasticsearch にインデックスする（基本編）
リレーショナルデータベースで管理しているデータを Elasticsearch で検索・分析したい場合、Logstash が便利です。 Logstash とは？Logstash はオープンソースのサーバーサイドデータ処理パイプラインです。様々な数のソースからデータを取り込み、変換し、指定された任意のストア先にデータを格納することができます。 処理の内容はシンプルで、Input ステージでソース元の接続先情報を管理し、Filter ステージで変換をし、Output ステージで格納先接続先情報を定義します。Input 及び Output プラグインはデフォルトで様々なソースをサポートしています。そのため、Logstash を使えば、プログラミングレスで MySQL のデータを取り込み、変換し、Elasticsearch へインデックスすることができるのです。 事前準備MySQL と Elasti
Fluentd 2.3 + Elasticsearch 5.3 + Kibana 5.3 環境を構築してみた - カタカタブログ
以前Fluentd (td-agent 2.3.0) + Elasticsearch 2.1 + Kibana 4.3の環境を構築した。 totech.hateblo.jp 2017年4月現在、ElasticsearchとKibanaが5.3となり新しくなっていたので、現在の最新版で環境を再構築してみることにした。 結果、手順に大きな変更はなく簡単に構築できたが、細かな部分で違いもあったので手順をメモする。 環境はMacにインストールしたVirtualBox上にゲストOSとしてCent OS 7.3をたててそこに構築する。 今回利用した各種ソフトウェアのバージョンは以下の通り。 VirtualBox 5.1.18 Vagrant 1.9.3 CentOS Linux release 7.3.1611 (Core) Fluentd (td-agent v2.3.4) Elasticsearc
実運用の障害対応時間比較に見るFluentd＋Elasticsearch＋Kibanaのログ管理基盤の効果
実運用の障害対応時間比較に見るFluentd＋Elasticsearch＋Kibanaのログ管理基盤の効果：実運用が分かる、OSSでログ管理入門（2）（1/2 ページ） ログ基盤を実現するFluentd＋Elasticsearch＋Kibanaについて、構築方法や利用方法、実際の案件で使ったときの事例などを紹介する連載。今回は、実案件を事例とし、ログ管理基盤の有用性を、障害対応時間比較も交えて紹介します。 ログ基盤を実現するFluentd＋Elasticsearch＋Kibanaについて、構築方法や利用方法、実際の案件で使ったときの事例などを紹介する本連載「実運用が分かる、OSSでログ管理入門」。第1回では一般的なFluentd、Kibana、Elasticsearchを用いたログ管理基盤の概要、導入方法を紹介しました。 第2回では実案件を事例とし、ログ管理基盤の有用性を紹介します。なお、
LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
CuratorによるElasticsearchのメンテナンス | DevelopersIO
はじめに ボルダリングやりたい藤本です。 Elasticsearch（Elasticsearchに限らずデータストア）を運用するにあたり可用性確保、バックアップ／リストア、リソース管理、保守体制など設計することが多くあります。今回はElasticsearchの運用を簡易化してくれるCuratorというツールをご紹介します。 Elastic社の@johtaniさんが公式ブログの翻訳記事をエントリしていますので合わせてご参照ください。 - Curator: 時系列インデックスの管理(日本語訳) Curator CuratorはElastic社が提供するPython実装の運用支援ツールです。2016/06/07現在は3.5系が最新バージョンですが、APIがElasticsearch 0.9/1.x系用に実装されています。現在α版の4.0系からElasticsearch 2.0以降をサポートしてい
JMeterの実行結果CSVデータをローカルMacにたてたElasticsearchとKibanaで可視化する | DevelopersIO
「JMeterの結果CSV、216万行か〜。これくらいだったらJMeterの「グラフ表示」で読み込んで見られるかな〜」 CPU「ブオオオオオオオオン！」 はじめに システムの負荷試験において、Apache JMeterのようなツールを使って試験を実施・結果を出力するケースもあると思います。結果ファイルのサイズがそれほど大きくない場合は、全データを計算する（JMeterでいう「統計レポート」）で問題ありませんが、例えば、長時間負荷をかけたので時系列でデータをグラフ化したい、といったことになると事情が変わってきます。JMeterの結果CSVは手元にあるので、なんとかこれを活用したいところではありますが、数百万行レベルのデータになると、とたんにExcelなどでは辛くなります（というか最大行数的に無理な気がします）。 そこで、ちょうど、弊社木戸がElasticsearchシリーズを連載しているとこ
Elastic Stack 5.0 alpha 3で、いよいよ登場Metricbeat！ #elasticsearch - Taste of Tech Topics
Hello world, @cero_t です。 突然ですが、SpringOneのスピーカーになることが決まりました！ SpringOneは、毎年行われるSpring界隈で最大のイベントです。今年8月にラスベガスで開催されます。 springoneplatform.io 発表内容は、Elasticsearchを用いたSpring Bootアプリケーション（というかマイクロサービス）の可視化です。 Schedule: Let's Visualize Your Spring Boot Applications - SpringOne Platform どういう内容になるか、ご期待ください！ 要するに、まだちゃんと考えていません！ さて、そんな前振りをしつつ、今日はElastic Stack 5.0のalpha版のお話です。 Elasticsearch / Kibana / Logstash /
Amazon Elasticsearch Serviceをログの収集・参照に使うために最低限必要なこと | DevelopersIO
モバイルアプリサービス部＠モバイルバックエンドチームの五十嵐です。 ログデータの収集・参照のためにAmazon Elasticsearch Service + Kibanaを利用しました。 実際にやってみて分かった設計上のポイントをまとめてみます。 データ量 ストレージが利用するデータ量は、登録するJSONのデータ量だけでなくIndexによるメタ情報が付加されます。データ量を求めるには、実際のデータを登録してみて1件あたりのデータ量を測定するのが確実です。 Amazon Elasticsearch Serviceの場合は、ストレージ（EBSボリューム）のサイズを後から変更できるため、シビアに考えなくても良いと思います。 データ量を抑えるには、不要なIndexを作らないようにする方法もあります。例えば、検索するFieldが限られているのであれば、メタフィールドの _all （全てのフィールド
RDS(MySQL) のスロークエリを EFK スタック + Docker で出来るだけ手軽に可視化する考察 - ようへいの日々精進XP
モチベーション RDS の勉強をしたい→スロークエリの設定を見てみよう RDS のスロークエリをお手軽に可視化出来ないものか Elasticsearch + Fluentd + Kibana(EFK スタック) を改めて勉強したい 実サービスへの影響を極力抑えたい 可視化する手間は極力省く ということで、Elasticsearch + fluentd + Kibana + docker-compose を利用することで、ほぼコマンド一発で可視化する環境は起動する環境を作ってみた。 github.com 参考 https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/USER_LogAccess.Concepts.MySQL.html https://github.com/kenjiskywalker/fluent-plugin
re:dash - オープンソースのデータプラットフォーム
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 世の中ではオープンデータの流れが進んでいます。企業はもちろんのこと、政府や自治体においてもデータを再利用しやすい形でオープンにしています。 そんなデータをみんなにとって使いやすい形で公開、シェアできるのがre:dashです。 re:dashの使い方 ダッシュボードです。すでに公開されているデータがたくさんあります。 グラフで描画されています。 CSVとして確認もできます。 ピボットテーブルも用意されています。 CartoDBとの連携もできます。 こんな複雑なグラフも描けます。 自分で追加もできます。データソースは一般的なデータベースはもちろん、BigQuery、Googleスプレッドシート、ElasticSearch、Amazon Redshift、Hive、InfluxDB、Tr
Beatsを使ってみた（まとめ編） | DevelopersIO
はじめに 藤本です。 先日、Beatsの3つのofficialy supported Beatsのやってみたブログをエントリしました。 Topbeat + boot2dockerでMacBookのシステムモニタリング Filebeat + boot2dockerでMacBookのログモニタリング Packetbeatでパケットモニタリング ブログエントリの順番が完全に逆ですが、やってみたエントリでは説明をすっとばしていたので、今回はそれぞれの機能を簡単にご紹介します。 Beatsについて 各々の説明の前にBeats Platformを説明します。 Beatsはデータ取り込みを行うプラットフォームとなります。Elasticの馴染みのあるデータ取り込みツールにLogstashがあります。日本ではFluentdを使われている方が多いでしょうか。Logstashは非常に豊富な機能を持っていて、更に
Packetbeatでパケットモニタリング | DevelopersIO
はじめに 藤本です。 昨日、今日と弊社佐々木がBeats PlatformのTopbeat、Filebeatをご紹介しました。私からはPacketbeatをご紹介します。 Topbeat + boot2dockerでMacBookのシステムモニタリング Filebeat + boot2dockerでMacBookのログモニタリング 環境 私はDocker使い(え)ません！ OS Amazon Linux 2015.09 ミドルウェア : elasticsearch-2.1.0-1.noarch kibana-4.3.0 httpd24-2.4.16-1.62.amzn1.x86_64 mysql-server-5.5-1.6.amzn1.noarch やってみた インストール パッケージやバイナリは各種ファイル形式（今回はrpmファイル）でelasitc社のページからダウンロードできます。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
