Modern Data Stack / モダンデータスタックというトレンドについて - satoshihirose.log
はじめに Modern Data Stack ? Modern Data Stack の特徴やメリット、関連するトレンド データインフラのクラウドサービス化 / Data infrastructure as a service データ連携サービスの発展 ELT! ELT! ELT! Reverse ETL テンプレート化された SQL and YAML などによるデータの管理 セマンティックレイヤーの凋落と Headless BI 計算フレームワーク (Computation Frameworks) 分析プロセスの民主化、データガバナンスとデータメッシュの試み プロダクト組み込み用データサービス リアルタイム Analytics Engineer の登場 各社ファウンダーが考える Modern Data Stack さいごに Further Readings はじめに Modern Dat
frontail: サーバ上のログファイルをWebブラウザでTailするnpm - Qiita
はじめに 「サーバサイドのログをブラウザでTailしたいんすよねー」って言われたので調べたらいいのがあったので共有します。 frontail: https://github.com/mthenw/frontail tail -F を ブラウザ上に出力する node.js アプリケーション とても導入が簡単なので上記URLを見てもらえれば、特に説明は不要ですが、一応書いておきます。 特徴 検索ができる Basic認証をかけることができる(コマンドラインで指定できる） サーバ側のLogRotationに対応している auto-scrolling （ちゃんとログの最新が表示される） ログの行にMarkを付ける（色を反転させる）ことができる 未読の行が faviconで表示される 予め指定したキーワードでhighlightができる（今回この機能はちょっとうまくいきませんでした） Install
Fluentd vs Logstash: A Comparison of Log Collectors | Logz.io
The unsung heroes of log analysis are the log collectors. They are the hard-working daemons that run on servers to pull server metrics, parse loogs, and transport them to systems like Elasticsearch or PostgreSQL. While visualization tools like Kibana or re:dash bask in the glory, log collectors’s routing making it all possible. Here, we will pit the two of the most popular data collectors in the o
Java web app analytics with Azure Application Insights | Microsoft Docs
この記事では、OpenTelemetry ベースのデータ収集を有効にして、Azure Monitor Application Insights 内のエクスペリエンスを強化するように構成する方法について説明します。 Azure Monitor OpenTelemetry Distro をインストールする方法について説明します。 Azure Monitor OpenTelemetry Distro では、Azure Monitor 固有の機能のサポートを含む OpenTelemetry ディストリビューションが提供されています。 Distro では、トレース、メトリック、ログ、例外を収集するための OpenTelemetry インストルメンテーション ライブラリを含めることで、自動テレメトリを有効にし、カスタム テレメトリを収集できます。 また、Distro に含まれている Live Metr
ソースに一行追加するだけですべての HTTP 通信をロギングするモジュールを書いた #golang - 詩と創作・思索のひろば
こちらです。Perl でいうと Devel::KYTProf に性質がちかい。 motemen/go-loghttp · GitHub (GoDoc) 使用例 たとえばこういうコードに… package main import ( "io" "log" "net/http" "os" ) func main() { resp, err := http.Get(os.Args[1]) if err != nil { log.Fatal(err) } io.Copy(os.Stdout, resp.Body) } % go run main.go http://example.com/ <!doctype html> ... 一行追加すると: package main import ( "io" "log" "net/http" "os" _ "github.com/motemen/go-lo
CloudWatch Logsエージェントを検証してみた
先日リリースされたCloudWatch Logs、監視ツールを開発していた者としては注目せざるを得ません。 特に、ログ監視エージェントにはこだわりがあるので、CloudWatch Logsエージェントの細かな動作に興味をもちました。 そこで、今回はCloudWatch Logsエージェントを5つの観点から検証してみました。 はじめに ログ監視エージェントにとって重要な5つのポイントを考えてみました。 メッセージラッシュ ロングメッセージ ログローテーション 一時的な通信断 エージェント停止 メッセージラッシュ 障害発生時等に短時間に大量のメッセージが発生することをメッセージラッシュと呼びます。 このメッセージラッシュが発生した際にも、安定して動作してメッセージをロストせずに監視できることは、ログ監視エージェントにとって重要なポイントです。 そこで、メッセージラッシュを意図的に発生させ、ロス
ELBがアクセスログを出力できるようになりました！ | DevelopersIO
はじめに ついにELBがアクセスログを出力できるようになりました！(Elastic Load Balancing Announces Access Logs) ということでやってみました！ 設定 [Load Balancers]画面を開き、設定したいELBを選択します。画面下部の[Description]タブの一番下に[Access Logs]という項目があります！ なおこの項目は新しいManagement Consoleでしか表示されません。以前のManagement Consoleを使用されている場合は、画面右上に青い吹き出しのようなアイコンが表示されていますので、クリックし「Try the new design」の[Click here]リンクをクリックすると、新しいデザインのManagement Consoleに切り替わります。 さて、[Access Logs]の[Edit]リンク
Fluentdとはどのようなソフトウェアなのか - たごもりすメモ
Fluentd というソフトウェアがある。日本国内ではそこそこ話題になってきたが、何ができるのか、何に使うと嬉しいのか、何に使えるのか、という点について詳細をよく知らないという人もおそらくまだ多いことでしょう。 なので、簡単にまとめる。 http://fluentd.org/ なお以下の個別項目ごとに書いていくが、その手前にまとめを置いておくので忙しい人はそれだけ読むとよい。インストールや設定については導入部分については日本語の記事はもう多くあるので、触れない。 概要 できること ログの収集 センサデータ等の収集 汎用データ処理プロセッサとして 頻出ユースケース ログの収集 データの集約 簡単なリアルタイム集計 ソフトウェアとしての特徴 コア プラグイン 安定性 性能 開発体制 コミュニティ ぶっちゃけどうなの？ まとめ 現時点で、複数の場所に分散したデータや常に増え続けるデータの安全な転
Visitors - fast web log analyzer
Visitors is a very fast web log analyzer for Linux, Windows, and other Unix-like operating systems. It takes as input a web server log file, and outputs statistics in form of different reports. The design principles are very different compared to other software of the same type: No installation required, can process up to 150,000 lines of log entries per second in fast computers (20MB/s with my lo
herokuでサーバーのログを参照する - toshifusaの日記
エラーが発生しているときはログが頼りになりますが、herokuの場合はcommand-line toolを使用します。 環境 Rails 2.3.5 Ruby 1.8.7 gem heroku 1.8.3 コマンド heroku logsコマンドを使用します。 toshifusa@TOSHIFUSA-PC ~/Documents/NetBeansProjects/assist (master) $ heroku logs ==> production.log <== # Logfile created on Thu Apr 01 02:06:59 -0700 2010 Processing ModelsController#index (for 124.155.33.170 at 2010-04-01 02:07:02) [G ET] Rendering template within l
fluentd の output plugin のテストのかきかた
fluentd のプラグインのテストで、他のoutputも利用するタイプのプラグインはどうテストするのかなあと思ってしらべてみた。@tagomoris さんの out_forest はちゃんとテストが存在したのでそれを読む事に。 https://github.com/tagomoris/fluent-plugin-forest/blob/master/test/plugin/test_out_forest.rb#L416 まず fluentd のプラグインのテストの書き方から理解していないので理解しなければ、と 公式ドキュメント を読むと: Please see Fluentd’s source code for details. うっ、はい… まず前準備に Fluent::Test.setup を呼ばないといけないっぽい。これ、engine.rb に書いてある所為でgrepしないと見つか
マルチスレッド下におけるログ出力性能測定 - torutkのブログ
一つのJavaプログラムについて、処理をマルチスレッドで並行性を持つように記述し、複数CPU（マルチコア）上でそのプログラムを実行することにより並列処理を実現しようとした際、ログ出力が実行性能にどれだけ影響を及ぼすのかを把握したい、と考えています。 プログラムの開発（特にデバッグ）においては、ログが使えないと苦労します。ただし、ログを埋め込むと、性能に影響を及ぼします。また、ログレベルを抑制し、実際にはログ出力がなかったとしても、ログレベルの判定処理が動くことで、多少の影響はあります。 最近のログ出力ライブラリはスレッドセーフに作られていますが、それは内部で排他区間を持つことになるので、並列処理においては排他による性能への影響は無視できません。 そこで、同一プロセス内でマルチスレッドにより並行実行するプログラムを作成・実行し、複数スレッドからログを出力すると、実行性能にどれだけ影響を及ぼす
javaのロガーが多すぎて訳が解らないので整理してみました - 文系プログラマによるTIPSブログ
最初は誰しもがファッ！？となるんですよねロガーって。 いずれtree-tipsで公開しようと思っている、solrのプロジェクトを今作っています。mavenでjarを管理している訳ですが・・ なんだこのロガーの数は！！ commons-logging、log4j、slf4j-api、jcl-over-slf4j、logback-classic・・・・、こいつら一体何が違うんだ！どう使い分けるんだ！そもそも必要なのか！？となりました。 昔はcommons-logging＋log4jというのがトレンドだった訳ですが、今はslf4j＋logbackがトレンドになり、jdkも1.4から1.7になり、これらトレンドが推移する過程で、いろいろなjarが旧式に依存してしまい、旧式依存を解決するためにアダプタが登場し始め、mavenでjarを収集すると大抵両方入ってしまい、カオスになっているのです。 特にs
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - medikoo/log: Universal logging utility
LogRocket: Record and Replay for Redux apps.
GitHub - YaSuenag/ulviewer: Log viewer for Unified JVM Logging
Javaのログ出力: 道具と考え方
GitHub - lebinh/ngxtop: Real-time metrics for nginx server
Log Analysis System And its designs in LINE Corp. 2014 early
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
