【ログ分離】 ログデータを DB に保存してはいけません
はじめに TROCCO では ETL ジョブや、dbt 連携、ワークフローなど、様々なジョブで実行ログをリアルタイムで見ることができます。 これによりエラー時のトラブルシュートをスムーズに行うことができます。 そして、この実行ログですが、DB にあるジョブのレコードの1カラムに書き込まれていました。 このように TROCCO の実行ログの表示機能は、データベースのアンチパターンの上に成り立っています。 ログデータは TEXT 型で DB に保存されているためサイズが大きく、また TROCCO の成長に応じてジョブ数は増えるため、ログデータもサービスの成長とともに無限に成長してしまいます。 おかげさまでアカウント数は増加の一方であり、それに伴い DDL が遅くなったり、また SELECT のパフォーマンスも当然落ちるため、INDEX に気をつけたりする必要がありました。 SRE ではこれに課
log4j2の設定ファイル(XML) - Qiita
目的 自分が使いそうな設定のまとめ。 jar ファイル 最低限、以下のファイルが必要。 log4j-api-2.3.jar log4j-core-2.3.jar (2.3 はこれを書いている時点の最新バージョン) 全体 こんな感じで。 ファイル名はlog4j2.xmlとして、クラスパス上に配置。 <?xml version="1.0" encoding="UTF-8"?> <Configuration status="off"> <!-- AppenterやLoggerで使用するプロパティを定義する --> <Properties> <Property name="...">hoge</Property> <Property name="..." value="..." /> </Properties> <!-- ログの出力先と出力フォーマットを設定する --> <Appenders> <
syslogにアプリログをlog4jを使って送信する - yanom blog
syslogにJavaのlog4jでログを送信するためのメモです。 環境 $ cat /etc/os-release NAME="Ubuntu" VERSION="16.04.4 LTS (Xenial Xerus)" ID=ubuntu ID_LIKE=debian PRETTY_NAME="Ubuntu 16.04.4 LTS" VERSION_ID="16.04" HOME_URL="http://www.ubuntu.com/" SUPPORT_URL="http://help.ubuntu.com/" BUG_REPORT_URL="http://bugs.launchpad.net/ubuntu/" VERSION_CODENAME=xenial UBUNTU_CODENAME=xenial rsyslogの起動確認 まずは、rsyslogが動いているか確認します。 $ sud
Fluentd | Open Source Data Collector
Fluentd is an open source data collector for unified logging layer. Fluentd allows you to unify data collection and consumption for a better use and understanding of data.
Jekyll導入メモ
jekyllを使ってウェブサイトを作ってみた。git over sshでソースを転送して、 gitのpost-updateフックでjekyllを呼んでページを生成する。 Gitリポジトリのセットアップ remoteで作業 2つのリポジトリを作る。 src.git bareなリポジトリ。localからのpush先として使う。 src 普通のリポジトリ。src.gitからpullしてHEADの作業コピーを作るための場所。 まずリポジトリsrc.gitを用意する。 % mkdir src.git % cd src.git % git init --bare % cd - そしてそれをcloneして作業コピー用のリポジトリsrcを作る。 % git clone src.git src src.gitのフックを設定する。pushされた後で呼ばれるのはpost-updateフック。 フック中で、一時的
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mojo::Log - Simple logger
log4j2.xmlの基本的な仕組みを理解する - Qiita
SLF4J
angular/CONTRIBUTING.md at main · angular/angular
write to IIS log from an ASP.NET application
Javaのログ出力: 道具と考え方