Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜
Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 Backend Author: cubicdaiya エンジニアではなくプログラマと呼ばれたい@cubicdaiyaです。今回はメルカリのログ分析基盤のお話です。 メルカリにおけるログデータ分析 メルカリでは初期の頃からログデータの分析をサービスの成長にとって重要なタスクとして位置づけ、そのための基盤作りに取り組んできました。ログの種類はいくつかありますが、中でも代表的なのがアプリケーションサーバで出力されるアクセスログやアプリケーション固有のログです。これらのログはサイズが大きいので効率良くログデータを転送するための工夫が必要になります。そこで活躍するのがFluentdです。 大雑把に説明するとアプリケーションサーバで出力されたログはFluentdから最終的にBigQu
ログ管理、これだけは！
Copyright © 2004-2024 Impress Corporation. An Impress Group Company. All rights reserved.
Tera Termログ取得－自動でログの取得を開始する設定 | Tera Term（テラターム）の便利な使い方
前回は、Tera Term（テラターム）で、手動操作でログの取得を開始する方法をご紹介しました。⇒ Tera Termログ取得－手動でログ取得を開始する設定 しかし接続する度にログ取得の設定をするのは面倒くさい＆サーバの操作ログをうっかり取り忘れしたりする事もありますよね。 そこでここでは、サーバに接続する度に手動でログ取得設定を行なうのではなく、サーバに接続すると自動で操作ログの取得を開始する設定をご紹介します。（なるべく自動化出来るところは自動化して、楽に作業を行いたいですね！） 自動ログ取得設定方法 まず「設定」メニューから「その他の設定」を選択します。 続いて「その他の設定」画面から「ログ」タブを選択します。 「ログ」タブ3箇所の設定部分の修正・設定を行ないます。 標準ログファイル名(strftimeフォーマット可) → ログファイルのフォーマット等を設定します。 標準のログ保存先
Treasure Data - naoyaのはてなダイアリー
少し前にログの話を書いた http://d.hatena.ne.jp/naoya/20130219/1361262854 ときに、Treasure Data については後日にもう少し詳細に書くと言ったので書くとしよう。 近頃 Treasure Data (以下、時折 TD) という名前をちらほら聞いたことがある人は多いのではないかと思います。「ビッグデータのクラウドサービスである」とか「日本人が創業したシリコンバレーのベンチャー」、あるいは Yahoo! 創業者の Jerry Yang が投資したとか、Fluentd と何か関係があるといった文脈などなど。 けど、具体的に Treasure Data がどういうサービスで、どういう機能を持っていて、どんな場面で利用されるものなのかはまだあまり良く知られていないかもしれない･･･ようにも見える。今日はその辺から少し紹介していこうかなと思う。
MACのターミナルで自動的に作業ログを取る
OSX Leopard と iPhone4S（2011/12/4〜）、iPhone 3G（〜2011/12/4） ターミナルで作業する際に作業ログを取る方法です。 ターミナルでは起動時にコマンドを指定できるので、ターミナル起動時にscriptコマンドを実行するように設定しておき、手動でscriptを実施しなくてもログを記録するようにしておきます。 ログファイル名と記録先ディレクリは自由に設定できます。 以下の例では、ホームディレクトリに作成したscriptlogsディレクトリに、script_YYYYMMDDHHMMSS.txtというファイル名で生成されます。 １）ターミナルを起動します。 ２）ツールバーにある、ターミナル --> 環境設定... を開きます。 ３）「設定」にある「シェル」タブを開くと、 起動 □コマンドを実行： という箇所があるのでチェックをいれます。 ４）実行するコマン
MySQLのログファイル：老プログラマーの備忘録：So-netブログ
MySQLのログファイル MySQLのログファイルは、実行エラーログ、クエリログ、スロークエリログ及びトランザクションログの4種類のログがあります。 実行エラーログ 実行エラーログは、起動、停止及び実行時のエラーがMySQLディレクトリに"ホスト名.err"というファイル名で保管されます。 MySQLで障害発生時に障害特定の情報を得ることが出来ます。 ・設定方法 1．コマンド UNIX、Linuxの場合 $ mysqld_safe --log-error=myerror.log --log-warnings=1 Windowsの場合 C\> mysqld-nt --log-error=myerror.log --log-warnings=1 オプション オプション 内容 --log-error[=filename] エラーログの出力先ファイル名を指定します。 --log-warnings[
logrotate によるログのローテーション
ここでは、ログの肥大化を防ぐためのログのローテーションについて解説していきます。syslog や他のプロセスが出力するファイルは放置していくとどんどんサイズが大きくなり、ディスクスペースを圧迫していきます。インストール時は/var ディレクトリのディスク占有率が0%であっても、数週間、数ヶ月経過するごとにあっという間に占有率が増大していることに気がつくと思います。しかし、これらの出力されるログを何世代分ローテーションさせるかといったことを予め決めておけば、指定した以上のファイルは作成されなくなり、その中でログがローテーションされていくのでログサイズの肥大化を防止することができるのです。RPMでパッケージをインストールしている方は、ほとんどログのローテーションをカスタマイズする必要はありませんが、ソースからコンパイルしてインストールした場合には、ログのローテーションは必須の作業となります。ま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
1分1秒を争う障害対応のためのリーダブルコード