ブラウザのログをCloud RunのREST APIで受けBigQueryに流す - Koichi Ishida blog
目次 構築方法 まとめ 最近はすべてのログはBigQueryに流すという運用をしています。iOS/AndroidのアプリログはFirebase AnalyticsでログをとってFirebaseの設定からBigQueryにエクスポートできます。 ブラウザの場合は自分は定まった方法をもっていなくて、Google Analyticsのカスタムイベントを送るとかがあるかなと思いますが今回はCloud RunのREST APIを使ってさくっと構築できる方法があったので構築方法を紹介します。 構築方法 構成は以下のようになります。 Cloud RunにREST APIを作ってGoのプログラムを実行し標準出力にJSON形式でログを出力します。そのログをLoggingのフィルタ機能を使ってフィルタし、エクスポート機能でBigQueryに出力します。 Cloud RunはUsing Cloud Pub/Su
Docker for Mac: dockerd のデバッグログの見方 - Qiita
Docker for Mac での dockerd のログの見方についてのメモです。Docker for Mac の 17.03.1-ce-mac12 で確認しています。公式に載っている方法ではないので今後使えなくなる可能性があります。自分はDocker レジストリとの間で問題があった際のトラブルシュートに使いました。 ログレベルの設定 Dockerのアイコン -> Preferences -> Daemon -> Advanced で JSON 形式で設定を記述します。デバッグログの出力は下記のように debug を true に設定し Restart するだけです。 ログレベルをdebug以外に設定したい場合は個別にlog-levelという値で設定します。その他の詳細な設定は公式ドキュメントの Daemon CLI reference (dockerd) をご覧ください。 ログを見る
ログの任意のキーワードに好きな色をつける - Cside::Weblog
Apacheログに色を付けて快適tail生活 - y-kawazの日記 というのがあるけれど、 [31m とかで色を指定するのあまり人間が読める感じがしないので、もっと簡単に定義できるやつ作った。https://gist.github.com/2929372こんな感じにキーワードと色を定義できる。 ' (200) ' => 'green', ' (5\d{1}) ' => 'red', ' (404) ' => 'red on_yellow', こんなふうに、tail とか cat とかにパイプでひっかけて使う。 $ tail -f access_log | perl colorize.pl $ plackup app.psgi 2>&1 | perl colorize.pl
[Javascript] モバイル開発でJSログ出力が便利になる jQueryプラグインのmieloggerを作りました « きんくまデザイン
こんにちは。きんくまです。 mieloggerという名前のjQueryプラグインを作りました。 これは、文字列をブラウザー上に表示できるようにするものです。 日本語の「見える」とlogger「ログするもの」を合わせた名前です。 これはモバイルアプリ（iOSとかAndroidとか）でWebブラウザを使うときに、非常に便利なものです。 なぜなら、これらのデバイスはconsole.logを出力しても見えないからです。 でも、ブラウザーでログが見えたらいいですよね。 update 2011/12/10 >> デモ >> mieloggerをダウンロード 使い方 最初に、jQuery と mielogger.jsを取り込みます。 <script src="jquery-1.6.2.min.js"></script> <script src="mielogger.js"></script> 次に、mi
Django: Logging Quickstart in Django 1.3
Logging is always one of those things that seems like there is a lot of boilerplate code that I tend to always have to lookup oneline each time. Though logging is very customizable, most of the time I need simply to only need log to a file or files. Therefore, I'm writing this in hopes of compling a simple configuration that can be dropped into a project. My understanding is still rudimentary
logrotateをユーザー権限で実行する – ぱんぴーまっしぐら
logrotateは、ローテーションの設定をするconfファイルと、ローテーションの状態を保存するstatusファイルが必要になる。 標準ではroot権限で実行されているので、ユーザー権限でstatusファイルへのアクセス権限がなく、別途用意する必要がある。 /path/to/access_logを1日ごとにローテーション、履歴は7つまで保存する。 confファイルは/home/hoge/etc/logrotate.conf /path/to/access_log { daily missingok rotate 7 } statusファイルは/home/hoge/lib/logrotate.status テスト $ /usr/sbin/logrotate -d -s /home/hoge/lib/logrotate.status /home/hoge/etc/logrotate.conf
Slicehost Articles: Understanding logrotate overview
It's no fun when log files grow out of control. In this two-part series, learn how to use logrotate to keep those logs in check. What is logrotate? It may surprise you to learn that logrotate is a program used to rotate logs. It's true! The system usually runs logrotate once a day, and when it runs it checks rules that can be customized on a per-directory or per-log basis. "Log rotation" refers to
もうめんどくさいからtwitter.comをログストレージに使うことにした - 2010-04-29 - Web屋の人の日記 || WebJourney 開発ログ
ログの設定とかアラートの設定とか、、いろいろあるとは思うんだけれど、自宅のサーバー運用でわざわざファイルに出すとかsyslogに出すとかgrowlで通知とかmailで通知とか、、、もう面倒なので、twitter 全部飛ばすことにしました。 ソース: http://github.com/yssk22/tweethandler パッケージ情報 http://pypi.python.org/pypi/tweethandler/0.1 今年に入ってPythonをやらなければならなくなった、ということで、はじめてのPythonパッケージ作りをやってみました。 OAuthで認証しておいて、emit するときにupdate_statusするだけです。 尚、同じログが大量にでる場合はtwitterが自動的にブロックしてくれますw ログレベルに応じてDMにするとかmentionにするとかいろいろありそうです
Remote logging with Python logging and Django | Caktus Group
Technical Remote logging with Python logging and Django logging, how-to, energy monitoring, python logging django As part of my work on EveryWatt, our fledgling energy monitoring web site, I needed a way to consolidate log messages from all the data loggers we have running in a single place. If you're not familiar with it, Python's logging module is good stuff and worth checking out. We already us
ログ収集テクニック - お前の血は何色だ!! 4
ここら辺は教科書がないから知らない人はとことんディフォルトで設定したまま何もしていないと思うので書いてみる。 まるで昔のオレのようだぜwww ログは容量ではなく、日付ごとにローテートさせる 一版的な logrotare ソフトは容量でログをローテートさせていますが、ログは日付でローテートさせた方が見やすいです。 なぜ日付かというと、人間は日付で物事を考えるからです。 昨日のアクセスログを調べたいとか、月間アクセスログを調べたいとかいう要望はありますが、前回ローテートしてからの100MB分のログを調べたいという要望はなかなかないからです。 もちろん、一日のログ出力がとんでもなく、日付でローテートさせていてはとても間に合わない場合は一日に数回ローテートさせる必要があるかもしれませんが。 まずは、 logrotate.d などのローテートソフトのディフォルトは容量でローテートさせているので、日付
Linux logrotateの解説ページ
logrotate は、放っておけば際限なく肥大してしまう各種ログファイルに対して、世代ローテーションをして何代目かになったら破棄するとか、それらをメールでどこかに送信するなど、様々な処理が行える。世代管理やサイズ制限などの機構を自前で持たないプログラムからのログを管理するのになくてはならない道具だ。 Logrotate実行の流れ logrotate 自体はデーモンではないので cron (※1) と組み合わせて利用する。実行の流れは、RedHat系ディストリビューションでは以下のようになっている： cron が run-parts コマンド(※2)で /etc/cron.daily/logrotate スクリプトをキックする。 /etc/cron.daily/logrotate は 主設定ファイルである /etc/logrotate.conf から設定を読み込んで logrotate を
Zend_Db_Table_Rowを使ったログの保存 - ECサイト運営開発記
<?php class ItemTable extends Zend_Db_Table_Abstract{ protected $_name="tbl_item"; protected $_primary ="id"; // 行クラスを指定 protected $_rowClass ="ItemRow"; } class ItemRow extends Zend_Db_Table_Row_Abstract{ protected function _insert(){ $lm=new LogManager($this->_table->getAdapter()); $lm->doInsertLog(array("msg"=>"追加したよ！","date"=>(date("Y/m/d H:i:s"))); } protected function _update(){ $lm=new LogM
ログをとる - スコトプリゴニエフスク通信
mod_wsgiで開発を行うようになって困るのは、標準の状態ではsys.stdoutへの書き込みがmod_wsgiによって制限されるので、printデバッグが使えなくなってしまうことです。より正確にいうと、mod_wsgiのWSGIRestrictStdoutディレクティブをOnにすると、printでstdoutに書き込んだ内容がstderr(Apacheのエラーログ)に出力されるのでprintデバッグもできなくはないのですが、print文を使っていると10年後くらいにPython3.0系に移行する際手間がかかるかもしれない*1ので別の手段を使うのが大人の流儀というものでしょう。*2そんなわけでloggingモジュールを使うわけですが、どこでloggingモジュールの初期設定を行うかという問題が残ります。一番簡単なのは、myproject.logのようなモジュールを用意して、 # mypr
Python標準ライブライリを使い倒す(logging編) - HDEラボ
Javaにはlog4j、.NETにはlog4netがあるように当然Pythonにもログ機能(以下からloggingとします。)は存在しますが、Pythonの場合は標準ライブラリにすでに組み込まれています。 今回はその機能を使用したサンプルを紹介します。 loggingではいくつかのログ出力方式を指定することが可能ですが、今回はログファイルのサイズ指定とローテート指定の行える「RotatingFileHandler」を使用してサンプルを作成します。 その他のログ出力方式は、Python用ロギング機能 を参照してみてください。 今回は、ログ出力用のプログラムファイル(log.py)と設定ファイル(log.conf)を作成します。 注) 設定ファイルを使用せずにプログラムファイルで設定を行うことも可能ですが、一般的にログ設定ファイルを作成しますので今回は設定ファイルを作成します。 また、logg
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Django requests, logging and Lean Startups
Good night, Posterous
A web page that points a browser to a different page after 2 seconds
djangosnippets: Simple Syslog Logging Class with Decorator
Google Code Archive - Long-term storage for Google Code Project Hosting.
IBM Developer
