S3に保存したログファイルをストリーム処理するサーバーレスアプリケーションの紹介 - クックパッド開発者ブログ
インフラストラクチャー部セキュリティグループの水谷(@m_mizutani)です。 クックパッドでは現在セキュリティ監視の高度化に取り組んでおり、その一環としてセキュリティ関連のログ収集およびその分析に力を入れています。ログ収集の部分では可用性などの観点からAWSのオブジェクトストレージサービスであるS3に一部のサービスやサーバのログをまず保存し、後から保存されたファイルを読み込んで分析などに利用しています。分析のためにS3に保存したファイルを前処理する方法としてAWS Glueなどを用いたバッチ処理がありますが、到着したログをなるべくストリームデータのように扱いたい場合もあります。特にセキュリティ関連のログでは以下のようなユースケースで利用しています。 アラートの検出: ログを検査してその中から危険度の高いと考えられるログを探し出し、アラートとして発報します。アラートの具体的な例としては
PHPでログファイルへの読み書きを通して任意コード実行をする方法 - knqyf263's blog
以前少し話題になったLaravelのデバッグモード有効時の脆弱性であるCVE-2021-3129のPoCを読んでいたのですが、思ったより難しくて何でこんなことをしているんだろうと思ったら発見者による解説ブログがありました。読んでみたらバイパスのために思ったより色々していて普通に勉強になったのでメモを残しておきます。CTFerからすると常識な内容かもしれないので、何か間違いや補足があれば指摘をお願いします。 www.ambionics.io 前提知識1 前提知識2 本題 問題点 = によるエラー 日付のデコード ログファイル内の他エントリ バイパス方法 consumedの利用 iconvの利用 パディングの利用 UTF-16のための調整 NULLバイトの回避 最終形 まとめ 前提知識1 上の脆弱性を理解するためにはいくつかの前提知識を必要とするため最初にまとめておきます。 まず、PHPでは外
最新のログファイルにリンクが作れるようになった Apache 2.4.1 の rotatelogs を試す - blog.nomadscafe.jp
この機能欲しかったんだよねー。 CustomLogで、pipeしてrotatelogsを使ってログ分割を行う場合、 CustomLog "|/path/to/rotatelogs /path/to/log/access_log.%Y%m%d%H 7200 540" ログファイルは、 $ ls -1 access_log.2012030116 access_log.2012030118 の様に最新のファイルが変更になります。tail -f で追いかけていた場合は、途中でファイルを手動で切り替えないとならないのでとても不便です。また、fluentdのtail pluginも利用できません。 Apache 2.4.1 のrotatelogsでは、最新のファイルに対してハードリンクを張る機能が追加されたので、とりあえず試してみました。 $ wget http://ftp.riken.jp/net/
ログファイルの圧縮方法
圧縮レベル2と3では、bzip2よりずっと短い所要時間で高い圧縮率が得られています。興味深いのはレベル4で、所要時間が大きく増えたのに圧縮率が下がっています。xzはレベル4からLZ法の一致文字列を探すアルゴリズムが変わるので、これが裏目に出ているようです。 bzip2より2割以上高い圧縮率が得られるレベル7以上では、所要時間は5倍以上になります。ログファイルの圧縮方式が混ざるのは何かと面倒なので、5倍の所要時間でこの程度の圧縮率の差ではxzに変更する気にはなれないです。 圧縮率はそうでもないですが、xzの伸張速度の速さはとても魅力的です。デフォルトの圧縮率のファイルを伸張するのに、bzip2が1分22秒かかるのに対してxzは25秒しか掛かりません。ログを集計するときに伸張速度が3倍近く速いのはとても有利です。 もし圧縮方法を決め直せるならxzにするかもしれません。適宜レベルを調節してbzi
logrotateは、Apacheのアクセスログや、syslogなど運用の中で肥大化していくログファイルを定期的に退避してくれるツールです。 logrotateの設定は、/etc/logrotate.confファイルにて全てのログファイルに対しての設定を、/etc/logrotate.d/ディレクトリ以下に個別のログファイルごとの設定を記載して管理します。 ※ /etc/logrotated/ディレクトリ以下の個別の設定ファイルに記載した内容は、logrotate.confファイルに設定した内容より 優先度が高くなります。 - /etc/logrotate.confの設定例 # see "man logrotate" for details # rotate log files weekly weekly # keep 4 weeks worth of backlogs rotate 10
窓の杜 - 【NEWS】ログファイルなど巨大なテキストファイルを1MBずつ表示できる「GigaReader」
ログファイルなど巨大なサイズのテキストファイルを効率よく開けるテキストビューワー「GigaReader」v2.1.4が、10日に公開された。Windows 98/Me/2000/XP/Vistaに対応するフリーソフトで、現在作者のホームページからダウンロードできる。なお、商用利用時は作者への連絡が必要。 「GigaReader」は、ログファイルなど巨大なファイル向けのテキストビューワー。Webサーバーのアクセスログなど、数百MBから数GBものサイズになってしまったテキストファイルを、指定したサイズ位置から1MBずつ表示できるのが特長。 本ソフトは、ファイルを開く際にあらかじめファイルサイズの総容量を表示し、指定したサイズの位置から1MB分のみを表示する仕組み。そのため、GB単位のテキストファイルでも素早く表示することが可能。 テキストビューワーとしては、検索機能や印刷機能のほか、現在表示し
Apache では Apache で起動している Web サーバにアクセスしてきたユーザーのログを残すことができますが、ユーザーの情報の中からどのようなデータをログとして残すのかについてログのフォーマットを定義することができます。ここでは Apache のログファイルで使用するフォーマットを設定する方法について解説します。
ども、大瀧です。 本日開催されているAWS Summit New YorkでCloudWatchの新機能、CloudWatch Logsが発表されました。 バックでKinesisが動いているらしく、スケーラブルなログアグリゲーションサービスとして期待できそうです。ひとまず、どんなものか試してみたのでレポートします。 1. IAMユーザー/IAMロールの準備 動作する仕組みは一般的なログアグリゲーションサービスと変わらず、ログ収集対象のマシンにエージェントをインストールし、アグリゲータにログを順次送信する形態です。エンドポイントはCloudWatchのAPIなので、他のAWS APIと同様にCloudWatch Logsに必要な以下の権限を付与したIAMユーザー、もしくはIAMロールを準備します。 { "Version": "2012-10-17", "Statement": [ { "Ef
MacBook Pro Retinaディスプレイモデルの価格変更が発表されました。最近は円安基調ですが、下位モデルは6000円、上位モデルも約1万円値下げされています。一方、MacBook Air 13インチの下位モデルは6000円の値上げ。円安にあわせた価格変更なのかどうなのか、単純な判定はできませんね。 さて、今回は「ログファイル対策」について。知らぬ間に数GB規模のログファイルが作成されていた筆者の環境を例に、なにをきっかけに気づきどのように対策を講じたか、事例を紹介してみよう。 マメ過ぎる「GoogleSoftwareUpdateDaemon」 結論からいうと、刻々と更新されるログファイルが不当なボリュームにまで膨らんでいることは、空きディスク領域に余裕がなくなりシステムに警告されるか、よほどの偶然がなければ気付かない。企業のシステム管理者でもないかぎり、ログファイルをまめにチェッ
tenshiとは サーバ上のログファイルは、ただ記録しておいて問題があったときの調査に使うだけではなく、リアルタイムで監視することでアプリケーションやサーバの不具合の早期発見をすることができる。問題が表面化する前に対策を行なうにはログの監視が不可欠だ。 しかし、サーバは、種類も数もどんどん増えていくものだし、それに合わせログファイルの種類も量もどんどん増えていく。全部見るのはもちろん不可能だし、適当に通知をしてもメールボックスを溢れさしてしまうことになり、結局は無視することになってしまい意味がない。 そこで、賢く効率的に監視するために tenshi というツールが非常に便利に使える。 このツール、最近しばらく使っていなかったのだが、最近会社で再び使い始め、便利さを再確認したので紹介してみる。知る人は知るツールだと思うけどいまいちマイナーなのかな？ tenshiは、元々はGentoo Lin
解説 Windows OSに限らず、OS上で動作している各種のサービス・プログラムでは、動作状態の情報を「ログ・ファイル」として、テキスト・ファイルに書き出すものが少なくない。例えばWebサーバのログや、ファイアウォールの動作ログなどがある。 これらのログ・ファイルの内容を調査するには、メモ帳で開いたり、コマンド・プロンプト上でmoreやtypeコマンドを使って表示させたりするのが一般的である。だがログ・ファイルの内容は時々刻々と変化しているので（正確には、時間が進むにつれて内容が次々と追加されているので）、メモ帳で開いたログ・ファイルの内容や、moreコマンドで表示したデータは必ずしも最新のものではない。時間がたてば、また新しい内容（ログ・データ）が追加されてしまっているからだ。最新の内容を確認したければ、その都度ファイルをオープンし直す必要があるが、これは非常に面倒である。 このような
最近Railsがガンガン出力するproduction.logを解析してどのアクションがリクエスト多いのか、DBがボトルネックになってるアクションはないか、などを調べているんですが、production.logがどんどん肥大化して、解析ツールの開発イテレーションを回す際の効率が悪くなってきました。 また似たようなツールをやたらめったらコピペで作ってきたため、開発効率も悪くなってきたので、ここでAPIを整理しつつ、あわよくばログをなめる部分を高速化できないものかと考えました。 シンプルに正規表現をつかって変化する箇所を切り出していたのですが、これではかなり重いのは自明ですし、がんばって文字列をパースするパーサを作ってもrubyではあまりスピードは出なそう、でもrubyで書きたいし.... ということで、一度パースしたデータを読込みに効率よさそうな形式に変換することで、次以降の解析を高速化しよう
Macの容量が突然一杯に！なぜ？→原因はAdobe Creative CloudのPDApp.logというログファイルでした
突然Macのストレージが一杯に。原因は……？「お使いの起動ディスクはほとんど一杯です。」と出てきて「うそだろ承太郎！」と調べてみたところ、確かにほとんど空きがない。 容量を食いがちな写真や動画でもないようです。 さっぱり心当たりがないので、こういうときは何のファイルが容量を圧迫しているのかOmniDiskSweeperで調べてみるのが吉。 関連：Macの容量を空けたい人へ。フォルダやファイルのサイズが一目でわかるアプリ「OmniDiskSweeper」それで、調べて見た結果が以下。なんだこの「PDApp.log」っていうファイルは…400GB近くも占めとるやんけ……。 Adobe Creative Cloudのログファイル「PDApp.log」が原因だったググってみたところ発見したのが、以下の記事。 NELog.logに大量の書き込みはAdobe Creative Cloudの問題 | B
なぜエラートラッキングシステムが必要なのか 多くの開発者は、開発環境での手動テスト、テストコードの実装に多くの時間をかけている事と思います。 しかしながら、本番環境やステージング環境でもエラーは起こりうるものです。 このようなエラーに気づくのが遅れるほど、ユーザ体験は低下し、結果的に機会損失を招く事となります。エラーに気づいた際に、過去のログをgrepしたりするのも、非常に労力がかかります。 このような課題を解決するため、エラーの概要、Backtrace、発生時のセッション情報などの詳細情報をWebインタフェースで管理でき、類似したエラーを分類したり、担当者へメールやSlackで通知するための仕組みがエラートラッキングシステムです。 代表的なものとしてAirbrakeがありますが、スタートアップとしては少しお高い値段です。 Errbitとは AirbrakeのOSSクローンです。実際にはA
Squid FAQ - 6. Squidのログファイル
ログは、Squidの働きやパフォーマンスに関する貴重な情報源です。ログレコードは、アクセス記録だけでなく、システム構成のエラーやリソース消費（例えば、メモリ、ディスクスペース）などが記録されます。それらのログによってSquidは維持されます。いくつかは、実行時の安全のために非活性化されているため、明示的にコンパイル時に活性化されなければなりません。 すべてのログファイルに共通するいくつかの基本的なポイントがあります。特に明記しない限り、ログファイルに記録さタイムスタンプは、通常はUTC時間です。初期タイムスタンプは、通常、ミリ秒の拡張子が含まれています。 Squidのログ解析に関しては最初にこちらを読んで頂いた方が良いかもしれません。
必読！ログファイルとディレクトリ
ログとは 「ログ」とは、システムやアプリケーションが日々の稼働状況を記した活動記録です。LinuxやUNIXのようなシステムでは、さまざまなアプリケーションが協調して1つのシステムを構成しています。こうしたアプリケーションが、自身の動作状況やエラーなどのメッセージを記した記録が「ログ」です。また、このログが保存されるファイルを「ログファイル」と呼びます。 本連載では、CentOSの最新リリースであるCentOS 5.2をモデルに、この「ログ」について、概要、管理方法、そしてよくある障害とその対処方法といった内容をまとめていきます。 第1回の今回は、CentOS 5.2には、どのようログファイルがあるのか、実際の環境を例にひとつずつ説明を行います。 なお、連載で用いるCentOS 5.2は、公式のインストールCDを使い、Microsoft Virtual Serverにインストールしたもので
[Bash][Tips]ログファイルを探索するために知っておきたいシェルコマンド [初心者向け] ｜ Developers.IO
こんにちは。こむろ＠札幌です。昨日・今日はとても涼しくて過ごしやすい気候です。 涼し気な写真を2枚ほど。 オロロンラインの途中にある白銀の滝 夕暮れ時の豊平川 はじめに 皆さんはログファイルの解析、目的の項目の抽出などはどのように行っているでしょうか？自分は普段Pythonを使い *1、テキスト処理などを行っていますが、シェルのコマンドの方が更にフットワーク軽く、文字列処理に特化した場合、かなり強力な機能があるよ、とのことなので今回はシェルを使ってログファイルのテキスト処理を実行します。 この記事の対象者は、以下のような意識低めな人たちです。 *2 iTerm2などのコンソール画面はそこそこ見慣れてるし コマンドはそこそこ打つけど 自分でシェルのコマンドを駆使してテキスト処理をしたことがないし 大体ググッてコピペすればどうにかなるでしょ的なノリで生きて来た そのため、パイプ（|）等のコマン
![[Bash][Tips]ログファイルを探索するために知っておきたいシェルコマンド [初心者向け] ｜ Developers.IO](https://cdn-ak-scissors.b.st-hatena.com/image/square/31534299f441d7da17028f4e8c96d3552da052ae/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F06%2Flinux.png)
MySQLのログファイル MySQLのログファイルは、実行エラーログ、クエリログ、スロークエリログ及びトランザクションログの4種類のログがあります。 実行エラーログ 実行エラーログは、起動、停止及び実行時のエラーがMySQLディレクトリに"ホスト名.err"というファイル名で保管されます。 MySQLで障害発生時に障害特定の情報を得ることが出来ます。 ・設定方法 1．コマンド UNIX、Linuxの場合 $ mysqld_safe --log-error=myerror.log --log-warnings=1 Windowsの場合 C\> mysqld-nt --log-error=myerror.log --log-warnings=1 オプション オプション 内容 --log-error[=filename] エラーログの出力先ファイル名を指定します。 --log-warnings[
最近は協力プレイやPvPなどの「リアルタイムサーバー」を書くときは Go が主流になっているのですが、 Tornado を使ったシステムも健在です。 (以前の記事) 数人〜十数人程度の「部屋」を、1つの Tornado プロセスに複数もたせ、さらに一台のサーバーにその Tornado プロセスを複数置くことでCPUのマルチコアを活用する構成になっているのですが、最近各プロセスがログファイルを書く部分でブロックして応答性能が悪化するケースがあったので対策しました。 この記事ではその対策で行ったチューニングや、行わなかったチューニングについても紹介します。 ※なお、この記事は Tornado を題材にしていますが、似たような仕組みになっている node.js などの他の言語のフレームワークでも同じ事が言えるはずです。 前提知識 Tornado は epoll や select などのIO多重化
ログファイル - Apache HTTP サーバ
Please note This document refers to the 2.0 version of Apache httpd, which is no longer maintained. Upgrade, and refer to the current version of httpd instead, documented at: Current release version of Apache HTTP Server documentationYou may follow this link to go to the current version of this document.
今でこそ日常茶飯事となった事件被害者・加害者のウェブログですが、その元祖と称される事件。 あちこちで不完全情報が反復的に語られていますので、判決文を発掘（結構大変）しました。 詳細の前に、この事件の何が人々の琴線に触れるのか？については、ここが上手に纏めている。 森岡正博「ネット日記」（Life Studies Homepage）『京都新聞』２００１年１１月１７日 （夕刊） 埼玉県の三七歳の高校教諭が、交際していた女性にだまされて、金品を根こそぎ盗まれ、暴力団組員らに監禁されて殺害されるという事件が起きた。この男性は、自分と付き合ってくれている女性が、金目当てだったことに最後まで気づかず、せっせと女性の世話をして、最後には無惨な結末になってしまった。 いまネットでは、この事件が大きな話題になっている。なぜかというと、この男性が失そう直前まで書き残した日記が、ネット上に残されているからだ。そ
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)（「ICANNがレジストラとして認定した企業」一覧（InterNIC提供）内に「Japan」の記載があるもの）を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2023年5月時点の調査。
元ネタ：Vimでtail -f的な何か - それ、Gentooだとどうなる？ 日本タイルで有名な matsuu さんのブログ記事で、M-x auto-revert-tail-mode を知りました*1。emacs 内で ログファイルをチェックできれば、anything-c-moccer などの強力な検索機能が使えて便利です。そこで、この auto-revert-tail-mode という関数/マイナーモードをより使いやすくする設定を書きました。以下の3つの機能を提供します。 /var/log/ 以下のファイルは自動的に auto-revert-tail-mode マイナーモードで開く バッファ更新時は最新のログを表示するように、ポイントをバッファの末尾に移動させる 指定したキーワードを目立たせる dot.emacs に次の設定を追記します。 (defun my-auto-revert-ta
新サービス『AWS CloudTrail』のユーザーガイドを読んでみた / ログファイルの取得とAmazon S3バケットへの集約 | DevelopersIO
Amazon Web Services ブログ: 【AWS発表】 AWS CloudTrail - AWS APIコールの記録を保存 What is AWS CloudTrail - AWS CloudTrail シリーズ第5弾は『ログファイルの取得とAmazon S3バケットへの集約』です。実際にどのようにログファイルが生成され、また取得集約が可能なのか、見て行きましょう。 目次 CloudTrailログファイルの取得 ログファイルを見つける ログファイルを扱う Amazon S3バケットへのログファイルの集約 シナリオ1. 単一アカウント/複数リージョンでのリソース集約 シナリオ2. 複数アカウント/単一リージョンでのリソース集約 シナリオ3. 複数アカウント/複数リージョンでのリソース集約 CloudTrailログファイルの取得 CloudTrailでは、ログファイルを指定のAmaz
MySQLのログファイルは、実行エラーログ・クエリログ・スロークエリログ・トランザクションログがあります。 ログファイルはMySQLデータディレクトリに格納されます。 [参考記事] MySQLでクエリーをログに記録する方法 実行エラーログ クエリログ スロークエリログ トランザクションログ MySQL起動コマンドから設定する方法と、設定ファイルで設定する方法があります。 起動コマンドからの設定の場合はMySQL停止まで有効で、設定ファイルの場合は設定削除後の再起動まで有効です。 ログファイルの格納先(保存先) ログファイルの格納先(保存先)は設定ファイルのdatadirディレクティブで設定されています。 UNIX、Linuxの場合 [mysql] datadir=/var/lib/mysql Windowsの場合 [mysql] datadir="C:/ProgramData/MySQL/
<概要> アーカイブログの説明をする前に、まずＲＥＤＯログの理解をしてください。 なぜなら、ＲＥＤＯログとアーカイブログは密接な関係があるからです。 ＲＥＤＯログなくして、アーカイブなし。そういう関係です。 まずはＲＥＤＯログファイルの説明から入りますね。 ＲＥＤＯログファイルは、オラクルの作業記録を複数のファイルでローテーションで残していく仕組みです。 したがって、ローテーションで上書きを行っていくため、 ＲＥＤＯログファイルのうち、最も古い作業記録が常に消去されていきます。 そこで、昔の作業記録を永遠に残しておくためのファイル（仕組み）が、アーカイブログです。 でも、そんなファイルを永遠に残して増やし続けたら、いつかディスクが満杯となってしまいます。 だから、もちろん運用方法によりますが、アーカイブログを出力しない方法もあります。 デフォルトは、アーカイブログを出力しないようになってい
MySQL :: MySQL 8.0 リファレンスマニュアル :: 17.1.2 バイナリログファイルの位置ベースのレプリケーションの設定
ソースで、バイナリロギングが有効になっていることを確認し、一意のサーバー ID を構成する必要があります。 これには、サーバーの再起動が必要となる場合があります。 セクション17.1.2.1「レプリケーションソース構成の設定」を参照してください。 ソースに接続する各レプリカで、一意のサーバー ID を構成する必要があります。 これには、サーバーの再起動が必要となる場合があります。 セクション17.1.2.2「レプリカ構成の設定」を参照してください。 必要に応じて、レプリケーション用のバイナリログを読み取るときに、ソースとの認証中にレプリカで使用する別のユーザーを作成します。 セクション17.1.2.3「レプリケーション用ユーザーの作成」を参照してください。 データスナップショットを作成したり、レプリケーションプロセスを開始したりする前に、ソースで現在の位置をバイナリログに記録するようにして
Windows OSに用意されているIISには、サーバへのアクセス記録をログ・ファイルとして残すことができる。ログ・ファイルの記録形式としては、デフォルトで「W3C 拡張ログ ファイル形式」が設定されており、Webサーバへのアクセス情報がテキスト形式で記録されている。クライアントからのアクセスがあるたびに、アクセス時刻（GMT）やIPアドレス、アクセス先、パラメータなどの情報が1行ずつ追加される。そして、あらかじめ決められたログの記録期間が過ぎると新しいログ・ファイルが作成され、そちらに記録される。 ※IISのログ・ファイルの例 #Software: Microsoft Internet Information Services 6.0 #Version: 1.0 #Date: 2004-10-12 15:00:16 …ログの記録開始時間 #Fields: date time s-ip c
[レベル: 上級] 管理しているサイトがモバイル ファースト インデックス（以下、MFI）へ移行したのかどうかを調べる方法として、サーバーのログファイルの監視を Google の John Mueller（ジョン・ミューラー）氏は推奨しました。 ログファイルを見て、スマートフォン版 Googlebot の活動量が PC 版 Googlebot の活動量を逆転し上回っているようであれば、MFI に切り替わっている可能性が濃厚です。 現状: PC 版 Googlebot ＞ スマホ版 Googlebot ⇒ MFI後: PC 版 Googlebot ＜ スマホ版 Googlebot プライマリのインデックスに PC 向けページが使われている現状では、PC 版の Googlebot のアクセスが多くを占めています。 対して、スマートフォン版（モバイル版）の Googlebot のアクセスは PC
sshdのログファイルの確認方法
サーバーでsshdサービスを使っていると、招かれざる人(大抵bot)も相応の頻度でアクセスしてくる。何時何処からどのようなアクセスがあるのかを把握する為にログファイルを確認することは大事。 sshd のログファイルのパスはCentOS / Fedora系ではデフォルトでは /var/log/secure となる。。 # cat /var/log/secure 尚、ssh のログインに失敗/成功したユーザ数は以下の様なコマンド等でカウントできる。 # grep -c invalid /var/log/secure # grep -c Failed /var/log/secure # grep -c Accepted /var/log/secure
ログ・ファイルをRAMに置いてシステム・パフォーマンスを改善する方法
コンピューターの動作中はシステム・ログをRAMに置き、シャットダウン時にディスクにコピーするようにすれば、システムログ機能のあるノートパソコンあるいはモバイル機器のバッテリーやフラッシュ・ドライブの寿命を延ばすことができるだろう。その上、デーモンが突然30秒ごとにメッセージをsyslogに送り始め、ハードディスクが休まず回転し続けてバッテリーを浪費するといった状況に陥りにくくもなる。 Ramlog は、それを実現しようというプロジェクトだ。 フラッシュ・ドライブを使う場合、寿命については十分に検討する必要がある。ディスクへの書き込み頻度を見ると、一般に、/varや/tmpへの書き込みが大半で、/usrパーティションにはソース・コードを毎日数回ホーム・ディレクトリーに書き込む程度でさほど頻繁というわけではないというケースがよくある。このような場合、システム・ログをRAMに移せばフラッシュ・ド
Please note This document refers to the 2.2 version of Apache httpd, which is no longer maintained. The active release is documented here. If you have not already upgraded, please follow this link for more information. You may follow this link to go to the current version of this document.
各種ログファイル
/var/log/boot.logには起動メッセージが出力される。 Feb 17 00:32:05 hogehost syslog: syslogd startup succeeded Feb 17 00:32:05 hogehost syslog: klogd startup succeeded Feb 17 00:32:05 hogehost random: Initializing random number generator: succeeded Feb 17 00:32:06 hogehost proftpd: proftpd startup succeeded Feb 17 00:32:02 hogehost ifup: done. Feb 17 00:32:02 hogehost network: Bringing up interface eth0: succeeded
目的 以下のようなことがやりたかったので、その実現方法のメモです。 cronで実行されるrakeタスクの実行ログを、そのバッチ専用のログファイルに出力 手動でバッチ実行したときのために、標準出力にも同じ内容を出力 予期せぬ例外が発生したときのエラー内容もログファイルに記録 1. バッチ専用のログファイルに出力 単純にRails.loggerを使うと、Controllerなどが出力するアプリケーションログもバッチのログもすべて同じファイルに出力されてしまいます（log/production.logなど）。 それらを区別してバッチの実行ログを確認しやすいようにするため、個別のログファイルに出力します。 ファイル名の指定 以下でlog/batch.logに出力されます。 logger = ActiveSupport::Logger.new(Rails.root.join("log/batch.l
こんにちは。お盆休みは地元に帰り、あさりが食べたいなぁと思い、冷蔵庫をあさり続けましたが、シジミしかありませんでした。シジミの申し子、勝利です。 お後が宜しいようで・・・ さぁ、茶番は終わりにして、今回は久しぶりのCakePHPネタです。 CakePHPで任意のログファイルへログを出力する方法をご紹介たいと思います。 どうぞよろしくお願い致します。 経緯や用途 理由なんて後からつければいーんです。自分自身が作りたいと決めたら作ればいーんです。 作業している際や、本番リリース後等に自分だけのログ出力ファイルやアプリケーションの仕様的にCakePHPのログ以外のログが必要になったり欲しくなったりしたことはないですか？ もちろんログ出力だけであればCakePHPに備わっているものを使用したらいいと思うのですが、CakePHPでデフォルトで吐き出されるログによって汚されたりすると、自分が吐き出した
セキュリティ対策の健康診断、適切なログの収集 iptableのパケットフィルタリングで侵入を予防することも大切ですが、攻撃の兆候を察知して対応するほうが安全性は高まります。 このページでは前回の投稿で設定したログファイルの接頭辞を利用してログファイルを切り分け、適切な期間ログファイルを保持する方法を解説します。 目次 rsyslogでiptableのログを振り分け logrotateによるローテーションの仕組み logrotateの基本設定とソフトごとの設定 iptablesのローテーションを設定する rsyslogの再起動と、ローテーションの動作確認 rsyslogでiptableのログを振り分け それではiptableで設定したログの接頭辞をフラグとしてログファイルの切り分けを行います。 rsyslogの設定方法について詳細は「前回の投稿」をご覧ください。 iptableで設定したログ
バイナリデータを格納するために、BLOB型やその拡張のMEDIUMBLOB型を利用するシーンが時折あるかと思います。 BLOB型を利用していて、サイズの大きなデータをDBに格納しようとすると、MySQLのログに以下のようなエラーログが出力されることがあります。 100906 00:00:00 InnoDB: ERROR: the age of the last checkpoint is 9440228, InnoDB: which exceeds the log group capacity 9433498. InnoDB: If you are using big BLOB or TEXT rows, you must set the InnoDB: combined size of log files at least 10 times bigger than the InnoDB:
[小ネタ] S3に保存されているログファイルをAWS CLIでまとめてコピーする | DevelopersIO
はじめに 清水です。ELBやCloudFront、S3などのアクセスログはS3に保存されます。 アクセスログは外部ツールと連携させて監視や可視化するということもあると思いますが、直接ログファイルを確認することも多いのではないでしょうか。 ログファイルを直接確認するときはS3から作業用マシンにファイルをコピーしますが、保存先のS3バケット内のPrefixで指定したディレクトリにファイルが大量にあることが多いことから、私はAWS CLIを使ってコピーすることが多いです。 AWS CLIの場合、UNIXとまったく同じ書式でワイルドカードを使用することはできませんが、--recursiveオプションと--excludeオプション、--incluceオプションを組み合わせることで同様のことができます。 今回はアクセスログファイルから特定の日付のファイルだけを作業用マシン（AWS CLIを実行している
![[小ネタ] S3に保存されているログファイルをAWS CLIでまとめてコピーする | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0eb469bfaff8e33e9f250bdad40fd2ee2aba555c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F09%2Faws-cli.png)
Rails1.2.5 Railsの運用環境で気をつけること-ログファイルとセッションファイルの整理 - iビジネス&テクノロジー
Ruby on Railsをデフォルト環境のまま使うと、ログやセッションのファイルが無制限に増えていくので、どこかでそれらを整理する必要があります。正直なところ、この2点が自動化されないのはRails運用上の大きな弱点ではないかと思っています*1。 (追記 Nov 23, 2007) Rails2.0からはCookieStoreという新しいSession管理が導入されたため、デフォルト設定でセッションファイルのメンテナンスは不要になります。詳細はこちら。 セッションファイルの整理 デフォルトではrails-app/tmp/sessionsにユーザセッションがファイル形式で保存されます。このセッションファイル、特にアクセスが多いサイトでは膨大な数になったりするのですが、Railsが勝手に消してくれたりはしないので、定期バッチなどで自前で削除していく必要があります。以下はUnix系の環境でアク
MySQL :: MySQL 8.0 リファレンスマニュアル :: 4.6.8 mysqlbinlog — バイナリログファイルを処理するためのユーティリティー
サーバーのバイナリログは、データベースの内容に対する変更を記述する「イベント」を含むファイルで構成されます。 サーバーはこれらのファイルをバイナリ形式で書き出します。 内容をテキスト形式で表示するには、mysqlbinlog ユーティリティーを使用します。 また、mysqlbinlog を使用して、複製設定で複製サーバーによって書き込まれたリレーログファイルの内容を表示することもできます。これは、リレーログの形式がバイナリログと同じであるためです。 バイナリログおよびリレーログは、セクション5.4.4「バイナリログ」およびセクション17.2.4「リレーログおよびレプリケーションメタデータリポジトリ」でさらに説明します。 mysqlbinlog は次のように起動します。 shell> mysqlbinlog [options] log_file ... たとえば binlog.000003
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
『logrotateでログファイルがローテーションされない事への対処』
LogFormatディレクティブ：ログファイルのフォーマットを定義する
Amazon CloudWatch Logsでログファイルを監視する ｜ Developers.IO
ふと気がつけば4GB目前! 肥大化するログファイルに備えよう - 新・OS X ハッキング!(85)
tenshiでサーバ上のログファイルを効率良く監視 - Masatomo Nakano Blog
tailコマンドでログファイルをリアルタイムに監視する（Windows編）
RailsのログファイルをMessagePackで超高速解析!｜TechRacho by BPS株式会社
無料エラー収集システムErrbitで、ログファイルをgrepする生活とサヨナラ - Qiita
MySQLのログファイル：老プログラマーの備忘録：So-netブログ
Tornado アプリのログファイル書き込みのチューニング : DSAS開発者の部屋
【凶悪事件ログファイル】 ネット美人局 越谷高校教諭監禁殺人事件 : Birth of Blues
[Think IT] 第1回：必読！ログファイルとディレクトリ （1/3）
emacs 内でログファイルを tail -f する設定 - わからん
MySQLのログファイル ログの種類と保存先 - [MySQL MariaDB/SQL] ぺんたん info
Oracle10gのアーカイブ（archive）ログファイルのアーキテクチャを知る。
＠IT：Windows TIPS -- Tips：IISのログ・ファイルを午前0時に切り替える
Googleのモバイルファーストインデックスに切り替わったかどうかを知るにはログファイルが役立つ
ログファイル - Apache HTTP サーバ バージョン 2.2
【Rails】バッチの実行ログを専用のログファイルと標準出力の両方に出す - おどるダメ人間
CakePHPで任意のログファイルへログを出力する方法 | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
rsyslogを利用したログファイル作成と、logrotateを利用したログのローテーション
mysqlのログファイルのサイズを変更する - よかろうもん！