第546回 journaldとsyslogの関係 | gihyo.jp
前回に引き続き、systemd-journald（以下、journald）について解説します。今回はrsyslogとの関わりを中心に、journaldを見ていきます。 journaldによるログの受信とrsyslogへの転送 systemd環境ではjournaldがシステムやサービスのログを一手に集めています。一方で、Ubuntuでは従来からのログ収集・格納サービスであるrsyslogが現在も稼働しています。おそらく、後方互換性のためと筆者は考えています。 詳しくは後述しますが、実際にはsystemd環境ではjournaldがまずシステム上のログを受け取り、必要に応じてrsyslogへログを転送しています。 たとえば、journaldは/dev/kmsgを通じてカーネルログを集めていますし、/dev/logより従来のsyslog宛てのログも集めています。もちろん、ネイティブのjournal
Ubuntu Linuxで、HAProxyのログ出力にrsyslogを使う - CLOVER🍀
これまで何度かHAProxyを試してきたのですが、実はログ出力ができていませんでした。 今回は、HAProxyでログ出力を行ってみたいと思います。 試すにあたり、このあたりのエントリを参考に。 参考） HAProxyを使い始めてみる HAProxy のログのメモ - ngyukiの日記 CentOS で HA Proxy のログが取れなくてドハマりした記録とログフォーマットについて 割とsyslog（というかrsyslog）を使うのが、オーソドックスな感じなのでしょうか？ これに習ってみましょう。 前提 環境は、Ubuntu Linuxにapt-getインストールしたHAProxy 1.6.3を対象とします。また、rsyslogもapt-getでインストール するものとします。 rsyslogのインストール。 とりあえず、簡単にapt-getで。インストールしたら、rsyslogを起動して
HAProxy のログを rsyslog と logrotate でローテーションする - CUBE SUGAR CONTAINER
今回は RDB サーバや HTTP サーバを冗長化する際にロードバランサと共に用いられることが多い HAProxy のログを rsyslog と logrotate を使ってローテーションする際の設定について書く。 検証用の環境には CentOS7 を使った。 $ cat /etc/redhat-release CentOS Linux release 7.1.1503 (Core) $ uname -r 3.10.0-229.11.1.el7.x86_64 HAProxy を設定する まずは HAProxy と rsyslog をインストールする。 $ sudo yum -y install haproxy rsyslog 今回は HAProxy を動かすこと自体が目的ではないので設定はデフォルトの状態をそのまま使う。 デフォルトではログは syslog を使って localhost に
HAProxy のログを journald のみで保存する - Un nouveau monde parfumé
どうも。systemd シンパです。 で、rsyslogd がいない Ubuntu でデフォルト設定よろしく /var/lib/haproxy に chroot などしていると、/var/log/haproxy.log が出ません。 # cat /etc/haproxy/haproxy.cfg global log /dev/log local0 log /dev/log local1 notice chroot /var/lib/haproxy stats socket /run/haproxy/admin.sock mode 660 level admin expose-fd listeners stats timeout 30s user haproxy group haproxy daemon ... # cat /var/log/haproxy.log cat: /var/log
メールログは、mail.logへ | やってみようよ！
postfixのログをsyslogに書き込まないでmail.logだけに書き込む設定 postfixは、メールがどこから来てどこに送ったのかを細かくログファイルに記録します。しかし同じ記録をmail.logだけではなくsyslogにも書き込むのが難点です。これは、無駄というだけではなく、syslogの大事な記録がメールログに埋まってしまい見落としてしまいます。 メールログが二ヶ所に記録される理由 syslogとmail.logに書きたすのは、rsyslogプログラムです。postfixからmailという属性のログが送られてくるので、そのログの属性と優先順位に応じてrsyslogが適切なファイルに書き込んだりします。 Ubuntuを例にするとrsyslogの設定ファイルは次のようになっています（不要な部分を省略しています）。 # cat /etc/rsyslog.d/50-default.c
TCPメモ(Hishidama's TCP Memo)
片方が他方に対して何らかの電文を送ると、相手は受け取ったという印にACKを返す。 ACKが来なければ相手が受け取っていないということなので、その場合はある程度待ってから再送する。 ACKは他の電文と一緒に送ってもよい。 コネクションは、【相手先IPアドレス・相手先ポート・自分のポート】の組で一意に表される。 コネクションは現在どういう状態にあるかを示すステータスを持っており、イベントに応じて遷移していく。netstatコマンドで表示されるのは、これ。 TCP/IPとソケットの関係 ソケット関数を呼び出すと、ソケットライブラリ（プロトコルスタック？OS？）がTCP/IPの規約に従って通信を行う。 listen（受付開始） サーバー側で接続の受付待ちを開始する。 コネクション（通信相手はいないので、相手先IPアドレス・ポートは無し、自分のポート番号だけ有り）はLISTEN状態になる。 conn
rsyslog.confの文法 - Qiita
■ rsyslogとは アプリケーションから通知されたメッセージをログファイルに保存するLinuxのログ管理システム。 ■ /etc/rsyslog.confの文法 ● 基本構成 セレクタ(出力対象ログの内容設定)とアクション(出力先のログファイルの設定)で構成される。 下記のような形式で指定する。 複数のセレクターを定義するには、セミコロン (;) を使用して区切ぎる。 # セレクタ アクション authpriv.* /var/log/auth.log # セレクタ;セレクタ アクション mail.info;authpriv.none /var/log/messages セレクタ 出力対象のログメッセージを指定する。 ファシリティ(≒ログの種類)と、プライオリティ(≒ログのレベル)を設定する。 下記のようにファシリティ.プライオリティという形式で指定する。 定義するファシリティ、プライオ
多機能なログ管理システム「rsyslog」の基本的な設定 | さくらのナレッジ
多くのLinuxディストリビューションで採用されているsyslogサービス「rsyslog」は現在でも活発に開発が進められており、ネットワーク経由でのログ転送だけでなくログの整形や柔軟な条件分岐、さまざまなデータベースへのログ出力サポートといったさまざまな機能が追加されている。本記事ではまず入門編として、このrsyslogの基本的な機能や設定方法について紹介する。 クラウド環境ではログ収集手法の検討が必須 昨今ではサービスのインフラとしてクラウドサービスやコンテナを利用するケースが増えている。こういったクラウドサービスでは、インスタンスを削除すると、そのインスタンスに割り当てられていたストレージは消滅してしまうことが多い。一部のクラウドサービスではストレージを削除せずに残すことも可能だが、その場合別途コストがかかるのが一般的だ。Dockerなどのコンテナでも同様にコンテナの削除後はそのコン
rsyslogでログの転送量制限を解除する | 俺的備忘録 〜なんかいろいろ〜
今使っているCentOS 7のサーバでは、journalからのログをrsyslogを使って振り分けているのだが、どうもログが出力されていない状態になった。で、調べたところ「/var/log/messages」に以下のようなエラーが出ていた。 Apr XX 17:XX:21 localhost journal: Suppressed 529 messages from /user.slice/user-1000.slice これは、rsyslogのデフォルトの転送上限(600秒あたり20,000メッセージまで)に引っかかったため、それ以後のログが転送されなくなった事が原因のようだ。 というわけで、以下の設定を「/etc/rsyslog.conf」に追記してサービスを再起動する。
メールログから特定のログを切り出し集計するワンライナーの覚書 | 雑廉堂の雑記帳
-name 取得したいファイル名。ワイルドカードが使用できます。* : 任意の0文字以上、? : 任意の一文字。正規表現を使いたい場合は、-regex でできる。 xargs zgrep 'cannot find 説明 xargs は、標準入力を読み取って、それを引数として指定されたコマンドに渡すためのコマンドです。 要するに、前の find コマンドの結果、渡されてくるファイル名を、zgrep 'cannnot find' に渡しています。 zgrep は gzip や compress で圧縮されたファイルから正規表現等を使って検索します。ただ、このコマンドは圧縮されていない通常のファイル にも使用できる便利なコマンドです。 結果 ここまでで、過去90日以内に変更、更新された cannot find your hostname という文字列を含んだログの一覧が取得できます。 下は、その
HAProxyを使用した汎用的ABテスト基盤への挑戦 - Qiita
この記事はSpeee Advent Calendar 2016 の12日目の記事です。 前日の記事は @suemocのre:dashの権限管理とその活用事例 - Qiita です。 新卒エンジニアの@_miyachikです。今回は(フロントの変更なら)エンジニアの工数を必要とせず、アプリケーションの開発言語を問わない汎用的ABテスト基盤の話をします。 前提 今回のABテスト基盤では ブランチを分けた状態で個別にABテストができる(masterにマージする必要なし) フロントの軽微な修正はエンジニアにはエンジニアの工数は割かない(ディレクターとデザイナーのみで行えるようにする) API側などbackendのロジックに対するABテストも行えるようにする 開発言語にとらわれずABテスト基盤導入をすることが可能 を実現することが出来ます。まずは最上段の振り分けについて話したいと思います。 * ただ
HAProxyを使い始めてみる - Qiita
HAProxy1とは何か？ から始まり、基本的な使い方までを調べました。 HAProxyとは 多機能なプロキシサーバです。ソフトウェアロードバランサの一種でもあります。古くから開発が続けられ、非常に高速かつ堅牢で信頼性が高いことを売りにしているようです。 HAProxyが何であって何でないかは、 ドキュメントに箇条書きで記載 されています。 ざっくりまとめると、こんな感じのことが書かれています。 TCP接続のプロキシとして動作させ、アクセス経路を設定することができる HTTPリバースプロキシとしての機能を持ち、ルールに従ってリクエストを別のサーバに渡すことができる このとき、URLやヘッダの書き換えも行える SSLやHTTP圧縮を肩代わりできる TCP/HTTPの正規化器(normalizer)となる 不正なトラフィックからの防護を提供する 負荷分散機能を提供する ロギング機能を持つので、
ネットワークエンジニアとして
◆ ネットワークエンジニアのメモ：ブログ ⇒ iPhone、キャリア契約者数、成功する働き方 ◆ ネットワークエンジニアのランチ：ブログ ⇒ ランチ、ITニュース、Cisco、Network ◆ ネットワークエンジニア 役立つ物理ツール ⇒ 構築作業や保守作業で役立つ物理アイテム ◆ サーバ技術入門：サーバの基礎をはじめから ⇒ インフラエンジニアに役立つサーバ技術解説 ネットワークエンジニアとしての Network Studyでは、これからネットワーク エンジニアになりたいと考えている方や、CCIEレベルのネットワークエンジニア になりたいと考えている方に役立つよう基礎から上級レベルまでNW技術を解説。 Network Studyの内容は、国家資格であるネットワークスペシャリストの取得や CCNA/CCNP/CCIE取得に役立つ内容に仕上げているだけではなく仕事で役立つ ようにCisco
DockerでRUNをまとめた方が良いとは限らない | フューチャー技術ブログ
TIG/DXの渋川です。 ソフトウェアの世界では、ツールや言語の進歩があって、もはや古い知識になっているにも関わらず、古い知識がベストプラクティスと呼ばれて蔓延し続けている例があります。Dockerだと「RUNをまとめよう」というのがそうです。かつてはこれは常に行うべきプラクティスでしたが、現代だとそうじゃないケースもあり、デメリットもあります。 https://www.docker.com/company/newsroom/media-resources 1. ただファイルが増えるだけのケースであれば気にしなくていい次の2つのファイルで実験してみます。ベースイメージに、10MBのファイルを作成するコマンドをふたつ並べたものです。 FROM debian:bullseye-slim RUN dd if=/dev/zero of=dummy1 bs=1M count=10 RUN dd if
fluentdによるログ収集システムの構築～基本編
サーバーのセットアップ fluentdのインストール公式ドキュメントのとおり、インストーラーを実行してインストールします。 $ curl -s http://toolbelt.treasuredata.com/sh/install-redhat.sh | sudo bash 実行すると、TresureDataのリポジトリ(/etc/yum.repo.d/td.repo)が作成され、RPMパッケージがインストールされます。 [vagrant@fluentd-server ~]$ curl -s http://toolbelt.treasuredata.com/sh/install-redhat.sh | sudo bash This script requires superuser access to install rpm packages. You will be prompted f
Fluentdと戯れる - サーバーワークスエンジニアブログ
カメラマン兼プログラマー(ぶちょお兼取締役談)の竹永です。 カメラのレンズを購入していなかったら、洗濯機が買えていたことに最近気がつきましたが、反省も後悔もしていません。良い子は真似しないでください。 さて、僕の近頃の業務はビッグデータやBIなど、レイヤーが上であっち方向の検証業務が多めです。 検証するためにはあっち系ツールの他に、日頃から発生しているデータをたくさんかき集めないといけませんが、そんなデータをローカルに持っているわけがありません。 ということで、社内と雲の上に転がっている色々なものから、色々なデータをかき集めることにしました。 前提条件 相変わらずEC2上のAmazon Linuxで検証しています。 それぞれのバージョンは以下のとおりです。 amzn-ami-hvm-2015.09.0.x86_64-gp2 (ami-9a2fb89a) Fluentd v2.2.1 (td
いまさらだけど fluentd に入門した - えいのうにっき
仕事で僕が担当してるプロダクトでも、「そろそろ fluentd を...」という話題が出始めた。 社内の別プロダクトでは既に導入されてるものもあったりして、たぶん会社的にはノウハウも溜まり始めてきてるとは思うんだけど、なにせ僕自身が fluentd について雰囲気しかわかってないままだったので、それじゃイカンなと、いまさらだけどようやく fluentd に入門した。そのついでにメモった内容を晒す。 入門前のイメージ みんな「アプリは何も考えず、とりあえず fluentd に投げとけば幸せになれる」って言ってる なので、そういう感じの存在なんだろうな fluentd は、くらいの理解しかない 具体的にどう幸せになるのかはあんまり想像が付いてない "d" がついてるので、デーモン的な何かかな？ ロゴがイカしてる くコ:彡 ゴール 実際に導入するとなったら具体的にどんなことをしなければいけないの
Ubuntu 16.04でDockerコンテナに複数NICをブリッジする - Qiita
こんにちは、@hico_horiuchiです。 DockerコンテナにDockerホストのNIC 2つをブリッジ接続する機会があったので、その方法をまとめておきます。 複数セグメントに疎通が必要な場合や、DHCPdなどL2接続が必要な場合に役に立つと思います。 最終的な構成 最終的にDockerコンテナ〜Dockerホスト〜ネットワークの構成は下記のようになります。 Dockerのネットワークについては Docker の基本学習 ~ Docker のネットワーク - Qiita を参照。 Dockerホストのセットアップ ネットワークの設定 eth0 と eth1 の2つのNICを持つVMを用意し、Ubuntu Server 16.04をインストールしました。 NICの命名が ensXX になっている場合は、下記を参考に /etc/default/grub を修正します。 networki
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
取得に失敗しました - おのかちお's blog
rsyslogの設定 · Linux config manual