CentOSのログ出力の仕組み (journaldとrsyslog) | 電算星組
CentOSのログ出力について今まで雰囲気で乗り切っていましたが、いい加減に仕組みを覚えようと思い立ち、手を動かしながら調べてみました。 CentOSのログ出力の概要 CentOSのログ出力は以下の概要図の通りです。journaldとrsyslogが連携して動作しています。 journaldとrsyslogは、システム内に常駐するデーモンプログラムです。サービス名は、systemd-journald.serviceとrsyslog.serviceです。 # systemctl list-unit-files | grep -E "(systemd-journald|rsyslog)\.service" rsyslog.service enabled systemd-journald.service static journaldの役割 journaldは、各ソースからログを受信し、メモリ上
Fluentdの設定調査 - Qiita
メモ @が必要なシステムパラメータ @type，@id，@label，@log_levelはプラグイン本体の設定ではなくて Fluentdコアの設定なので@をつける。 format指定 format による指定は古い設定方法。 v1.0からparse プラグインとして 内で指定することが推奨されている。 例) 古い設定方法 <source> @type tail path /var/log/httpd-access.log pos_file /var/log/td-agent/httpd-access.log.pos tag apache.access format apache2 </source>
Dive Deep Redis ~ 入門から実装の確認まで - hayashier Tech Blogs
——————————————————————————————————————————————————— Redis(REmote DIrectory Server)Redisは例えば以下の特徴を持つLLOOGGを元としたインメモリの非リレーショナルのデータベースです。 String, List, Hash, Set, Sorted Setに代表される豊富なデータ型シングルスレッド処理イベント駆動処理 by aeライブラリ通常RESPプロトコルによるクライアント/サーバーモデルでリクエスト/レスポンスデータは条件を満たす場合にメモリ最適化されて保存。CPUとのトレードオフRAXを利用したメモリ利用量の最適化(Redis 4.0~)この記事では、入門から始まり、実装をより意識することで深く理解することを目標としています。 以下の説明中の(*)マークは、特にVanilla Redisでの話となり
Ubuntu 20.04にRedisをインストールしてセキュリティを保護する方法 | DigitalOcean
このチュートリアルの以前のバージョンは、Justin Ellingwoodによって作成されました。 はじめに Radis は、柔軟性、パフォーマンス、幅広い言語サポートで知られるインメモリ型の Key-Value ストアです。このチュートリアルでは、Ubuntu 20.04サーバーにRedisをインストールし、設定、保護する方法を説明します。 前提条件 このガイドを完了するには、sudo権限が付与されたroot以外のユーザー、ufwで設定したファイアウォールを備えたUbuntu 20.04サーバーへのアクセスが必要です。Ubuntu 20.04初期サーバーセットアップガイドに従ってこれをセットアップします。 ステップ1 — Redisのインストールと設定 APTパッケージマネージャーを使用して、公式UbuntuリポジトリからRedisをインストールします。執筆時点では、デフォルトリポジトリ
fluentdメモ - (3) 設定ファイル調査 Input/Fileter/Output編 - Qiita
はじめに fluentdに関するメモ書きです。ここでは、設定ファイル(主にInput/Filter/Output関連)について調査/テストした内容を記載します。 関連記事 fluentdメモ - (1) インストール/簡易操作 fluentdメモ - (2) 設定ファイル概要 fluentdメモ - (3) 設定ファイル調査 Input/Fileter/Output編 fluentdメモ - (4) 設定ファイル調査 Buffer編 設定ファイルメモ 入力関連 tcp 特定のポートをListenしてTCPによりJSONデータを受け取ってみます。 <system> log_level debug </system> <source> @type tcp port 8081 tag tcp.event bind 0.0.0.0 <parse> @type json </parse> </sou
fluentdメモ - (2) 設定ファイル概要 - Qiita
はじめに fluentdに関するメモ書きです。ここでは、設定ファイル周りについて記載します。 <環境> RHEL V7.5 td-agent v3 (fluentd v1) 関連記事 fluentdメモ - (1) インストール/簡易操作 fluentdメモ - (2) 設定ファイル概要 fluentdメモ - (3) 設定ファイル調査 Input/Fileter/Output編 fluentdメモ - (4) 設定ファイル調査 Buffer編 概要 fluentdは、データの収集/加工に使われるソフトウェアであり、Logstashなどと同じように基本的には Input => Filter => Output という処理が行われます。 Logstashの設定ファイルは、この機能の名前と設定ファイルで指定する名前が一致する(設定ファイルでもInput/Filter/Outputというキーワー
RedisのlistとpubsubとRabbitMQを使い分けを考える - GAミント至上主義
2017年1月現在、ビッグデータ処理プロジェクトoceanusは下記のようなデータの流れをしています。 GEK上でDockerを使ってアプリケーションを構成していますが、Redisのリスト型、pubsub型に加えて、最近RabbitMQも使い始めたので、どう使い分けしているかを整理してみる。 Redis list型 順番を持ったリストで、左から入れたり、右から入れたり、逆に取り出したりすることができる。 リスト型 — redis 2.0.3 documentation 用途 データを失いたくない1対1のデータ処理。 oceanusでは、armsでHTTPリスエストをバリデーション等をした後にlistに保存し、r2bq（Redis to BigQueryの略）が取り出して、BigQueryに保存している。 BigQueryに保存したらもう必要がなくなり消えるので、基本的にRedisに保存され
【入門】Redis - Qiita
背景 現在、自社サービスで Redis を利用していることもあり、あらためて勉強、まとめてみました。 今回は、Redis の概要・特徴・設定・レプリケーションの基礎的な部分を記載しています。 ※間違いなどありましたら、ご指摘いただければ幸いです。 Redis の概要 この章では Redis の概要を記載しています。 Redis = REmote DIctionary Server の略です。 Redis は、Key-Value型 の NoSQL データベースです。 Redis は C 言語で書かれており、Open Source (BSD licensed) で開発されています。 Redis は Client-Server モデル を採用した インメモリデータベースです。 すべてのデータをコンピュータのメインメモリ上に展開しながら動作します。 他にも、インメモリDB として、 memcach
k8s 上での Redis の永続化戦略 - あれ
Redis を起動すると次のようなログが出力されることがある。 1:M 31 Aug 2020 12:36:07.554 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect. これは残メモリが少ないときにバックグラウンドでの永続化に失敗することがあるので vm.overcommit_memory = 1 としといたほうがいいぞ、という内容であ
iptablesが難しいためufwでWEBサーバーのファイアウォール設定 - Qiita
サーバーに簡単にファイアウォールの設定を施してくれるufwの扱い方に関する内容です。 自分でWEBサービスを動かしていますが、インフラに関する知識がまだまだ乏しいため、WEBサービス周りのインフラ環境は貧弱です。しかし、今の時代は小さなサービスでも攻撃を受ける可能性があるため、最低限のセキュリティ対策は必須です。 そこで今回は、最低限のセキュリティ対策としてLinuxサーバーにファイアウォールの設定を施します。この記事では、そのファイアウォールを簡単に設定してくれるufwの使い方をまとめてみました。 ufwとは ufw（Uncomplicated FireWall）とは、Linuxの「Netfilter」によるファイアウォールを管理して操作するためのiptablesをラッパーした機能のことです。 もう少しわかり易く言うなら、Linuxにはパケットフィルタリング(ファイアウォール)やNATを
LBノードの構築
上記の通りにkeepalivedの設定ファイルを作る｡ まず､初期Masterとなるノードを設定する｡ Masterのインタフェースは以下の通り｡ $ ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: ens32: <BROADCAST,MULTICAST,UP,LOWER_
haproxyを試す 4.ソケット接続とステータス出力 - harumaki.net
Last Updated on 2021年7月4日 by かんりにん haproxyでステータスやバックエンドサーバーの状態やプールを確認する場合、コマンドラインからチェックできるツールは無い様子。代わりにソケットリレーツール”socat(SOcketをCATする、の意ですよね)”を使い あらかじめ用意しておいたソケットへアクセスし、いろいろチェックをする、という利用方法になるとのこと。ささっと試してみました。 参考：お世話になっております。 HAProxy Stats Socket and fun with socat. ソケットアクセスの方法 socatを介してアクセスするソケットとしては、一般的な TCPソケットでアクセス UNIXソケットでのアクセス の二つを選ぶことができ、 TCPソケットの場合はwebページからのステータス確認が可能 (apacheのserver-statusが
haproxy設定の自分メモ（redisのrevproとして） - ふわっとしたやつ
これは何 redis+sentinelの前段にhaproxyを置いてクライアントがあんまりnode poolを意識しなくてもよさそうな感じにしたい。 devだけで適用して本番には適用していないので甘いところはあるかも。 方針 redis slaveにgetを負荷分散したりするほど負荷は高くない系に使えるかも。 常にmasterに接続しに行き、slaveは待機系。 設定ファイル ansible templateの形。 global {# chroot内で動いているため/dev/logへアクセスできない。そのためUDP経由でrsyslogにログを渡す。-#} log 127.0.0.1 local2 chroot {{ HAPROXY_JAIL_DIR }} user {{ HAPROXY_USER }} group {{ HAPROXY_GROUP }} daemon {# maxconn:
L4負荷分散の設定 | サーバ技術 | 電算星組
クライアントからの通信を受け付け、L4レベルの負荷分散を行うHAProxyの設定を説明します。 本設定を適用するケースは、DMZや社内サーバファームに設置しているサーバに対して、L7レベルのアプリケーションプロキシは行わず、L4レベルのシンプルな負荷分散を想定しています。 前提条件 基本設定が完了している状態から設定を行います。 作業は、root権限を持つユーザで実施します。 OSおよびHAProxyは、以下のバージョンで検証しています。 # cat /etc/redhat-release CentOS Linux release 8.0.1905 (Core) # uname -r 4.18.0-80.el8.x86_64 # haproxy -v HA-Proxy version 1.8.15 2018/12/13 Copyright 2000-2018 Willy Tarreau 機
HAProxyをコマンドラインから操作する | work.log
OSS の L7 ロードバランサ HAProxy をコマンドラインから操作するメモ書きです。 今のところ特に利用していない機能ですが、運用ツール等を作成する際には割りと使えそうなので一通り試してみます。 検証に利用した HAProxy のバージョンは 1.4.23 になります。 スポンサーリンク コマンドライン操作の準備 そのままの状態では HAProxy をコマンドラインから操作することができないので、必要な設定をコンフィグファイルに追加します。 global stats socket /tmp/haproxy-cli.sock user root group wheel level admin stats timeout 30s stats maxconn 1 . . . 各パラメータには以下のように任意の引数を与えてあげます。 stats socket <ソケットを作成するパス> <
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ubuntuでログローテートするためにfluentdを導入する｜BaronHack