CentOS7.5 の fsnotify がレースコンディションを起こすバグを nginx + td-agent + in_tail プラグインで踏む - hibomaの日記
2018/7/18 追記 3.10.0-862.9.1.el7 で fix されました hiboma.hatenadiary.jp 2018/7/4 追記 最新の情報はこちらにまとめています hiboma.hatenadiary.jp 2018/6/16 追記 CentOS Plus の kernel-plus では修正が入っています. 詳しくはこちらをご覧ください hiboma.hatenadiary.jp エントリの概要 CentOS7.5 の fsnotify() がレースコンディションを起こすバグを、 nginx + td-agent (fluentd) + in_tail プラグインで踏んだ際の調査内容を記していきます. イントロダクション このエントリを書いた時点では、CentOS 7.5.1804 以降でリリースされているカーネルは 3つありますが、カーネルの fsnotif
initial-setup-script-for-centos.html
CentOSでサーバを立てたときに、まず最初に必ずやっておきたい初期設定がある。 その作業の一覧が以下のとおり。 パッケージを最新化する 新規ユーザを作成する suコマンドを制限する suコマンドを実行可能なユーザ・グループを限定する 特定のグループ以外suコマンドでrootに昇格できないように制限する パスワード入力なしでsudoコマンドを利用できるようにする ssh接続を制限する rootユーザのsshログインを禁止する sshで公開鍵認証のみ接続を許可する sshでパスワード認証を禁止する 公開鍵をサーバに登録する sshdサービスを再起動する iptablesまたはfirewalldの設定 ←今回はやらない Webアプリケーションをつくりたくて、WebサーバとAPサーバを用意しようと思ったが、毎回この初期設定をするのが超絶メンドそう...。 ということで、自動化するために初期設定を
DockerとMakeを利用したRPMパッケージのビルド環境 | メルカリエンジニアリング
SREチームの@cubicdaiyaです。今回はDockerとMakeを利用したメルカリの自作RPMパッケージのビルド環境について紹介します。 メルカリの自作RPMパッケージ事情とVagrant、そしてDocker メルカリの開発およびプロダクション環境では現在CentOS6と7を利用しており、随時CentOS7へ移行中です。そのため、自作RPMパッケージをビルドする際はCentOS6と7向けにそれぞれビルドしています。ビルドしたパッケージはyumリポジトリサーバにアップロードした後、必要に応じてyumでインストール、Ansibleのplaybook化を行います。 RPMパッケージの作成はSREチームのメンバーが行っており、各自のローカルマシン上において make {パッケージ名} を実行するだけでCentOS6と7向けのRPMパッケージをビルドできる環境をDockerで構築しています。
ip コマンド チートシート for Red Hat Enterprise Linux
ip コマンド チートシート for Red Hat Enterprise Linux IP クエリ サブコマンド 説明およびタスク addr (アドレスの省略形) IP アドレスとプロパティ情報を 表示する ip addr すべてのアドレスの情報を表示する ip addr show dev em1 em1 デバイスの情報を表示する link すべてのネッ トワークインターフェイスの状態を管 理および表示する ip link すべてのインター フェイスの情報を表示する ip link show dev em1 em1 デバイスの情報を表示する ip -s link インターフェイス統計を表示する route ルーティ ングテーブルを表示および変更する ip route カーネルのルートエントリをすべて表示する maddr マルチキャストの IP アドレスを管理および表示する ip madd
CentOS 6になったらTomcatのJVMが仮想メモリを大量に確保するようになった
CentOS 6になったらTomcatのJVMが仮想メモリを大量に確保するようになった 2013-11-19 CentOS 5+Tomcat 7+JDK 7+Apacheという組み合わせで動かしていたサーバ群に、OSだけCentOS 6にしてミドルウェアのバージョンは変えないサーバを何台か追加したところ、CentOS 6の方が、Tomcatが確保している仮想メモリ量が圧倒的にでかいことに気づいた。 ちなみに、どちらのサーバもヒープサイズは「-Xmn1024m -Xmx2048m -Xms2048m」となっており、本来なら2GBプラスアルファ(コードキャッシュ他の領域分)しかメモリは食わないはずだ。もちろん、ロードバランサではどちらのサーバにも同じ重みでアクセスを流していおり、負荷は同じのはず。 CentOS 5のサーバ こちらはざっくり3GB弱の仮想メモリを確保していると出ている(左から5
コンテナホスト向けOS環境「CentOS Atomic Host」や「Snappy Ubuntu Core」を試す | さくらのナレッジ
コンテナの普及に伴い、アプリケーションはすべてコンテナ内で稼動させるという構成を採用する例も珍しくなくなってきたが、こういった構成を取る際に検討が必要なのが、どのOSをコンテナのホストとして利用するかという点だ。そこで今回は、このような運用スタイルに向けたOS環境である「CentOS Atomic Host」と「Snappy Ubuntu Core」を紹介する。 Red HatやUbuntuがリリースする特化型OS 近年普及が進んでいるDockerでは、基本的にすべてのアプリケーションはコンテナ上で動作させることになる。この場合、Dockerホスト上にはDockerを実行させるための必要最小限のソフトウェアのみが含まれていれば良い。こういったDockerホストに特化したOSが最近注目されている。 コンテナの稼動に特化したOSとしてよく知られているのが以前にも紹介した「CoreOS」だが、昨
Packerを使ってVirtualBoxやKVM/Xen向けの仮想マシンイメージを作成する | OSDN Magazine
PackerにはVirtualBoxやQEMU（KVMおよびXen）などの仮想マシンイメージを作成する機能が用意されており、仮想マシン作成を自動化できる。今回は、Packerを使ってVirtualBoxおよびQEMU（KVM）用の仮想マシンにOSをインストールしてディスクイメージを作成する例を紹介する。 Packerを使って各種仮想マシン用のディスクイメージを作る 前回記事ではPackerを使ってDocker用のイメージを作成する方法を紹介したが、今回はDockerではなく仮想化ソフトウェア向けのイメージを作成する方法を紹介していこう。 Packerではさまざまな仮想マシンやクラウドインフラ向けのディスクイメージを作成できるが、今回はCentOS 7のインストールISOイメージを元に、VirtualBoxとQEMU（KVM）向けのディスクイメージを作成する流れを紹介する。 VirtualB
systemd時代に困らないためのlimits設定 | 外道父の匠
数年前に、こういう記事「ulimitが効かない不安を無くす設定」を書きました。しかし、ディストリビューションのバージョンが上がり、デーモン管理が systemd に変わったことで、インターネットのゴミとなりつつあります。 そのため今回は、その次世代バージョン的な内容ということで、systemd の場合はこうしておけば見えない敵と闘うこともなくなるはずです、というものになります。例によって、抑えきれていないパターンがあったら御免なさいです、押忍。 limits設定で目指す所 復習になりますが、limits の設定で困るのはだいたいこういうパターンでしょう。 作業中ユーザーのシェルのlimits設定が思い通りにならない コンソール／SSHログインしてデーモンを再起動したら、limits設定が戻っていた su/sudoを使ってデーモンを再起動したら同上 デーモンをシステムに自動再起動させたら同上
rsyslogd と journald の違い・住み分け - えいのうにっき
最近、ちょっと基礎から見直し中なんだけど。 基礎からやり直す pic.twitter.com/klggTNCben— いのうえ (@a_know) 2016年3月13日 ↑のような本を読みつつ、よくわかんないところは本以外でも調べてみて、それでもわかんないところは社内の Qiita:Team に雑に書いてみたり、会社の知ってそうな人（インフラエンジニアさんとか）に聞いてみたりとかしてる。すんごい初歩的な質問をしてもみんな全力で教えてくれるから、もうまじイケメン。 で、今回タイトルの内容についてスッキリしたので、Qiita:Team だけじゃなく、このブログにも書いてみる。 rsyslogd と journald の違い・住み分け このページにある図がわかりやすいっすよ、と、↓の画像を見せてくれた。 コラム - クラウド時代のオープンソース実践活用 | 第56回 RHEL7/CentOS7の
odコマンドを使用して特定プロセスの環境変数を綺麗に表示する - Qiita
serviceや別のシェルから起動されたプロセスがどんな環境変数で動いているのかを確認したいことが時々あります。 いままではcatを使って表示していましたが、odを使うと見やすいことに気づいたので共有しておきます。 動作確認環境 CentOS 6.6 CentOS 7.0 catによる環境変数の表示 実行中のプロセスに関連した情報は/proc/[PID]の下に格納されており、環境変数は/proc/[PID]/environで見ることができます。 $ cat /proc/[PID]/environ LANG=ja_JP.utf-8USER=sheileLOGNAME=sheileHOME=/home/sheilePATH=/usr/local/bin:/usr/binMAIL=/var/mail/sheileSHELL=/bin/zsh... この方法でも一応見ることができますが、各設定の区
現代ITインフラの王道をゆくLinuxパッケージ管理の基本構成 | 外道父の匠
RedHat系におけるRPMパッケージを扱うYUM、Debian系におけるDEBパッケージを扱うAPT、これらはサーバー管理において重要なわけですが、絶妙な度合いで、おざなりに扱ってもわりとなんとか運用出来てしまう感があります。そのため今一度、こんな感じが今風のスタンダードじゃないっすかね（ｷﾘｯ という構成を説明してみます。 ぶっちゃけ、たいしたことないネタの集合体なので、タイトルに下駄を履かせました。 そもそもパッケージは必要なのか 言うまでもなく必須です。理由は、インストール物のファイル管理が容易になるのと、インストール時間を短縮できるからです。既存のパッケージでconfigureオプションが物足りない時や、RPMパッケージが存在しない場合は作成することになります。 最近はプロビジョニング・ツールによって全て自動化できるので、超簡素なコンパイルのものはレシピに落とし込んで終わりにした
CentOS で始める etcd
最初の etcd インスタンスを起動すると以下のようなメッセージと共に etcd が起動します。 bash-4.1# etcd -peer-addr 127.0.0.1:7001 -addr 127.0.0.1:4001 -data-dir machines/machine1 -name machine1 & [1] 42 bash-4.1# [etcd] Nov 22 18:05:35.464 INFO | machine1 is starting a new cluster [etcd] Nov 22 18:05:35.466 INFO | etcd server [name machine1, listen on :4001, advertised url http://127.0.0.1:4001] [etcd] Nov 22 18:05:35.467 INFO | peer se
%25E3%2582%25A4%25E3%2583%25B3%25E3%2582%25B9%25E3%2583%2588%25E3%2583%25BC%25E3%2583%25AB_on_Virtualbox_%25E3%2581%259D%25E3%2581%25AE2)
CentOS7インストール(install)手順 on Virtualbox その2 - Opensourcetechブログ
こんにちは、鯨井貴博@opensourcetechです。 その1の続きです。 インストールログに「single cpu 64-bit physical systems are unsupported.」「Failed to access perfetr msr....」とありエラーっぽいですが、 そのまま続行出来ます。 まずは言語の設定。 日本語を選択しました。 続いて、各種設定です。 ネットワーク設定。 デフォルトでは接続されていないので、 「オン」として有効化します。 NICの名前もeth0ではなく、enp0s3となっていますね。 Linux起動時にネットワークが利用出来るように。 「自動的に接続する」にもチェックを入れます。 そして、パーティション設定。 ハードディスクをフォーマットして、パーティションテーブルの情報をディスクに書き込みます。 パーティション設定が完了しました。 Li
【連載01】101.Vagrant-Ansible-Serverspecによるサーバ構築とサーバテスティング - Qiita
当記事はケーススタディの連載となっています。目次は【こちら】です。 最新のソースコードは【GitHub】で公開中です。 開発環境全体構成 OSバージョン情報 Windows 8 CentOS 7 VirtualBox 5.0.8 今回の主目的 自分のローカル環境に開発用サーバを構成し、自由にサーバの設定変更/破棄できる環境を構築することです。 構築にはサーバを直接操作するのではなく開発用サーバを準備しAnsibleにて再現可能なインフラ設定コーディングを行います。 その上で、作成したAnsible実装コードを本番サーバに対して実行する事により開発サーバにて担保のとれた設定を本番にも適用します。これで開発サーバでは設定したが本番サーバでは設定していなかった等のよくあるミスをなくす事が可能になります。 また折角サーバ設定をプログラミングで行ったのでテストに関しても、ドキュメントによるサーバ設定
プロセス数が最大になるとどうなるのか確認してみる - yk5656 diary (旧)
VirtualBoxにCentOSをとりあえずインストール の続き プロセス数が最大になるとどうなるのか確認してみる。 ユーザーが起動できる最大のプロセス数を10にする。 $ sudo vi /etc/security/limits.d/90-nproc.conf * soft nproc 1024 hoge soft nproc 10 ←追加する root soft nproc unlimited 一旦ログアウトして、ログインし直す。 適当に、topコマンドでもバックグラウンドで走らせておく。 $ top & 何回か繰り返すと、 下記のような感じでエラーになる。 $ top & -bash: fork: retry: リソースが一時的に利用できません -bash: fork: retry: リソースが一時的に利用できません -bash: fork: retry: リソースが一時的に利用で
Xvfb を使って仮想ディスプレイを作る - CUBE SUGAR CONTAINER
Xvfb (X virtual framebuffer) は X Window System の仮想ディスプレイを作ることのできるソフトウェア。 これを使うと実際にスクリーンがない状態でも GUI が必要なソフトウェアを使えるようになる。 今回使う環境には CentOS7 を選んだ。 $ cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) $ uname -r 3.10.0-327.3.1.el7.x86_64 下準備 まずは GUI を必要とするソフトウェアとして Firefox をインストールしておく。 $ sudo yum -y install firefox ipa-{,p}gothic-fonts ipa-{,p}mincho-fonts 次にランレベルを確認しておく。 単なるマルチユーザモードなので、通常であ
お前らもさっさとハマって泣くべきCentOS7の落とし穴4つ - Qiita
CentOSの6から7への移行時、何度かつまづいた箇所があったので紹介します。 前提知識 6と7のミドルウェアの違いやSystemdの基本的な使い方はこのあたりを参考にしてください。 CentOS6とCentOS7の比較表 保存版 CentOS7とCentOS6との違いまとめ 落とし穴1: 消える/tmp CentOS7にtmpwatchは入っていません。 だからといって何も考えずに/tmp下にキャッシュ等の一時ファイルを吐き出していると、 いつの間にか消去されていて泣くハメになります。 CentOS7にはtmpwatchはありませんが、その代わり systemdの systemd-tmpfiles-clean.timer がその役割を担っています。 このサービスはtmpwatchと同じように、/tmp下に使われていないファイルを一定期間経つと削除します。 消されたくないファイルがあるのな
CentOS 7のシステム管理「systemd」をイチから理解する
CentOS 7のシステム管理「systemd」をイチから理解する：CentOS 7で始める最新Linux管理入門（2）（1/4 ページ） 「systemd」は、Linuxの起動処理やシステム管理を行う仕組みです。systemdはinitの限界を克服するために作られた新しいシステム管理アーキテクチャで、CentOS 7でも用います。では、何が違うのでしょう。これまで使われてきた「init」と比較しながら、基礎と課題を解説します。 連載バックナンバー 前回解説した「ここが変わった、CentOS 7のポイント」に続き、今回はより実務にLinuxの起動処理やシステム管理を行う「systemd」をあらためてイチから解説します。 CentOS 7では、これまで使われてきた「init」の限界を克服するために作られた新しいシステム管理アーキテクチャとして、このsystemdを使います。 まずはその特徴を
MySQL5.7で遊んでみよう
MySQL 5.7 was released on October 19, 2015. The document discusses exploring new features in MySQL 5.7 such as the sys schema, full-text search improvements including ngram parsing, and enabling the MeCab plugin for Japanese morphological analysis in full-text searches. It provides steps to install MySQL 5.7 on CentOS, set the initial root password, change validation settings, and optimize the ful
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
yum updateで古いマイナーリリースへ固定する
