第723回 複雑なコマンドパイプラインを簡単に組み立てる方法 | gihyo.jp
パイプライン処理とは GUIは非常に直感的です。はじめて使うアプリであっても、なんとなくそれなりに動かせてしまうという点で、優れたインターフェイスと言えます。しかし効率を突き詰めると、軍配が上がるのはGUIよりもCLIでしょう。本連載の読者であれば、UnixライクなOSのCLIが持つパワーについては当然ご存知かと思います。 とはいえ、古典的なUnixコマンドの多くは、単体ではそれほど強力なものではありません。というのも、ひとつひとつのコマンドはシンプルに、特定の用途においてのみ上手く動作するよう設計されていることがほとんどだからです。こうしたコマンド群に無限のシナジーを与えるのが「パイプライン処理」です。標準入出力を通じて複数のコマンドを直列に繋げることで、複雑な処理をインスタントに組み立てることができるパイプラインは、まさにUnix哲学の体現であり、CLIの真髄はここにあると言ってもよい
Linuxのfree コマンドの見方とオプション ~availableやbuff/cacheの定義~
メモリの状態確認コマンド freefree コマンドはメモリの利用状態を確認することができます。 例えば以下のように表示されます。(数値の単位は KiB= 1024 Bytes) [root@localhost ~]# free total used free shared buff/cache available Mem: 3868920 197528 3402296 8680 269096 3444844 Swap: 839676 0 839676ヘッダ (total, used, free, shared, buff/cache, available) のそれぞれの関係は下図の通りです。 このコマンドで、メモリの空き状況を確認したいのであれば、free を見るよりも available を見ましょう。 というのも、Linux の特性として「空きメモリを無駄にしない」という設計思想の元
色々できるとおもわれがちな人ができないこと - 覚書
はじめに 以下記事の続きです。実例編といってもいいかもしれません。 satoru-takeuchi.hatenablog.com 完璧超人とまではいかないでしょうが、わたしも次の理由によりSNSなどでは「いろいろできるすごい人」「低レイヤに詳しい人」と思われがちです。 Linuxカーネルに詳しい。カーネルに詳しい人は無条件でなんでもわかっていると誤解されることが多々ある 自分あるいは自分が所属している組織の成果をよく宣伝する。このため、そういうことを好まない人に比べて「何かできる人」という印象がつきやすい twitter上でそれなりに認知されている、かつ、twitter上で様々なすごい人とよく話している。「すごい人と話しているとすごい」と思われがち。 本記事の趣旨は、その私が世の中で想像されるほどいろいろできるわけではない、できることは限られているということを書いてみようということです。自
ext4のパーティションをWindowsで読み書きする方法
Ubuntuなど多くのLinuxディストリビューションで、「ext4」というファイルシステムがデフォルトとなっています。しかし、Windowsはext4に対応していないため、Linuxで使っていたUSBハードディスクをWindowsに差しても読み書きすることができません。また、WindowsとLinuxをデュアルブートしている場合、LinuxからWindowsのファイルを読み書きできても、Windowsの標準機能ではLinuxのパーティションを読み書きすることができません。 Windowsからext4のパーティションを読み書きしたい場合は、「Ext2Fsd」をインストールしましょう。ext4だけでなく、より古いバージョンの「ext3」や「ext2」でフォーマットされたパーティションも読み書きできるようになります。 Ext2FsdのインストールExt2Fsdのダウンロードサイトにアクセスし、
大規模システムでの Linux のメモリ管理
(This post is also available in English.) この記事は Linux memory management at scale を 著者の Chris Down さんの許可 を得て Hiroaki Nakamura が日本語に翻訳したものです。 原文のライセンス は CC BY-SA 4.0 であり、翻訳のライセンスも同じく CC BY 4.0 とします。 cgroup2 プロジェクトでの私の仕事の一部として Linux システムのリソース管理についてエンジニアと話すことに多くの時間をかけてきました。 これらの会話を通じてどんどん明らかになってきた 1 つの事実は多くのエンジニアは、シニア SRE たちでさえも、 Linux のメモリ管理についていくつかのよくある誤解を持っていて、そしてそれが彼らがサポートするサービスやシステムが本来確実に稼働したり効率的
/ - GROWI
Last revision posted at 2020-09-28 10:51:52 by ksawada1979 Created at 2020-09-07 14:31:39 by ksawada1979
ディストロ別 logrotateで使えないディレクティブまとめ - Qiita
どのLinuxディストロにも必ず入っているlogrotateですが、バージョンの違いにより別ディストロでのノウハウが使えなかったりすることがままあります。 そこでディストロ別に使用できないディレクティブをまとめてみました。 まえがき 確認は2020/5/4時点のものです。 以下で述べるlogrotate最新版は 3.16.0 を指します。 各ディストロのlogrotateパッケージは2020/5/4時点の最新版です。 不具合修正、挙動の違いは省略しています。 比較表 RHEL/CentOS 6.10 3.7.8-28.el6 Amazon Linux 2018.03 3.7.8-26.14.amzn1 RHEL/CentOS 7.8 3.8.6-19.el7 Amazon Linux 2 20200406 3.8.6-15.amzn2 RHEL/CentOS 8.1 3.14.0-3.el
Linux メモリ管理を理解したい - Qiita
Linux カーネルのメモリ管理方法について、勉強したことをまとめる。 メモリ管理はハードウェアに強く依存するため、x86_64 かつ OS起動後に 64bitプロテクトモード に移行したあとに話を絞る。また、OS は CentOS7.6、カーネルは次のバージョンを利用する。 ]# cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core) ]# uname -a Linux localhost.localdomain 3.10.0-957.21.3.el7.x86_64 #1 SMP Tue Jun 18 16:35:19 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux 概要 ノイマン型アーキテクチャ コンピュータの基本的な構成のひとつ。次の図が参考になる。 ほぼ全てのコンピュータが、このアーキ
Linux｜ネットワークの状態確認(ping, ifconfig, netstatなど) - わくわくBank
ネットワーク状態を確認するためのコマンド、設定ファイルについて解説します。サーバーに接続できないとき、開いているポートを知りたいときなどに役立つ情報です。 $ ifconfig -a eth0 Link encap:Ethernet HWaddr XX:XX:XX:XX:XX:XX inet addr:XXX.XXX.XXX.XXX Bcast:XXX.XXX.XXX.255 Mask:255.255.255.0 inet6 addr: XXXX::XXXX:XXXX:XXXX:XXXX/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:9001 Metric:1 RX packets:1725009881 errors:0 dropped:0 overruns:0 frame:0 TX packets:1576295375 errors:0
「Linuxのしくみ」をもっと早く読んでおけばよかったと後悔した - ばーろぐわにる
きっかけ Linuxエンジニアとしての基礎力のなさを見抜かれ、これ読んでみるといいよとおすすめされたのがきっかけ。 gihyo.jp 大変お恥ずかしい話だが、自分はエンジニア7年目にして初めてLinuxについての本を読んだ。それまではなにか上手くいかないことがあればブログやQiitaを参考にコピペしてその場しのぎしていただけだった。 目次 第1章 コンピュータシステムの概要 第2章 ユーザモードで実現する機能 第3章 プロセス管理 第4章 プロセススケジューラ 第5章 メモリ管理 第6章 記憶階層 第7章 ファイルシステム 第8章 ストレージデバイス おもしろかったところ メモリ管理 プログラムは直接物理メモリにはアクセスしない。仮想メモリを通して物理メモリにアクセスする forkしたとき、仮想メモリは書き込み権限が付与されずに同じ物理アドレスが紐付いたままの状態。子プロセスで書き込みが走
Amazon EC2(Linux)システム管理で知らないとハマる5つの環境設定 | DevelopersIO
ども、大瀧です。みなさん、EC2をバリバリ使ってますか?使いたいときにすぐ使える仮想マシンとして、開発・検証から本番まで幅広く活用されていると思います。 日頃EC2を業務で運用する中で、EC2インスタンスをコピーすると意図しない環境設定に変わってしまうというトラブルが度々あり、cloud-initというツールに拠ることがわかってきました。 「EC2インスタンスのコピーなんて、一旦インスタンスを作成したあとはあまりやらないのでは?」と思われがちですが、EC2独特の制限などもあり、実際の運用では思ったよりも頻繁にインスタンスのコピーが必要になります。インスタンスのバックアップ&リストアなどはイメージしやすいと思いますが、それ以外にも意外なケースとして以下があります *1。インスタンスのコピーは、AMI(Amazon Machine Image:インスタンスのバックアップ)を取得し、新規インスタ
不審なプロセスがないのにメモリ使用量が高い場合はslab領域の肥大化を疑うといいかも
メモリのfreeが10%を切ったとアラートが飛んできた時の対応のメモです。 top を見てもあやしいプロセスが見つからなくて、 /proc/meminfo を見てみると slab領域の肥大が確認できました。 slabtop で dentry_cache が肥大化している事がわかったので、 echo 2 > /proc/sys/vm/drop_caches を実行しました。 というはなし。 freeコマンドで現在のメモリの使用量を確認する [root@bacchi ~]# free total used free shared buffers cached Mem: 1030516 971468 59048 1088 278348 166456 -/+ buffers/cache: 526664 503852 Swap: 2064380 654596 1409784 確かにこのサーバーはメモ
logrotateの設定とファイルのアクセスモードについて
忙しい人のために先にまとめログファイルのopen時のアクセスモードは os.O_WRONLY|os.O_APPEND|os.O_CREATE を指定するlogrotateの設定には nocreate を渡すlogrotateではファイルをmvした後に行う処理が書けるので、そこでアプリケーションに対してシグナルを送ることでlogrotateの処理を実装できるfluentdはログのローテートを頑張って検知している ファイルディスクリプタについてファイルを open するとファイルディスクリプタを得られます。ファイルに書き込む際にはファイルディスクリプタ経由で書き込みを行います。 Linuxシステムプログラミング 23pをちょっと長めに引用します。 ファイルを読み書きする前にはオープンする必要があります。カーネルはオープンしたファイルをプロセスごとに管理しており、これをプロセスのファ
LinuxにおけるOOM発生時の挙動 - Qiita
はじめに これはLinux Advent Calendar 2015 3日目の記事を2016/2/2に編集したものです。 Linuxにおいてシステムの物理メモリが枯渇したOut-Of-Memory(OOM)という状態になった際の挙動について説明しています。OOMに関連が深いsysctlパラメタを紹介するとともに、カーネルの内部論理についても触れました。 本記事に記載されているファイル名は、とくに断りが無ければカーネルソースのトップディレクトリからの相対パス名です。調査に使用したカーネルバージョンは4.3です。 本書は話を単純化するために、細かい動作論理については説明を省いていることをご承知おきください。また、本書の中に誤りを見つけたかた、および、私が追いきれなかったソースについての詳細をご存知のかたは、指摘していただけると助かります。 Out-Of-Memory(OOM)とOOM-kill
Linuxカーネルパラメータの設定とチューニング、デフォルト値の調べ方 - oneのはてなダイアリー
概要 1. カーネルパラメータの設定 2. 主なチューニングパラメータ 3. パラメータのデフォルト値の調べ方 1. カーネルパラメータの設定 カーネルパラメータは、次の2箇所で設定できます。 ①/etc/sysctl.conf 設定ファイルに記述します。 システム起動時に反映されるため、恒久的に適用したい場合にはsysctl.conf に記述します。 ②/proc 以下 /proc 以下の各ディレクトリツリーのファイル内に必要な値を記述する即時反映されるが、再起動すると設定が元に戻ります。 一時的に反映したい場合に記述します。 • /procファイルシステム Linuxの最も特徴的な点として、 「システムの状態を”ファイル”という単位で扱う事ができる」ことです。 /proc 以下にシステムの現在の状態が記述されているファイルが存在します。 [/proc/net] $ cd /proc/n
Zabbixでsyslog監視(CentOS 7編) - Qiita
はじめに Zabbixでsyslog監視を行うためだけに、AllowRootを有効にすることはお勧めしません。 しかも、SELinuxをdisabledに設定することも避けるべきです。 さらに、Zabbixエージェントの設定で、EnableRemoteCommandsも有効にしていたら、危険度は数十倍増してしまいます。 zabbix_agentd.confのServerの設定でZabbixサーバーを指定しているからといっても、Zabbixサーバーを踏み台にすれば、各Zabbixエージェントがインストールされている甘い設定のサーバーへの攻撃が容易になってしまうことをご認識ください。 セキュリティ上問題のある甘い設定をした環境を攻撃されてもZabbixのせいにしないでくださいね。 想定環境 ということで、参考にすべきではない情報を駆逐するためにも、より安全な方法を整理してみます。 Zabbix
ぜんぶTIME_WAITのせいだ！ - Qiita
課題 突然キャンペーンとかの高トラフィックが来る！とか言われると色々困ることはあるものの、今のご時世クラウドだからスペック上げときゃなんとかなるでしょ。ってとりあえずCPUとかメモリあげて見たものの、キャンペーンが始まったら意外と早くブラウザからつながらない！！とか言われたりする。 CPUもメモリもそんなに負荷は特に高くもない。調べてみたらTIME_WAITが大量にあった。 とりあえず何とかしたい TIME_WAIT数をコマンドで確認 $ netstat -anp|grep TIME_WAIT __(snip)__ tcp 0 0 192.168.1.1:80 192.97.67.192:56305 TIME_WAIT - tcp 0 0 192.168.1.1:80 192.63.64.145:65274 TIME_WAIT - tcp 0 0 192.168.1.1:80 192.39
pwgen で、指定された文字を使ったパスワードを生成する - technokton
あるWebサービスのパスワードを変更しようとしたら、「8-20文字で、ローマ字、数字、ハイフン、アダーバー、ドットのみ利用可能」の条件があって困った。 パスワードを生成する時、いつもは pwgen で以下のように作っている。 $ pwgen -sy 20 1意味: 完全にランダムな英数記号で20文字のパスワードを1つ生成 記号は使いたいが、使えない記号があるので困る。 pwgen は利用する文字を細かく指定できないので、以下のようにして対応する事にした。 $ pwgen -1sy 20 10000 | egrep "[a-zA-Z0-9_.-]{20}"意味: 1行ずつ、セキュアで(完全にランダムな)、記号を含む、20文字のパスワードを 10000 個作る => その中からローマ字、数字、ハイフン、アダーバー、ドットを含むものを表示
Mackerel でみる Linux システムメトリック項目の見方・考え方 - えいのうにっき
Mackerel について考えない日はないというくらいに Mackerel・Love な僕なわけですが（考えない日はあります）、Mackerel の Web 画面で日頃なにげなく見ている「システムメトリック」、みなさんはどのような意識を持って観察していますでしょうか。 ↑ https://home.a-know.me をホストしているサーバのシステムメトリックのようす。 ここでひとつおさらいをしておくと、「システムメトリック」とは、監視対象のサーバにインストールされた mackerel-agent が、それ単体で収集・投稿するメトリックのことです。一般的な Linux系OS に mackerel-agent をインストールした場合、以下のような項目がシステムメトリックとして Mackerel に投稿されます。 loadavg5 cpu memory disk interface files
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
vnstatで手軽にtrafiicをモニタリング
